vlad kooklev — ai & startups

Пока вынашивал в голове пост, где рассказывал бы по шагам про агентов — Леша уже его написал, почитайте.

TLDR: 1. Люди прикинули, что если поставить GPT цель, то он неплохо справляется с ее декомпозицией на простые задачи. 2. Люди также прикинули, что если хранить в памяти результаты запросов к GPT, и подбирать для каждого следующего запроса нужную информацию из памяти → то получится обойти ограничения инпута (сейчас это 5k токенов/коротких английских слов) 3. В результате можно поставить задачу агенту, он ее разобъет на подзадачи → начнет решать доступными средствами → будет сверять результат и задачу, продвигаясь все дальше. 4. В агентах нет ничего нового — это склейка нескольких существующих решений, в самом простом примере занимает 100 строчек кода. Они построены вокруг обычного GPT, который попросили писать себе списки задач → затем думать как их решить используя доступные средства. Из текущих средств — браузер + поиск.

Мой опыт: 1. Все эксперименты достаточно примитивны. Я пока ничего практичного не видел, кроме задач на рисерч и структуризацию информации из интернета. Но я вижу большой потенциал в том, что будут расширяться количество интеграций. Сейчас уже появился модуль, что читать ленту в твиттере и писать туда. На реддите видел эксперименты по тому, чтобы дать агентам доступ ко всей операционной системе. 2. Если видите, что кому-то autogpt заработал миллионы, то это полный буллшит.

Предсказания: 1. Контейнеризация агентов, aka “агент под задачу”. Например: агент-рисерчер соберет анализ сайтов конкурентов; агент-маркетолог опишет рекламную кампанию. 2. Расширение способов взаимодействия с миром для агентов. Сейчас это браузер, гугл и инструменты языковой модели. Дальше в руках агентов окажутся интеграции с большинством сервисов → расширится объем действий для достижения цели. Закрытые сервисы (Twitter) начнут еще сильнее душить свое API. 3. Агенты начнут вставать на место конкретных рекуррентных сценариев внутри компаний и делать со временем лучше людей.

Попросил вчера AutoGPT собрать мне несколько рисерчей:

1./ План на поездку в Будапешт в Мае → Сработало неплохо, но все равно нет доверия, что информация актуальная. Хочется видеть источник и узнать почему именно такой выбор, думаю можно просить уточнять выбора через промтп. Оценка: 4/5

2./ Список документов на визу номада в Испанию →  Не нашел несколько важных документов и наоборот подтащил денежные требования из другой программы. Оценка: 2/5

——

Почему на такие задачи не подходит запрос к обычному GPT и нужен AutoGPT с доступом к интернету?

Ответ в датасете: внутри GPT информация актуальная на конец 2021-го года. Какие-то места в Будапеште уже могли закрыться, а испанская программа кочевника вообще появилась только в начале года. Поэтому нужно ходить по сайтам и рисерчить, это он и пытается делать автоматически.

Давно не писал — чуть позжде расскажу чем занимался все это время (будет интересно!)

А пока репостну один из любимых каналов. Рассказал там про новую хайповую технологоию на базе GPT ↓

🤖🎙️ Видео на воскресенье — интервью с Сэмом Альтаманом у Лекса Фридмана

Почему это стоит посмотреть? 1./ Sam Altman — предприниматель и инвестор, бывший президент Y Combinator и нынешний CEO OpenAI. 2./ Lex Fridman — ученый, автор и ведущий курса по Deep Learning в MIT, один из самых популярных подкастеров в мире.

👉 Ссылка: https://www.youtube.com/watch?v=L_Guz73e6fw

Я пока не смотрел, но судя по тайм-кодам разговор получился сильный:

— Про разработку и возможности GPT-4 — Безопасность и предвзятость искусственного интеллекта — Размеры нейронных сетей и достижение AGI — Страхи и конкуренция в отрасли — Антропоморфизм и будущие применения AI — Советы молодым людям и размышления о смысле жизни

Смотрим?

🚀 Запустился магазин-приложений для ChatGPT

Ночью вышел крутой анонс — у ChatGPT теперь есть плагины. Они помогут ChatGPT получать актуальную информацию, выполнять вычисления и работать с сторонними сервисами. Таким образом решается одни из главных проблем — точность вычислений и доступ к актуальным данным реального мира.

Какие плагины доступны уже сейчас: — Планирование путешествий с Expedia — Онлайн-шопинг с Klarna — Бронирование столиков в ресторанах с OpenTable — Обучение языкам с Speak

Подход “промпт как интерфейс” все сильнее укрепляется для разных задач. Интересно, как далеко это зайдет. Вот к примеру портфельная компания OpenAI фонда делает редактор видео и подкастов на промтах.

https://openai.com/blog/chatgpt-plugins

* продолжаем *

6./ Сид — каждая генерация выдает случайный результат, но есть способы частично контролировать результат. Сид как раз один из таких способов. Если используешь одинаковый сид и промпт — можно рассчитывать на похожий результат.

7./ Файнтюнинг — в контексте SD это процесс, когда берется готовая модель и дополнительно обучается лучше решать новую задачу. Вспомните Дримбуф и цифровые аватары из первой части. По сути это Файнтюнинг на то, чтобы генерировать *чье-то реальное лицо* по заданному промпту.

8./ txt2img, img2img — два разных подхода к генерации картинок. В первом задача для генерации целиком задается при помощи промпта. Во втором случае за основу берется картинка, которую загружаешь. В случае с img2img промты все равно можно вводить и управлять генерацией. Также в ход идет важный параметр denoising strength — насколько генерация должна быть похожа на исходную картинку.

9./ Контролнет — еще один способ контролировать результат генерации. Контролнет модели заточены на то, чтобы взять какой-то конкретный параметр исходной картинки — например позу или очертания силуэта. Дальше на основе этих параметром можно сгенерировать новое изображение. Словами объяснить сложновато, посмотрите сами примеры по ссылке.

10./ Чекпоинт — по сути синоним слова модель, которое я использовал выше. Подразумевается, что у модели в процессе тюнинга нет одного финального состояния. Обычного принято делать выгрузку состояния каждые N-шагов обучения и потом тестировать, какой из чекпоинтов срабатывает лучше. Переобучение модели такая же большая проблема, как недостаточное обучение, так что тут всегда ищется баланс количества шагов.

Не верится, что мне пришлось написать предыдущий пост ради этого, но все же..

Прочитайте перед ним обязательно словарик ↑↑↑

На днях вышла модель от китайских рисерчеров для генерации видео по промпту.

Через день под модель уже вышел экстеншен для WebUI, так что я быстро развернул ее в интерфейсе. Дальше 20 минут на подбор промпта, иии.. получаем видео взрывающего на столе хинкали 🏃‍♂

На самом деле результат пока сомнительный, тут важно другое. Stable Diffusion Moment — это событие, когда современная модель выкладывается в открытый доступ и дальше ее подхватывает сообщество.

Значит в ближайшие месяцы нас будут ждать новые и новые модельки заточенные на более узкие сценарии, а качество будет расти. Кстати, на какие именно кейсы комьюнити в первую очередь будет тюнить модельку можно угадать из предыдущего поста.

Словарик генеративного арта v.1

За последние недели разобрался, как устроен рынок генеративного арта и фотографии. Хочу начать про него тоже писать, но сначала давайте проясним все базовые термины.

1./ SD (Stable Diffusion) — главный драйвер революции на рынке. Это аналог закрытых моделей DALLE-2 и Midjourney. Ее выложили в открытый доступ и AI комьюнити подхватило разработку. Теперь каждый день выходят модели на SD-архитектуре затюненные под конкретные задачи — например фотореалистичная генерация, аниме или порно.

2./ Промпт — текстовый запрос через который описываем желаемый результат генерации. Для SD-моделей есть еще негативный промт, где описывается то чего не должно быть в генерации. Хорошие генерации это всегда комбинация обычного и негативного промта.

3./ Automatic1111 WebUI — SD-модели стали выходить регулярно, но интерфейсы были на тот момент неудобными. Тогда пришло время локальных веб-интерфейсов. Самый популярный от Automatic1111 — туда можно вводить промты, смотреть результаты и крутить настройки. Затем довезли поддержку расширений → на нем теперь можно крутить десятки моделей основанных на промтах, не только SD.

4./ Дримбуф — технология обучения цифрового аватара, чтобы потом генерить с ней изображения. Помните приложение Ленза выпустила аватары? Там внутри как раз работает Дримбуф. Особенность Дримбуфа в том, что он есть много ресурсов и на выходе получаем совсем новую модель. В основном все сейчас делают Дримбуф на базе SD — на выходе получается отдельный файл модели на несколько гигабайт.

5./ Лора — похожая технология, но если Дримбуф переобучает модель целиком, то Лора внедряется через промт и влияет только на нужный участок. За счет этого можно легко обучить Лору на 20-30 артах определенного художника → прокинуть в промтп при генерации изображения → получить изображение в стилистике этого художинка. Чаще всего это все получается уместить в несколько МБ веса — cами посмотрите.

Продолжение тут →

Выступил позавчера в сообществе R-Founders про GPT. Продуктов внутри GPT-экосистемы стало так много, что решил охватить сразу все (вместе c GPT-4 конечно же).

Рассказал как мы с вами оказались в текущей точке; как я добываю полезную информацию и хаки на GPT-рынке; как нахожу новые продукты на этом рынке; какие GPT-стартапы не стоит придумывать и запускать ни в коем случае;

Публичной записи вероятно не будет, но материал получился мощный — поэтому думаю где еще могу его рассказать.

Идеи?

Обожаю Линкедин! Лучшая соцсеть после Твиттера.

В тоже время ненавижу писать там ответы на сообщения, а 90% переписок — дефолтное вежливое общение.

В честь этого собрал браузерный экстеншен, который генерирует ответ через GPT-3 исходя из контекста. Мне теперь нужно только выбрать намерение ответа через кнопку быстрого ответа.

Думаете это все? А нет — 98% кода экстеншена написано через ChatGPT. Я только командовал и подсвечивал ошибки, как опытный тимлид.

Рассказать больше?

Обожаю моменты, когда сначала придумываю продукт, который мне бы обелгчил жизнь.

А затем обнаруживаю, что такой продукт уже сделали и он работает 🤩

Вчера: - Обсудили продукт c саммаризацией ютуб-видео. Я рассказал, почему он должен работать по другому. - Это же нелогично сначала заходить на страницу видео, а потом читать там саммари (!!!) - Намного круче выбрать интересные темы или вопросы и получить по ним саммари из всех видео автора. - Привел пример своего любимого подкаста Эндрю Хубермана. - Хочу задать вопрос про силовые упражнения и получить обобщенный ответ из всех подкастов.

Сегодня: - Буквально натыкаюсь на чатбота обученного на подкастах Эндрю Хубермана - Он может ответить на любой вопрос по теме его выпусков - Больше не нужно слушать 1000 часов подкастов…

Как работает ChatGPT (ч.1) 🤖 →

Последние недели часто объясняю, как Чат работает изунтри. Отсюда и вырос запрос написать этот текст. Это будет серия постов, где будем вместе разбираться почему с одной стороны это прорыв, а с другой стороны технология, которая доступна уже почти три года.

=== Погнали ↓

Начнем с верхнего уровня: на нем две части, и это неожиданно — Chat и GPT. Сегодня сфокусируемся на GPT.

→ GPT — это GPT-3 — языковая модель, которую компания OpenAI выпустила в мае 2020-го года. После этого ее несколько раз дорабатывали. Последний раз год назад — эта версия и крутится внутри ChatGPT.

В момент релиза GPT-3 стала прорывом, отчасти потому что была обучена на всей текстовой информации в интернете. В последней версии это информация из конца 2021-го. Например, ютуб-видео или подкасты попали внутрь только если у них была текстовая расшифровка в интернете на тот момент.

Модель получилась настолько мощной, что ее не стали выкладывать в открытый доступ, как делали обычного до этого. С одной стороны из-за безопасности, а с другой стороны, чтобы лучше монетизировать. Так GPT-3 стала доступна через API: OpenAI на своей стороне проводят модерацию и берут деньги за каждый запрос.

Также GPT-3 — это черная коробка, на вход она принимает «инпут», а возвращает «аутпут». В базовом сценарии единственный способ повлиять на аутпут — это переписать инпут. Мы не можем гарантировано получить от нее один и тот же аутпут при одинаковом инпуте. Мы не может детально узнать, почему она ответила именно таким текстом. Хотя отмечу, что ребята из OpenAI проделали много работы, чтобы сделать ответы более предсказуемыми.

Технологии почти три года, последнее обновление было год назад. Так почему она взлетела только сейчас? Об этом расскажу в следующем посте.

Что мне сейчас интересно →

Прямо сейчас есть три основные темы:

1. AR и цифровая мода 👟 — с декабре работаю в Фарфече в команде AR/3D. Мы переносим опыт оффлайн-шопинга в мобильное приложение и на сайт. С нашими технологиями можно примерить кроссовки, одежду и часы через камеру телефона, а сумки можно рассмотреть в деталях в 3D.

Вот на днях релизнули в мобильное приложение 3D-просмотрщик для сумок (кстати это мой продукт теперь).

2. ЧАТЖИПИТИ (ChatGPT) и похожие сетки 🤖 — эххх сейчас бы рассказать, как оптимизировал через ИИ свой рабочий день и теперь не работаю, но такого нет. Вместо этого я копаю его с самых основ: фундаментальные ограничения, какие недостатки легко обойти, какие сферы обязательно изменятся в ближайшие годы под влиянием ИИ.

3. Релокация, стартап и номад-визы ✈️ — сама по себе релокация из обузы для меня начинает потихоньку превращаться стартап, где нужно рисерчить, искать хаки и тестить гипотезы. Помимо этого в голове есть гора рефлексии после жизни в 5 странах по 2+ месяца.

Про эти темы я планирую писать ближайший месяц, а дальше уже посмотрим.

Самое время подписаться и скинуть друзьям, которым это тоже интересно 😎