vlad kooklev — ai & startups

Словарик генеративного арта v.1

За последние недели разобрался, как устроен рынок генеративного арта и фотографии. Хочу начать про него тоже писать, но сначала давайте проясним все базовые термины.

1./ SD (Stable Diffusion) — главный драйвер революции на рынке. Это аналог закрытых моделей DALLE-2 и Midjourney. Ее выложили в открытый доступ и AI комьюнити подхватило разработку. Теперь каждый день выходят модели на SD-архитектуре затюненные под конкретные задачи — например фотореалистичная генерация, аниме или порно.

2./ Промпт — текстовый запрос через который описываем желаемый результат генерации. Для SD-моделей есть еще негативный промт, где описывается то чего не должно быть в генерации. Хорошие генерации это всегда комбинация обычного и негативного промта.

3./ Automatic1111 WebUI — SD-модели стали выходить регулярно, но интерфейсы были на тот момент неудобными. Тогда пришло время локальных веб-интерфейсов. Самый популярный от Automatic1111 — туда можно вводить промты, смотреть результаты и крутить настройки. Затем довезли поддержку расширений → на нем теперь можно крутить десятки моделей основанных на промтах, не только SD.

4./ Дримбуф — технология обучения цифрового аватара, чтобы потом генерить с ней изображения. Помните приложение Ленза выпустила аватары? Там внутри как раз работает Дримбуф. Особенность Дримбуфа в том, что он есть много ресурсов и на выходе получаем совсем новую модель. В основном все сейчас делают Дримбуф на базе SD — на выходе получается отдельный файл модели на несколько гигабайт.

5./ Лора — похожая технология, но если Дримбуф переобучает модель целиком, то Лора внедряется через промт и влияет только на нужный участок. За счет этого можно легко обучить Лору на 20-30 артах определенного художника → прокинуть в промтп при генерации изображения → получить изображение в стилистике этого художинка. Чаще всего это все получается уместить в несколько МБ веса — cами посмотрите.

Продолжение тут →

Выступил позавчера в сообществе R-Founders про GPT. Продуктов внутри GPT-экосистемы стало так много, что решил охватить сразу все (вместе c GPT-4 конечно же).

Рассказал как мы с вами оказались в текущей точке; как я добываю полезную информацию и хаки на GPT-рынке; как нахожу новые продукты на этом рынке; какие GPT-стартапы не стоит придумывать и запускать ни в коем случае;

Публичной записи вероятно не будет, но материал получился мощный — поэтому думаю где еще могу его рассказать.

Идеи?

Обожаю Линкедин! Лучшая соцсеть после Твиттера.

В тоже время ненавижу писать там ответы на сообщения, а 90% переписок — дефолтное вежливое общение.

В честь этого собрал браузерный экстеншен, который генерирует ответ через GPT-3 исходя из контекста. Мне теперь нужно только выбрать намерение ответа через кнопку быстрого ответа.

Думаете это все? А нет — 98% кода экстеншена написано через ChatGPT. Я только командовал и подсвечивал ошибки, как опытный тимлид.

Рассказать больше?

Обожаю моменты, когда сначала придумываю продукт, который мне бы обелгчил жизнь.

А затем обнаруживаю, что такой продукт уже сделали и он работает 🤩

Вчера: - Обсудили продукт c саммаризацией ютуб-видео. Я рассказал, почему он должен работать по другому. - Это же нелогично сначала заходить на страницу видео, а потом читать там саммари (!!!) - Намного круче выбрать интересные темы или вопросы и получить по ним саммари из всех видео автора. - Привел пример своего любимого подкаста Эндрю Хубермана. - Хочу задать вопрос про силовые упражнения и получить обобщенный ответ из всех подкастов.

Сегодня: - Буквально натыкаюсь на чатбота обученного на подкастах Эндрю Хубермана - Он может ответить на любой вопрос по теме его выпусков - Больше не нужно слушать 1000 часов подкастов…

Как работает ChatGPT (ч.1) 🤖 →

Последние недели часто объясняю, как Чат работает изунтри. Отсюда и вырос запрос написать этот текст. Это будет серия постов, где будем вместе разбираться почему с одной стороны это прорыв, а с другой стороны технология, которая доступна уже почти три года.

=== Погнали ↓

Начнем с верхнего уровня: на нем две части, и это неожиданно — Chat и GPT. Сегодня сфокусируемся на GPT.

→ GPT — это GPT-3 — языковая модель, которую компания OpenAI выпустила в мае 2020-го года. После этого ее несколько раз дорабатывали. Последний раз год назад — эта версия и крутится внутри ChatGPT.

В момент релиза GPT-3 стала прорывом, отчасти потому что была обучена на всей текстовой информации в интернете. В последней версии это информация из конца 2021-го. Например, ютуб-видео или подкасты попали внутрь только если у них была текстовая расшифровка в интернете на тот момент.

Модель получилась настолько мощной, что ее не стали выкладывать в открытый доступ, как делали обычного до этого. С одной стороны из-за безопасности, а с другой стороны, чтобы лучше монетизировать. Так GPT-3 стала доступна через API: OpenAI на своей стороне проводят модерацию и берут деньги за каждый запрос.

Также GPT-3 — это черная коробка, на вход она принимает «инпут», а возвращает «аутпут». В базовом сценарии единственный способ повлиять на аутпут — это переписать инпут. Мы не можем гарантировано получить от нее один и тот же аутпут при одинаковом инпуте. Мы не может детально узнать, почему она ответила именно таким текстом. Хотя отмечу, что ребята из OpenAI проделали много работы, чтобы сделать ответы более предсказуемыми.

Технологии почти три года, последнее обновление было год назад. Так почему она взлетела только сейчас? Об этом расскажу в следующем посте.

Что мне сейчас интересно →

Прямо сейчас есть три основные темы:

1. AR и цифровая мода 👟 — с декабре работаю в Фарфече в команде AR/3D. Мы переносим опыт оффлайн-шопинга в мобильное приложение и на сайт. С нашими технологиями можно примерить кроссовки, одежду и часы через камеру телефона, а сумки можно рассмотреть в деталях в 3D.

Вот на днях релизнули в мобильное приложение 3D-просмотрщик для сумок (кстати это мой продукт теперь).

2. ЧАТЖИПИТИ (ChatGPT) и похожие сетки 🤖 — эххх сейчас бы рассказать, как оптимизировал через ИИ свой рабочий день и теперь не работаю, но такого нет. Вместо этого я копаю его с самых основ: фундаментальные ограничения, какие недостатки легко обойти, какие сферы обязательно изменятся в ближайшие годы под влиянием ИИ.

3. Релокация, стартап и номад-визы ✈️ — сама по себе релокация из обузы для меня начинает потихоньку превращаться стартап, где нужно рисерчить, искать хаки и тестить гипотезы. Помимо этого в голове есть гора рефлексии после жизни в 5 странах по 2+ месяца.

Про эти темы я планирую писать ближайший месяц, а дальше уже посмотрим.

Самое время подписаться и скинуть друзьям, которым это тоже интересно 😎