Cерафимодальный AI

А вот еще интересная статья. Ученые из университета Мэриленда вместе с учёными из Microsoft проверяли одну любопытную вещь: как ИИ-модели ведут себя на очень длинных текстах в разных языках. Не просто "переведи фразу" или "ответь на вопрос", а вот прям дать модели 80–120 тысяч токенов текста (это примерно книга), спрятать в нём кусок инфы и попросить найти. Тест этот называется ONERULER.

Тестировали 26 языков: от английского, русского и испанского, до хинди, суахили, тамильского и сесото.

Результаты любопытные: яснопонятно, что языки не равны. ВНЕЗАПНО, промпты на английском языке не самые эффективные. Оказалось, что лучше всего модели понимают польский (≈ 88% эффективность). Чуть ниже, но всё ещё в топе: русский, украинский, французский и итальянский. А английский вообще только на шестом месте (≈ 83.9% эффективность).

Так что если модель иногда отвечает странно, возможно, она просто ждёт, пока вы напишите в промпт "Бобр курва!"

Приложения по запросу

Из множества способов, которым GenAI может изменить нашу жизнь, меня очень занимает создание персональных приложений. Если задуматься, это немного абсурдно, что мы все по всему миру пользуемся одними и теми же гугл картами. Кто-то каждый день ездит на работу, кто-то сычует дома, один водит, другой нет, в одних городах нужно знать конечную станцию и номер ветки, в других — следующую станцию и цвет линии. Десятки, если не сотни эджкейсов, и всего один равно неподходящий всем интерфейс. Понятно, почему так происходит, если создание приложение — год работы десятка дорогих специалистов. Но почему так должно быть, когда создание приложения — набормотать голосовуху? Получить ровно то, что тебе нужно, ровно в той форме, которая решает твою задачу, без назойливого бубнежа про подписку "по незначительной цене в одну чашку кофе".

Отчасти это вызов сложившейся в последние 10 лет парадигме, когда наш скринтайм распределяется между десятком универсальных приложений, принадлежащим одним и тем же пяти мегакорпорациям. Я знаю несколько платформ, которые взялись решать эту задачу. Одна, доступная уже сейчас, так и наывается — vibecode (с оранжевым квадратом на логотипе). Несмотря на высокое качество (Claude 4.5 под капотом) и киллерфичу в виде возможности постить приложения прямо в апстор, в их модель я верю с трудом — это скорее способ заполонить слопом текущий эпстор.

Другой подход предлагает https://wabi.ai/. Рекомендую почитать их лендинг целиком, он занятно рассказывает и о проблемах, и о том, как собирается их решать. Вкратце — они хотят сделать социальный эпстор: место, где приложения постят в ленту, как видео в тиктоке, и где каждое приложение можно забрать (репостнуть) себе и заремиксовать под свои нужды. Нашли классную идею, но не нравится дизайн? Один запрос, и у вас видоизменённая версия.

Wabi пока не зарелизился, но я написал создателям и попросил доступ в раннюю версию. Они согласились, поэтому я открыл, включил запись экрана и начал пользоваться. Сначала расстроился, потому что собственно моё приложение он не сгенерировал (разработчики написали, что чинят прямо сейчас, само приложение собралось, но проблемы с запуском). Но затем я попробовал чужие приложения, потом попытался замиксовать — и несмотря на все болезни раннего доступа, почувствовал, что это рабочая штука. Мне очень понравилось, что несмотря на простоту мини-аппов, они сразу ориентированы на genAI, то есть умеют обращаться к llmам, писать тексты, генерировать избражения и распознавать фотографии. Я нашёл миниапп, которому можно скормить любую фотографию, а он по ней напишет промпт, как сгенерировать что-то подобное в том же стиле. Я загрузил своё селфи, получил промпт, и обнаружил, что нет кнопки копирования! Да ещё и формат промпта достаточно бедно форматирован. Я нажал "Заремиксовать", вбил, что хочу промпт в формате json и с возможностью копирования, и через пару минут получил свою версию приожения с недостающими функциями. Наверно, главная магия именно в этом чувстве со-творчества. Как, знаете, тикток видосы, где изначальное видео постепенно дополяют другие авторы, и получается то сценка с совершенно другим сюжетом, то играющий оркестр. Только приложение — не просто про посмотреть и посмеяться, у них есть итоговая функция. Например, генератор промптов — действительно полезная штука.

Верю ли я, что это финальная форма для такого формата? Наверно, нет. Есть ли в ней задел для большого будущего? Безусловно. Может быть, не тут, не сейчас, и не здесь, но представить, как в телеграме появляется сборка мини-аппов по запросу, или что гугл позволяет делать что-то подобное в плеймаркете на основе джеминая 5, я могу легко.

Видео, с небольшими правками приватности, выкладываю.

оказывается, вот-вот выходит Cursor 2.0 и пользователям уже раздали превью билды

а я почему-то вообще не ожидал, что у Курсора будут версии, это как-то странно, нет?

тем более за полтора года что я им пользуюсь он и так дважды менялся до неузнаваемости.

О, вейт, они уже оказывается показали более юзер-ориентед фичи, я просто проспал!

https://blog.google/technology/developers/grounding-google-maps-gemini-api/

Это очень важный анонс, фундаментально важная технология для AI будущего. Применение у гугла выглядит скорее эксплораторным и нацелено на энтузиастов и учёных, однако тот, кто научится делать геолокальный AI, сможет победить на любом локальном рынке. Если вы читали мою статью на Т—Ж про AI-экскурсовода, то помните, что я там ввожу термин geolocation awareness, осведомлённость об местоположении, и как своим экспериментом я случайно нащупал что-то важное.

Не важно, насколько большая и продвинутая модель у вас есть, если на локальном рынке есть другая, которая в реальном времени осведомлена, где вы находитесь, что вас окружает, что происходит неподалёку и что в связи с этим вам предложить. Я это, поверьте, из другого контекста очень хорошо знаю.

Обновления Earth AI от Google

Новый браузер от OpenAI

- в принципе, ничего нового - доказательство, что категория ai-браузера жизнеспособная - отказались от главной ошибки всех AI-бразуеров — широкого поля ввода — и прямо проговорили: люди ищут в интернете короткими фразами, позвольте им а не заставляйте писать сочинения - обсудили, как хороша Битва за битвой ПТА (это главное).

из грустного лично для меня — в этом браузере вообще никак не получится сделать вертикальные вкладки, так что эта концепция, видимо, всё-таки будет умирать. очень, очень жаль.

(кстати, во время презентации обратили внимание на плюсик новой вкладки слева, но у меня всё обычно)

ооо ну погнали

Сору можно использовать, чтобы примерять одежду. Делаете скриншот на сайте (следите, чтобы на нем не было лица или прикройте его, иначе модель откажется генерировать), загружаете в сору, тегаете себя (тут почему-то не работает автоупоминание, кажется, что это вообще сломано, но если вписать свой ник по буквам, то камео появится), и пишете промпт что вы хотите померить, как эта одежда будет выглядеть на вас с разных сторон. Я написал такой:

Create a try-on video showing a person wearing the referenced garment from all angles to evaluate fit and comfort.

Shots needed: - 360-degree rotation around standing person (front, sides, back views) - Walking forward and backward - Arm movements: reaching up, stretching sideways - Bending forward and squatting down - Sitting and standing up - Close-ups of key fit areas: shoulders, waist, sleeves, length

Purpose: Show how the garment moves, drapes, and fits during natural activities. Capture fabric stretch and recovery. Ensure all angles are visible to assess if the clothing suits the person’s body type and allows comfortable movement.

В будущем, думаю, бренды будут сами выстраиваться, чтобы официально интегрироваться в сору с точными измерениями. ИИ-экономика наступает.

я хотел ненавязчиво монетизировать бота, и мы почти договорились с одним VPN о сотрудничестве — что может быть нативнее, чем рекламировать VPN для сервиса, который можно использовать только с VPN.

но в этот момент система окончательно сколлапсировала, количество запросов кратно превысило то, сколько людей возвращает коды в пул, очередь выросла до 3000+ человек, а время ожидания — до нескольких дней. рекламировать VPN в таких условиях было бы издевательством, поэтому эту идею я отложил.

к счастью, ровно в этот момент Sora 2 появилась в API, поэтому я сделал генерацию напрямую из телеграма, пока ждешь своего инвайта.

из плюсов — доступна про-версия, которая в обычной соре активируется только по подписке 100 долларов в месяц, и можно генерить сразу без вотермарков. из минусов, соответственно, — нет всех этих социальных приколюх с камео и ремиксами. точнее, ремиксы даже можно через апи сделать, но точно не за одну ночь.

поэтому на старте запускаюсь с простой генерацией и оплатой звёздами, — посмотрим, как пойдёт.

ещё сразу засунул улучшатель промптов по официальному кукбуку: во-первых, повышает качество, а во-вторых, это позволяет мне проверять промпты на адекватность прежде чем слать в Сору — только мне бана от OpenAI за ваши безумные фантазии не хватало.

я сказал, что не удивлюсь, но удивился: как быстро это случилось! два часа назад Альтман опубликовал пост, в котором сказал, что, во-первых, они дадут правообладателям больше контроля, что можно делать с персонажами, а во-вторых, предложат держателям образов ревшер модель за использование.

тут бы вспомнить, что у Альтмана есть доля в стартапе Ворлд, который вроде как должен был заниматься оцифровкой живых людей, чтобы у них появились свои крипто-сигнатуры ("доказательство человечности"), но в целом можно и в сторону цифровых прав пивотнуться.

если вы сегодня пытались получить инвайт в Sora через моего бота, и у вас не получилось, так это потому что бот бешено взлетел (в том числе среди американцев), уткнулся в лимиты бесплатной фаербейзовской квоты и 6 часов не отвечал (а я за работой не заметил, что что-то не так).

включил ему платный тариф, можете пользоваться дальше и рекомендовать друзьям, инвайты сейчас в профиците.

https://t.me/sora_invite_bot

футурологический конгресс

инвайт в Sora 2 получил просто — зашёл в дискорд openai и попросил. но есть идея, как упростить доступ, попробую навайбкодить между встреч.

доступ апп скачал в сша сторе (но есть веб-версия). для активации нужен впн сша, просто пользуюсь аппом уже без впн.

главное это пиковый нейрослоп. Христос превращает камень в хлеба, Сэм Альтман клянчит лайки и подписки. шедеврум тут всех опередил.

что круто настройка камео! буквально 20 секунд, и у тебя появляется образ

что интересно подсмотрел в твиттере: можно попросить сгенерировать видео с интерфейсом ChatGPT, который сам генерирует что-то. матрёшечная симуляция! попросил его написать сортировку, но он очевидно не справился. ну, пока что.

что в будущем не удивлюсь, если скоро камео можно будет нфтизировать и монетизировать. вполне вижу за этим какую-то серьезную экономику! сейчас это только образ, но подумайте — ведь можно и свои навыки продавать, и себя как агента, свои веса. да, я об этом уже писал подробнее

мы будем вспоминать 2022-2025 года с ностальгией по временам, когда ai был текстовым.

У Дваркеша, главного AI-подкастера, вышло интервью с одним из отцов-основателей машинного обучения, автора RL — Ричардом Саттоном.

И Саттон не подвёл. Дед на аудиторию главного мейнстримного эйай-бро подкаста заявил, что: - LLM это тупиковая ветвь эволюции, - парадигма фундаментально ложна, - любые подходы без целей/вознаграждений и системы непрерывного обучения в опыте обречены на провал.

У внимательного читателя может возникнуть дежа вю, ведь Саттон не первый «отец современного ML» с такими тейками — примерно в том же духе уже несколько лет высказывается и Ян ЛеКун. А если вы поняли шутку про дежа вю, то вам и вовсе пора в рехаб.

Твиттер, ожидаемо, бурлит. К логике Саттона сложно прикопаться, да и авторитет у деда неимоверный. С другой стороны, слишком уж хорошие результаты показывает LLM-подход последние годы, и за это время было выдвинуто несколько действительно красивых гипотез, почему оно всё-таки вертится.

Здесь конечно можно посмеяться над наивными эяйбро, которых коварный Сэм Альтман с его придворными твинками обратили в секту языковых моделей; но дискуссия правда интересная, и с кучей неожиданных тейков с каждой из сторон.

На скриншоте один, от которого заскрежетали неизвестные шестерни в моей собственной голове; мысль настолько же простая, насколько невидимая ровно до того момента, как была произнесена ясно: а что именно имитирует LLM?

Рутрекер должен быть один из самых дорогих ассетов в мире сейчас

Прочитал старую новость о том, что в Мете скачали и раздавали петабайты порно, чтобы выкачать видеоматериалы из трекеров (в торрентах важно соотношение раздач к скачиванию), и понял, что ничего ценнее Рутрекера сейчас в мире быть вообще не может. "Почему не пайратбэй", — может спросить человек, который никогда им не пользовался.

Потому что разметка пайратбэя это лютый кошмар. Огромная непереваренная недетализированная свалка барахла. Или рутрекер, на котором десятки тысяч человек двадцать лет со скорпулёзностью, граничащей с болезненностью, размечали аболютно все материалы.

Пока на стриме говорят об использовании ChatGPT в здравоохранении, я не могу перестать думать об этом графике

@ai_newz

Через две минуты презентация, но на девелоперском сайте уже выложили все данные.

Главное: Input $1.25 Output $10.00

https://platform.openai.com/docs/models/gpt-5

по сути всё у Сиолошной то же самое (что не удивительно, мы один и тот же текст пересказываем), но есть интересные моменты из другой статьи про таинственный универсальный верификатор.

GPT тупеет, когда её заставляют общаться как человек

The Information выпустил лонгрид о состоянии дел в OpenAI накануне выхода GPT-5 и за последний год. Завтра её будут пересказывать все телеграм каналы, так что давайте их опередим.

https://www.theinformation.com/articles/inside-openais-rocky-path-gpt-5

Самое интересное: модель-учитель о3 была невероятно умной и показывала высокий уровень понимания самых разных областей. А потом из неё сделали чат-бот, и он отупел: видимо, когда модель заставляют вести себя как человек, она теряет в когнитивных свойствах. Я тоже.

Из других интересных деталей: ещё в июне из-за технических сложностей ни одна внутренняя модель не была достаточно хороша, чтобы назвать её GPT-5. А изначально GPT-5 вообще должна была стать Orion, но она не оправдала вложенных в неё надежд; в итоге её выложили как 4.5 и сейчас потихоньку отключают.

Тезисный пересказ с моими комментариями (курсивом).

- o3 показал удивительный буст в решении сложных задач (бенчмарк ARC). Но когда эту модель адаптировали под чат-версию, этот прирост исчез. - Новая GPT-5 модель значительно лучше справляется с созданием приложений, которые хорошо выглядят. (Я уже пробовал GPT-5 на арене, и она действительно выдаёт более симпатичный результат) - GPT-5 лучше справляется с агентскими задачами из многих действий, пример — определять, когда чат поддержки должен вернуть покупателю средства. - Разница не будет настолько большой, как между GPT-3 и GPT-4 (мне кажется, это не правда. Вы вообще помните, какой плохой была GPT-4 на релизе?) - Orion это 4.5, и он не оправдал надежд. Скорее всего из-за качества претрейна, но также и потому, что те улучшения, которые повышали качество моделей поменьше, не сработали на огромной. - Зато сработал другой подход, делать более длинные цепочки размышлений — так появились ризонеры. - Как и o1, модель o3 основывалась на GPT-4o. Однако «родительская модель» (учитель) для o3 достигала куда больших высот в понимании научных и других концептов. Частично — потому что для неё использовалось куда больше чипов Nvidia. А частично — потому что ей дали возможность искать в вебе и по репозиториям с кодом. - Ну и кусок про reinforcement learning (немного путанный, The Information точно правильно всё понял?): родительские модели просили сгенерировать тысячи ответов на сложные вопросы по биологии, медицине и инженерии, и затем обучали на тех ответах, которые совпали с теми, что дали мясные эксперты. - Наконец, то, ради чего была написана статья: когда модель-учитель конвертировали в чат-версию модели («модель-ученик»), она не показала себя сильно лучше, чем o1. (Опять же, по моим ощущениям это не так, o3 гораздо лучше показывает себя в реальных задачах. Но вероятно речь про конкретные математические или кодовые применения). - Одно из подозрений — что способ, которым модель понимает сложные концепты, достаточно далёк от того, как общаются люди (ну… да, но разве мы понимаем вещи в общении? Странный пассаж тоже). - Тем не менее, звонкая цитата: чат-бот версия o3 значительно тупее обычной, потому что вынуждена говорить на человеческом языке, а не своём собственном. - Этому косвенно свидетельствует белиберда, которую модель генерирует в процессе «думания». - Сразу — гипотеза от меня: что, если размышляющие модели настолько лучше не потому, что они долго думают, а потому, что могут на время отойти от формата чат-бота, который их тупит? - Наконец, o-нейминг окончательно запутал пользователей, поэтому Альтман сказал возвращаться к привычной нумерации. - Однако ещё даже в июне из-за технических трудностей ни одна из разрабатываемых моделей не была достаточно хороша, чтобы назваться GPT-5. - У OpenAI есть ещё один туз в рукаве: универсальный верификатор — инструмент, который автоматизирует процесс проверки, что модель нагенерировала на RL-этапе качественных ответов (и снова звучит как будто The Information чего-то недопоняли. Это же ровно то, что сделал DeepSeek, какой ещё туз в рукаве).

[чуть не влез по длине, финал первым комментом].