R77 AI | Кейсы в ИИ (от выпускников МФТИ)

ИИ в металлургии!

Ребят к нам придет Анна Вострикова из "Цифровой стали" ("Уральская сталь") и расскажет о жестких реальных проектах в металлургии и особенности их выполнения).

Мы с Анной работали на множестве проектов по стали, так что заверяем — опыт там крутейший.

1) Кейсы из практики 2) Сложности в применении ИИ в промышленности. 3) Дальнейшее развитие ИИ на металлургическом предприятии.

Скинем ссылку перед трансляцией у нас в канале, завтра в 16-00 (вторник).

Можете добавить в календарь https://calendar.app.google/UwHL2tdtNRimrQhcA

загляните кстати на канал к Анне – там она будет писать про цифровизацию промышленности: @JuJcLNHpBU4MzA6 )

Давно не писал, что у нас нового по проектам и пресейлам

А новостей довольно много: 1. Внедрили в Альфу 🅰️ Ассистента для портала разработчиков с RAG на базе YaGPT. 3 месяца уже тестируем - точность 76+% , бизнес-эффект: снижение тикетов на 40%. KPI пилота выполнили, готовимся идти дальше. Скоро сделаем вебинар в @r77_ai и расскажем немного технических деталей.

2. Прошли внутренние тесты AI агента-аналитика для inSales (это кстати реальный агент , точнее agentic workflow 🙂). Сейчас будем запускать пользователей и допиливать функциональность. Главная фича – переход от аналитики к рекомендациям. И вообще – верю в технологию Text-2-SQL, + то, что мы одних из лучших в РФ, кто в этом прокачались. Уже есть несколько запросов, где это внедряем.

3. В процессе еще одного пилота с другим топ-клиентом. Делаем семантические проверки огроооомных и сложных документов. Сейчас люди тратят не часы, а целые дни на проверку ⏳. Прикол в том, что это не очередной враппер чатгпт, а полноценный проект с разработкой онтологии, бэк, фронт и ну и куча ML/LLM экспериментов. На базе этого решения будем запускать еще один схожий кейс, но уже для валютного контроля.

4. Завершили уже несколько итераций по разработке AI агента для поиска и подбора отелей. Отличие от "популярных в СМИ" старт-апов в том, что это не B2C, а B2B, наш пользователь - турагент. А это меняет все многое :) Сделали эксперименты с готовыми агентами от OpenAI, сейчас собираем своего и полностью подконтрольного (на сколько это слово вообще применимо к термину "Агент") нам 😈

5. Но не только LLM-единым! Сделали пилот по прогнозированию вторичных продаж на маркетплейсах. Сейчас разрабатываем систему динамического ценообразования для очень крупной сети отелей.

Самые интересные пресейлы в работе: 1. Ждем и надеемся на старт видеоаналитики (ДААА, ЕСТЬ в 2025 и ТАКИЕ ПРОЕКТЫ!) для Dubai Police. 2. Свинки РусАгро были. Мраморные бычки Мираторга? Не, тоже было. А вот рыбы не было! Хотим улучшать конверсию выживаемости лосося из малька в крупную рыбку. Там и CV, и таблички. Интересно. 3. Планируем помогать футбольным скаутам с гибкой аналитикой показателей под запрос (помним про Text-2-SQL) 4. Как вам связка CV + падл теннис, который оверпопулярный сейчас (хз, что больше - ИИ или падл по хайповости)?

Выложили вебинар с Oblako.ai

Посмотрите, что у нас делают с AI для маркетологов и что используют)

На слайде самый сложный вопрос — чем лучше ChatGPT, потому что мы постоянно сталкиваемся со стартапами, которых убивает обновление ChatGPT.

Ютуб ВК

Презентация в PDF

UPD Закончили — Разберем AI стартап для маркетологов Oblako.AI

Тут без смс и регистрации — https://www.twitch.tv/r77_ai

вопросы можете задавать под этим постом)

Разберем стартап для маркетологов

Нам интересны бизнесы, которые делают в России и где юзаются нейронки и вот к нам пришли ребята из Oblako.ai — у них огромный функционал с кучей нейронок для маркетологов в одном сервисе.

Интересно узнать для чего маркетологам, что они из технологий применяли, как монетизируют, почему именно туда пошли.

В общем такой бизнесово-маркетинговый лайт-вебинар.

Также разберем их функционал, вот что обещают: — подбор сегментов под продукты бизнеса и их проработка (можно спарсить) — генерация релевантных ценностных предложение — создание всех креативов (в том числе и видео) — нарезка креативов под требования каналов — создание медиаплана — сборка ТЗ на кампанию — анализ конкурентов — ИИ-чат с доступом ко всему контексту проекта.

Ссылку скинем перед стартом у нас в @r77_ai — во вторник, 30 сентября в 16-00.

Вот в календарик можете добавить https://calendar.app.google/XYz17Zpu66H9yexb6

Минцифры тут регулировать AI собралась

В статье дали комментарий по этому поводу.

В компании с Горным, генеральным директором MWS AI (МТС) Денисом Филипповым, управляющим директором центра регулирования AI Сбербанка Андреем Незнамовым, и генеральным директором Института искусственного интеллекта AIRI (Сбер) Иваном Оселедцом еще участвовали пресс-служба Avito и Ассоциация больших данных (в неё входят «Яндекс», VK, Сбер, Т-Банк, МегаФон, МТС, ВТБ, HeadHunter и др.).

https://ict.moscow/news/reakciya-otrasli-russia-ai-regulation/

Нейронки для медицины — выложили вебинар!

К нам приходила Екатерина Кондратьева Head of AI in Healthcare из Atelic.ai

Она провела свое расследование: загрузила свои анализы крови в обычные и мед нейронки, потом сравнила показания с врачами из России и ОАЭ и узнала, кого лучше слушать!

Затронули еще мед. нейронки Med-PaLM и Med-Gemini и исследования сравнения с врачами.

А тут каналы от Кати, если интересуетесь AI в медицине про MedLLM и рынок в Линкедин или канал о медицинских данных.

Вот тут: https://vkvideo.ru/video-228941334_456239057

https://youtu.be/pk_t14zHQ3k

Ссылка на презентацию в PDF

Можно ли доверять нейросетям свои данные?

Сходили на интервью к Рейтингу Рунета (мы кстати по их самому уважаемому рейтингу топ-7 в России и топ-2 в Москве среди интеграторов ИИ) и Ярослав рассказал, как устроены большие языковые модели и почему информация, которую вы загружаете, не попадает к другим пользователям в готовом виде.

Вот на что ответил: — как сервисы хранят запросы и документы, — почему нейросети работают с обобщёнными закономерностями, а не с копиями ваших файлов, — какие риски остаются при передаче конфиденциальных данных.

Тут ответы: https://t.me/ratingruneta/518 )

👁 AI для медицины начали!

На твиче — без смс и регистрации!

https://www.twitch.tv/vladsavinr77ai

СЮДА КОММЕНТАРИИ)

AI для медицины

К нам придет Екатерина Кондратьева Head of AI in Healthcare из Atelic.ai и расскажет насколько хорошо LLM работают для медицинских задач сегодня.

Тезисы: - На вебинаре вспомним эволюцию MedLLM моделей за пару лет, посмотрим на последние метрики и удивимся им. Попробуем собрать идеальный промт для собственного цифрового двойника и не слить свои чувствительные данные в интернет. А так же: - Что LLM можно безопасно «скармливать» из медицинских PDF/отчётов, а где начинаются ошибки и галлюцинации. - Где модели помогают врачу и пациенту уже сейчас (суммаризация, извлечение фактов, агенты и проч.) и где они системно срываются.

Еще попрактикуемся: Поделаем промпт-шаблоны, тесты на галлюцинации, чек-лист безопасности и приватности (включая DeepSeek/ChatGPT/Claude).

А тут крутейшие каналы от Кати, если интересуетесь AI в медицине про MedLLM и рынок в Линкедин или канал с жизой в медицинских данных

Уже завтра в 16-00 — ссылку скинем перед трансляцией (пока разбираемся, как избегать взломо Зума и Мита).

Тут можете добавить в календарь: https://calendar.app.google/Kwaq3BCnrDSh9W5K9

Хабр — Развертывание ИИ внутри контура/On-premise — выбор оборудования, расчет и закупка | Марат Рахимов

https://habr.com/ru/articles/946116/ на хабре тоже)

Развертывание ИИ внутри контура/On-premise — выбор оборудования, расчет и закупка | Марат Рахимов

Выложили вебинар! Ура!

ссыль на презентацию в пдф

https://www.youtube.com/watch?v=PTM9C0qZXss

https://vkvideo.ru/video-228941334_456239056

Запись эфира по RAGу без эмбеддингов (ссылка внизу поста)

Выписал самое важное и дополнил

Главные проблемы поиска на эмбеддингах:

1. Семантическая схожесть ≠ фактическая релевантность (слова те же, смысл другой)

2. Не учитывает "логические операции" в запросе ("и", "не")

3. Не умеет делать промежуточные шаги (сходить в другой кусок текста, чтобы посмотреть значение аббревиатуры или определение)

4. Ломается на агрегации "вот тебе посты из канала, проанализируй слабые и сильные места автора" → найдет посты, где я автор сам что-то пишет про посты/канал и сильные/слабые места. Например, обзор чужого канала. 5. Короткие пользовательские запросы отличаются от длинных чанков документации. И по длине, и по формулировкам

6. Плохо работает с таблицами

———

Запрос пользователя:

"Какие отделы нашей компании, кроме отдела продаж, не выполнили KPI в последнем квартале?"

Догадаетесь, в чем будет проблема с эмбеддингами?

- "Отчет по итогам квартала: Отдел продаж блестяще выполнил KPI, показав рекордный рост!" - "План на следующий квартал: всем отделам компании, включая отдел маркетинга, поставлена задача выполнить KPI." - "В последнем квартале отдел разработки успешно выполнил все поставленные KPI."

———

Лечим симптомы (все еще эмбеддинги):

1. query rewriting/expansion и/или Instruction Awareness

2. Векторный поиск по саммари чанков, а для генерации ответа использовать их полный текст

3. Можно делать не просто саммари чанков, а генерировать возможные вопросы по ним и искать уже по вопросам

4. Добавлять текст соседних чанков на этапе Generation

5. reranking

6. Препроцессинг документов с сохранением структуры (marker-pdf, docling, unstructured)

———

Лечим причину:

1. Не используем эмбеддинги

2. В качестве search engine берем легковесную LLM. Прогоняем по страницам документа и выдаем им true/false в зависимости от релевантности вопросу (запросы к разным страницам идут в параллель => работает быстро)

3. Вместо 2 совсем наглеем и передаем в запросе сразу сотни страниц – просим выписать только номера релевантных (держим до 200-300к токенов на запрос, даже если окно 1м)

4. gemini-2.5-flesh круто с этим справляется, а главное – нативно кушает pdf без препроцессинга. Понимает таблицы и картинки 🔥

5. Релевантные страницы передаем в ризонинг модель для Generation как в "классическом RAG"

6. Не забываем делать Structured Output c промежуточными шагами размышлений

———

Альтернативы (Для более структурированного поиска)

Для примера возьмем книгу рецептов и вопрос "что приготовить на ужин, если у меня есть лапша, фарш и 20 минут времени"

1. Сначала для каждого рецепта вычленить структурированные поля (ингредиенты, время приготовления, тип блюда – первое, второе, десерт и т.д.)

2. Сложить в SQL все извлеченные данные и исходный текст рецепта

3. Использовать text2sql, чтобы по запросу пользователя создавать search query

4. В Generation идут исходные текста рецептов

В реальности обычно создаем разные таблички в бд, потому что данные бывают разных типов с разными параметрами

В более простой версии этого подхода, тупо назначаем LLMкой "теги" разным кусочками текста и фильтруем по ним, а потом делаем классический RAG или сразу передаем в LLM

———

Общие мысли и ответы на вопросы

- Data preparation is a king

- Промежуточный вызов LLM – хороший reranker, даже для embedding-based подхода

- Всегда пытаемся передать ссылки на исходные блоки инфы. Увеличивает надежность и тестируемость. Высший пилотаж – показывать не только страницы, но и конкретные строчки, на которые опиралась модель

- Иногда нужно вообще убрать этап Generation и просто показывать найденные куски информации

- LLM retrieval стоит сильно дороже, чем эмбеддинги, но для большого числа кейсов это ок. 1 доллар – все дешевле, чем пару часов сотрудника с зп в десятки баксов в час

Доп материалы:

Ссылка на сам эфир от @r77_ai (больше деталей, примеров и интересных вопросов от слушателей. сначала разгоняюсь, но потом жара начинается)

- Instruction Awareness - Промежуточные шаги размышлений в Structured Output - Кормим pdf в gemini через openai-compatible api

Распознавание исторических документов с помощью ИИ — выложили! Ура!

https://youtu.be/WxftYcKDGx8

https://vkvideo.ru/video-228941334_456239055

Стартуем! ИИ в контуре — закупка и расчет!

https://us06web.zoom.us/j/6586928553?pwd=Wnh0dXRKWUpmZzFwSlZabzlyR1dqUT09

ИИ в контуре — закупка и расчет

"Привет! Я Марат Рахимов, директор по ИИ в MR Group. Перед нами стояла задача понять, нужна ли своя AI-инфраструктура в компании и какие решения для нее выбрать?

На вебинаре расскажу, как мы решали эту задачу: определялись с облаком vs on-prem, выбирали оборудование, считали GPU-мощностиокупаемость и как закупали".

Вот Марат сегодня в 17-00 у нас на канале — скинем ссылку в Zoom перед началом (мы вроде научились не пускать ботов), а пока можете добавить в календарь) https://calendar.app.google/M8dPNdFRCQJEDuJUA

ИИ внутри компании

У нас постоянный запрос на ИИ внутри компании из-за конфиденциальности и закона о персональных данных.

Но как закупать оборудование и почем в нынешних условиях и как рассчитать количество запросов и мощностей.

Вот тут к нам примет Марат Рахимов — директор ИИ трансформации крутого застройщика Mr Group.

Расскажет, как со всем этим разбирался и как получилось)

В четверг в 17-00 у нас на канале — ставьте нотифай или добавляйте в календарь https://calendar.app.google/M8dPNdFRCQJEDuJUA )

Selectel про наш Text2SQL

Про наш проект с inSales написал Selectel на Хабре. Text2SQL напомню в нашем случае это когда можно спросить "А какие продажи были в феврале моего продукта" и система побегает по БД и ответит "человеческим языком".

Вот тут как делали подробнее: https://habr.com/ru/companies/selectel/articles/938944/

Выложили "RAG без ембедингов"!

Спасибо Николаю из AI и грабли подпишитесь у него классный канал)

https://youtu.be/c8j4ZypIY2U

https://vkvideo.ru/video-228941334_456239054

Стартовали "Распознавание исторических документов"

Сегодня в телемост)

https://telemost.360.yandex.ru/j/8626686462

Оставляйте вопросы тут)