Зачем зубрить факты, если можно научить читать? Дообучаем маленькую LLM для RAG на примере Meno-Lite

Тезисы

Современные LLM переоценены как хранилища фактов. В реальном продакшене (RAG, ассистенты, агенты) факты хранятся в базах знаний, а задача LLM — грамотно работать с поисковой выдачей, которая поступает во входной контекст модели. Гнаться за пресловутой PhD-level LLM — здесь значит просто сжигать компьют без экономической отдачи. В докладе расскажу, как мы дообучили небольшую 7B-модель, прокачав её «языковые навыки», а не знания о мире. В результате получилась Meno-Lite — модель, которая на равных конкурирует с 70B-гигантами в задачах, где ответ можно извлечь из контекста.

Аудитория

Специалист по данным / Специалист по машинному обучению, Руководитель команды / Технический руководитель

Уровень сложности

Средний