Что вошло в семейство GigaEmbeddings 0826
AI-Sage опубликовала три embedding-модели: GigaEmbeddings 10B-A1.8B, 3B и 480M. Они преобразуют текст в векторы для семантического поиска, кластеризации и retrieval в RAG-системах. Это не чат-модели: они находят релевантный контекст, который затем может использовать генеративная модель.
Официальные карточки ориентируют семейство на русский и английский языки. Для запросов предусмотрена инструкция, а итоговые представления строятся через mean pooling и L2-нормализацию. Все три версии опубликованы под лицензией MIT.
Чем отличаются 10B, 3B и 480M
Версия 480M подходит для локального пилота и ограниченной инфраструктуры. Модель 3B является практичной стартовой точкой для production, когда компактной версии не хватает по качеству. Старшая 10B-A1.8B использует MoE-подход с активной частью около 1.8 млрд параметров и рассчитана на сценарии, где прирост retrieval оправдывает дополнительные ресурсы.
Больший размер не гарантирует лучший продукт. На итог влияют разбиение документов, длина фрагмента, формулировка запроса, язык, доменная терминология и качество эталонной выборки.
Как выбрать модель для RAG
- Соберите реальные запросы и отметьте документы, которые должны попадать в верх выдачи.
- Запустите все версии на одинаковом корпусе и одинаковой схеме chunking.
- Измерьте recall, nDCG, задержку, память и стоимость полной переиндексации.
- Проверьте короткие русские запросы, имена, аббревиатуры и отраслевые термины.
Начинать рационально с 480M или 3B. Старшую версию стоит подключать только после измеримого разрыва в качестве. При смене embedding-модели индекс обычно нужно построить заново, поэтому эксперимент лучше провести до массовой загрузки документов.
Как связать retrieval с генеративной моделью
Embedding-модель отвечает за выбор контекста, а LLM за формирование ответа. Если retrieval пропустил нужный документ, более дорогая LLM не восстановит исходный факт надежно. Поэтому мониторинг RAG должен разделять качество поиска и качество генерации.
Официальные источники
Вопросы и ответы
Какую версию GigaEmbeddings выбрать первой?
Для локального пилота подойдет 480M, а 3B является разумной стартовой точкой для production. Версию 10B-A1.8B стоит выбирать после измеримого выигрыша в retrieval.
Поддерживают ли модели русский язык?
Семейство ориентировано на русский и английский языки, но качество нужно проверять на запросах и документах конкретной отрасли.
Нужна ли переиндексация при смене модели?
Да. Векторы разных embedding-моделей обычно несовместимы, поэтому корпус следует переиндексировать.
