Точный ID
moonshotai/Kimi-Linear-48B-A3B-Base
Модель Moonshot
Kimi Linear 48B A3B Base: эксперимент с длинным контекстом
Kimi-Linear-48B-A3B-Base — предобученный checkpoint из работы Moonshot о гибридном линейном внимании. Его назначение — исследование архитектуры и собственное дообучение, не готовый пользовательский диалог.
Коротко
Что важно знать о Kimi Linear 48B A3B Base
Карточка описывает Kimi Delta Attention (KDA) и гибридную схему с отношением 3:1 между блоками KDA и глобальным MLA. Для Base и Instruct опубликованы разные репозитории с 48B параметров всего, 3B активных и паспортным контекстом 1M токенов. Исследовательская идея — уменьшить стоимость работы с очень длинной последовательностью и KV-cache. Base показывает фундамент этой архитектуры, тогда как для следования инструкциям предназначен отдельный Instruct checkpoint.
Что умеет модель
Главные возможности — коротко. Полные условия и параметры доступны ниже.
Архитектура
KDA/MLA; 48B всего, 3B активных
Контекст checkpoint
1M токенов
Тип
base для исследования и настройки
Лицензия
MIT
Все 5 характеристик, доступ и API
- Точный ID
- moonshotai/Kimi-Linear-48B-A3B-Base
- Тип
- base для исследования и настройки
- Архитектура
- KDA/MLA; 48B всего, 3B активных
- Контекст checkpoint
- 1M токенов
- Лицензия
- MIT
Сценарии
Для каких задач подходит
- исследование KDA и гибридного внимания
- дообучение на собственном корпусе
- оценка длинного контекста в контролируемой среде
- сравнение базовых архитектур
Берите Base, если нужно понять поведение нового механизма внимания или строить производную модель с собственным post-training. Для немедленной работы с запросами лучше оценить Instruct из того же выпуска. Заранее запланируйте инфраструктурный тест: паспортный миллион токенов ещё не означает, что выбранный сервер, память и latency позволяют принимать такие запросы. Результаты после вашего fine-tuning публикуйте под отдельной версией, не как свойства оригинального Base.
До внедрения
Что проверить
На странице есть пример Transformers с trust_remote_code и требованием fla-core; удалённый код и версии зависимостей требуют проверки перед запуском. Часть примеров usage на обоих репозиториях показывает именно Instruct ID, поэтому их нельзя считать доказательством готового чата на Base. Показанные авторами ускорения относительно MLA зависят от длины, железа и конфигурации теста. 3B активных параметров не означают размещение модели в памяти как плотной 3B.
Доступ и интеграция
HF-карточка помечает checkpoint лицензией MIT. Это публикация весов для самостоятельной работы; пример локального OpenAI-совместимого сервера не подтверждает официальный облачный API Moonshot для exact ID. При внедрении проверьте полные лицензионные уведомления, безопасность custom code, нужную версию fla-core и расчёт вычислений. Цену стороннего хостинга и доступность по регионам карточка не устанавливает.
Русский язык
Kimi Linear 48B A3B Base на русском
Русскоязычное качество Base не подтверждается архитектурными графиками. Для русских данных измеряйте базовые языковые показатели и итог дообучения на независимом корпусе; не просите сырую Base-модель выполнять сложные пользовательские инструкции как Instruct. При длинных документах отдельно проверяйте извлечение факта в начале, середине и конце, иначе большое окно создаст ложное ощущение надёжности.
Внутри линейки
Kimi Linear 48B A3B Base и модели Moonshot
Выберите до четырёх версий и сопоставьте задачу, контекст и доступ. Неуказанная цена не считается нулевой.
Для этого типа задачи в каталоге пока нет второй модели этого провайдера. Не сравнивайте её численно с моделью другого типа входа или выхода.
Kimi Linear 48B A3B Base
исследование KDA и гибридного внимания
- Тип
- Текст
- Контекст
- 1M токенов
Другие провайдеры
Kimi Linear 48B A3B Base: сравнение с альтернативами
Сравните модели того же типа от разных провайдеров. Числовое место не присваивается версии без независимого измерения.
Kimi Linear 48B A3B Base
Карточка описывает Kimi Delta Attention (KDA) и гибридную схему с отношением 3:1 между блоками KDA и глобальным MLA. Для Base и Instruct опубликованы разные репозитории с 48B параметров всего, 3B активных и паспортным контекстом 1M токенов. Исследовательская идея — уменьшить стоимость работы с очень длинной последовательностью и KV-cache. Base показывает фундамент этой архитектуры, тогда как для следования инструкциям предназначен отдельный Instruct checkpoint.
- Тип
- Текст
- Контекст
- 1M токенов
Qwen3-Coder-Next-Base
Это предобученная основа для адаптации кодового агента, а не готовая Instruct-модель, которая обязана выполнять каждую пользовательскую команду.
- Тип
- Текст
ChatGLM3-6B-Base
zai-org/chatglm3-6b-base — опубликованный базовый checkpoint третьего поколения. Официальная карточка прямо предупреждает: модель не выровнена по человеческому намерению, поэтому её не следует выдавать за готового многоходового ассистента.
- Тип
- Текст
Связи
Продолжить выбор
Проверка сведений
Подробности и источники
Зачем Base при наличии Instruct
Moonshot публикует два checkpoint одной экспериментальной архитектуры: Base и Instruct. Base полезен для анализа обучения и для собственной настройки, тогда как пример диалогового inference в карточке явно использует Instruct ID. Если цель — ассистент по документам, измеряйте Instruct. Если цель — исследование внимания, фиксируйте ревизию Base, параметры генерации и аппаратную среду, а после дообучения не смешивайте результаты с исходными весами.
Как тестировать миллионный контекст
Паспортное окно в таблице равно 1M, но авторские графики скорости показывают отдельные конфигурации и длины. Для своего сервера сначала подтвердите фактический max model length, затем измерьте расход памяти и задержку на ступенях длины. Разместите известные контрольные факты в разных частях документов и проверьте извлечение. Такая проверка отделит архитектурный потенциал KDA от качества конкретного checkpoint и ограничений обслуживающего движка.
Вопросы и ответы
FAQ о Kimi Linear 48B A3B Base
Что такое Kimi Linear 48B A3B Base?
Карточка описывает Kimi Delta Attention (KDA) и гибридную схему с отношением 3:1 между блоками KDA и глобальным MLA. Для Base и Instruct опубликованы разные репозитории с 48B параметров всего, 3B активных и паспортным контекстом 1M токенов. Исследовательская идея — уменьшить стоимость работы с очень длинной последовательностью и KV-cache. Base показывает фундамент этой архитектуры, тогда как для следования инструкциям предназначен отдельный Instruct checkpoint.
Работает ли Kimi Linear 48B A3B Base на русском?
Русскоязычное качество Base не подтверждается архитектурными графиками. Для русских данных измеряйте базовые языковые показатели и итог дообучения на независимом корпусе; не просите сырую Base-модель выполнять сложные пользовательские инструкции как Instruct. При длинных документах отдельно проверяйте извлечение факта в начале, середине и конце, иначе большое окно создаст ложное ощущение надёжности.
Для каких задач подходит Kimi Linear 48B A3B Base?
Подходящие сценарии: исследование KDA и гибридного внимания; дообучение на собственном корпусе; оценка длинного контекста в контролируемой среде; сравнение базовых архитектур.
Когда выбирать Kimi Linear 48B A3B Base?
Берите Base, если нужно понять поведение нового механизма внимания или строить производную модель с собственным post-training. Для немедленной работы с запросами лучше оценить Instruct из того же выпуска. Заранее запланируйте инфраструктурный тест: паспортный миллион токенов ещё не означает, что выбранный сервер, память и latency позволяют принимать такие запросы. Результаты после вашего fine-tuning публикуйте под отдельной версией, не как свойства оригинального Base.
Какие ограничения есть у Kimi Linear 48B A3B Base?
На странице есть пример Transformers с trust_remote_code и требованием fla-core; удалённый код и версии зависимостей требуют проверки перед запуском. Часть примеров usage на обоих репозиториях показывает именно Instruct ID, поэтому их нельзя считать доказательством готового чата на Base. Показанные авторами ускорения относительно MLA зависят от длины, железа и конфигурации теста. 3B активных параметров не означают размещение модели в памяти как плотной 3B.
Каталог GPT House
Выберите модель по задаче, а не только по названию
Сравните назначение модели со связанными рабочими сценариями и проверьте ее на собственных данных.