Kimi K2 Base: фундаментальный checkpoint семейства K2

Официальная карточка описывает архитектуру Mixture-of-Experts: 1 трлн параметров всего, 32 млрд активных и контекст 128K. Moonshot связывает предобучение семейства с 15,5 трлн токенов и оптимизатором MuonClip. Это сведения о разработке K2, а не обещание готовой чат-обвязки Base. В разделе Model Variants разработчик прямо различает фундаментальные веса для fine-tuning и post-trained Instruct для диалога и агентных сценариев.

Карточка не подтверждает готовность Base к русскоязычному ассистенту. Для исследования подготовьте независимую русскую выборку, оцените потери или результаты дообученной версии и отдельно проверьте следование инструкциям. Нельзя сравнивать сырые предобученные ответы с post-trained чат-моделями как равные конфигурации. Для пользовательского русского сценария сначала проверяйте Instruct либо более поздний подходящий checkpoint.

Подходящие сценарии: дальнейшее дообучение K2; исследование MoE-предобучения; воспроизведение базовых тестов; специализация модели под свой корпус.

Base выбирают, когда нужен контроль над fine-tuning, а не быстрый запуск ассистента. Для прототипа чата использование Base обычно создаёт лишнюю работу по post-training и оценке безопасности. Перед крупным экспериментом сравните ожидаемую пользу с вычислительной стоимостью модели 1T, подготовьте закреплённый датасет и критерии продолжения. Отдельно зафиксируйте, что результаты после вашего дообучения уже относятся к производной версии, а не к исходному checkpoint.

Паспортное окно 128K относится к архитектуре, но качество по длинному вводу и лимит конкретного сервера нужно измерять отдельно. Модель хранится в block-FP8 checkpoint, при этом общий размер весов не сводится к 32B активной части. Примеры на HF могут показывать универсальный интерфейс запуска, но они не превращают предобученную Base в готовый tool-calling продукт. Нужны оценка зависимостей, ресурсов, безопасности обучения и проверка поведения после настройки.