ChatGLM2-6B: второе поколение с оговоркой о длинном контексте

Ключевое различие с первой версией нельзя свести к слову «32K». Паспорт сообщает, что до 32K расширено окно базовой модели, а диалоговое выравнивание проводилось с длиной 8K. Разработчик сам отмечает слабость текущего варианта на однократном понимании сверхдлинного документа. Поэтому тестировать многостраничный контракт следует не по факту успешной загрузки текста, а по заранее размеченным вопросам о начале, середине и конце. Отдельно проверяйте, не теряются ли требования после нескольких ходов. Такой протокол покажет реальную полезность именно этого checkpoint и не перепутает технический лимит токенов с качеством поиска ответа.

Паспорт связывает экономию памяти и ускорение с Multi-Query Attention и приводит сравнительные результаты в официальной реализации. Они полезны для понимания замысла разработчиков, но не являются универсальным временем ответа на вашей машине. Для собственного измерения используйте одинаковую длину ввода и вывода у ChatGLM-6B и ChatGLM2-6B, фиксируйте precision и квантизацию, отделяйте холодный старт от последующих запросов. Сравните не только скорость, но и ошибки в ответах, продолжительность устойчивого диалога и нагрузку на память. Старый пример в карточке использует trust_remote_code и прежние версии библиотек: не переносите его в производственный контур без ревизии зависимостей.

Официальный паспорт отделяет лицензию кода Apache-2.0 от ChatGLM2-6B Model License для весов. Текст последней прямо относится к параметрам второго поколения и содержит ограничения и обязанность сохранять лицензионное уведомление. Паспорт дополнительно указывает регистрацию для бесплатного коммерческого использования. Поэтому перед внедрением нужно проверить актуальный текст, рабочую процедуру регистрации и применимость условий к способу распространения модели; этот профиль не заменяет юридическую проверку. Не копируйте лицензионное описание ChatGLM-6B на вторую версию и не называйте опубликованный checkpoint общедоступным бесплатным API.