Qwen3Guard-Stream-4B: потоковая модель классификации безопасности

Официальный quickstart сначала оценивает пользовательскую часть разговора, затем добавляет токены ответа ассистента по мере их генерации через stream_moderate_from_ids. Состояние потока сохраняет контекст между вызовами, а результат позволяет увидеть уровень риска и категорию до окончания сообщения. Это меняет эксплуатационный сценарий: интерфейс может задержать показ рискованного продолжения, отметить участок на ревью или прервать выдачу. Одновременно решение становится чувствительным к порядку токенов и к тому, как система завершает поток; демонстрационный код явно закрывает stream_state. Проверка одного готового предложения не воспроизводит этот режим. Для продукта следует измерять не только итоговую метку, но и точку первого срабатывания, число преждевременных блокировок и последствия обрыва ответа на безопасном контексте.

Паспорт предупреждает, что streaming detection принимает именно token IDs. Если модель-генератор пользуется другим словарём, её output нельзя напрямую передать как поток Qwen3Guard: требуется повторная токенизация текста в Qwen3 и постепенная подача полученных токенов. В примере SGLang уровни риска сопоставлены Safe, Unsafe и Controversial, а категории охватывают, в частности, насилие, персональные данные и попытки jailbreak. Названия меток являются выходом модели, а не юридическим заключением. Настройка порогов, разбор false positives и контроль вредных пропусков остаются задачей оператора. В карточке HF указан Apache-2.0; применение trust_remote_code в примере означает, что при внедрении нужно также проверить исполняемый код репозитория и собственную среду запуска.