Google официально представила DiffusionGemma, инновационную открытую модель, которая меняет подход к генерации текста. В отличие от традиционных авторегрессионных моделей, работающих по принципу «слово за словом», эта архитектура использует методы диффузии для параллельной обработки данных.
Революция скорости генерации
Модель достигает впечатляющей скорости в 1000 токенов в секунду на графических процессорах NVIDIA H100, что в четыре раза быстрее стандартных версий Gemma.
«Вместо последовательного вывода, модель начинает с холста случайных токенов, итеративно уточняя их до тех пор, пока весь блок не обретет смысл», — отмечают разработчики Google.
Почему это важно для индустрии
- Параллельная генерация позволяет использовать двунаправленное внимание.
- Идеально подходит для задач с жесткими ограничениями, таких как написание кода или структурированный вывод.
- Лицензия Apache 2.0 обеспечивает доступность для широкого круга исследователей.
FAQ
Что такое DiffusionGemma? Это модель, которая использует диффузионный процесс для генерации текста, что значительно увеличивает скорость работы.
Нужно ли специальное оборудование? Для достижения максимальной производительности рекомендуется использовать мощные GPU, такие как NVIDIA RTX 4090 или 5090.
