Разработчики Google представили экспериментальную открытую модель DiffusionGemma, которая использует метод диффузии для создания текстов. Продукт построен на базе архитектуры Gemma 4 и задействует технологию Mixture of Experts. В отличие от стандартных систем, поочередно предсказывающих слова, новинка создает текстовые блоки объемом до 256 токенов параллельно. Такой подход напоминает работу печатного пресса и увеличивает скорость локальной генерации на графических процессорах до четырех раз.
Модель ориентирована на локальные задачи, где важна минимальная задержка при обработке данных. Модель обладает общим объемом 26 млрд параметров, но при генерации активирует только 3,8 млрд, что позволяет запускать ее на картах с объемом видеопамяти от 18 ГБ. Благодаря двунаправленному вниманию система способна редактировать текст в реальном времени, эффективно исправлять собственные ошибки, дописывать программный код и решать задачи со сложной структурой. Качество результатов DiffusionGemma уступает базовым версиям Gemma 4, поэтому для финальных коммерческих продуктов разработчики рекомендуют использовать стандартные варианты.
Новинка уже доступна для загрузки под лицензией Apache 2,0. Оптимизация выполнена совместно со специалистами NVIDIA для широкого спектра оборудования, включая видеокарты GeForce RTX 4090 и 5090.
