KIMI K3: 2,8 ТРИЛЛИОНА В ОТКРЫТЫХ ВЕСАХ

По карточке модели: 2,8 трлн параметров, MoE, 104 млрд активных на токен, 16 экспертов из 896.

Контекст — 1 048 576 токенов. Нативная работа с текстом и изображениями. Внутри — Kimi Delta Attention, Attention Residuals, 93 слоя, MXFP4-веса и MXFP8-активации.

Ставка — длинные агентные задачи: огромные репозитории, терминал, исследования, GPU-ядра, компиляторы.

Важно: это не API-анонс. Moonshot выложила веса. Гонка уходит в открытую инженерную инфраструктуру.