Gemma 4
Unsloth 48K
Лидер итогового зачёта: 43/48. Ещё и очень быстрая, но занимает почти всю 16-гигабайтную видеопамять.
89.6%140 токен/с15.2 ГиБ
Полевой отчёт · llama.cpp · домашнее железо
Не «кто первый»,
а кого запускать.
Первый срез: 21 конфигурация, 7 наборов задач и два контролируемых прогона. Новая серия 21–26 июля с десятью повторами и тернарной Bonsai вынесена в отдельный подробный раздел.
21профиль
55заданий максимум
163токен/с · пик медианы
16 ГБлимит видеопамяти
01 / Короткий ответТри победителя.
Три победителя.
Три разных сценария.
Абсолютного чемпиона нет: контекст, задержка и запас видеопамяти меняют правильный выбор.
Gemma 4
Qwopus
128K YaRN ×4
Почти тот же балл по единому набору, 128K контекста и 79% принятых MTP-токенов. Медленнее Gemma, зато остаётся заметный запас видеопамяти.
45/5161 токен/с11,6 ГиБ
Ornith 9B
Q5_K_M
84% при 111 токен/с и 10,7 ГиБ видеопамяти. Q8 не добавил качества, но стал медленнее и тяжелее — здесь Q5 выглядит рациональнее.
43/51111 токен/с10,7 ГиБ
02 / Карта компромиссов
Быстро ≠ слабо.
Правее — быстрее генерация. Выше — лучше результат по единому набору. Размер точки отражает видеопамять: идеальная зона находится справа сверху.
БАЛЛ ЕДИНОГО НАБОРА →СКОРОСТЬ, ТОКЕН/С →
лучший баланс
26–35B 9B● размер = видеопамять
2,6×Gemma 16K быстрее 35B Qwen-класса по генерации
+54%Qwopus 128K быстрее базовых 35B благодаря MTP
≈ 0выигрыш Q8 над Q5 у Ornith 9B по качеству
03 / Исследователь
Все результаты.
Фильтруй, сортируй и нажимай на строки, чтобы поставить две конфигурации рядом.
| Профиль | Итого | Скорость | Первый токен | Видеопамять | Повторяемость | |
|---|---|---|---|---|---|---|
| 01 Gemma 4 Unsloth 26B · 48K48K контекста | 89.6%43/48 | 139.8токен/с | 112мс | 15.2ГиБ | 96.1%2 смен / 51 | |
| 02 Ornith 35B · CpuMoe 35256K контекста | 88.2%45/51 | 39.8токен/с | 682мс | 10.5ГиБ | — | |
| 03 Qwopus Coder 35B · 128K128K контекста | 88.2%45/51 | 61.4токен/с | 574мс | 11.6ГиБ | 86.3%7 смен / 51 | |
| 04 Ornith 9B · Q5_K_M128K контекста | 84.3%43/51 | 111.4токен/с | 96мс | 10.7ГиБ | — | |
| 05 Ornith 9B · Q8_0128K контекста | 84.3%43/51 | 83.3токен/с | 96мс | 13.1ГиБ | — | |
| 06 Qwythos 9B · Q6_K с MTP128K контекста | 84.3%43/51 | 125.2токен/с | 150мс | 13.1ГиБ | 100%0 смен / 51 | |
| 07 Qwythos 9B · Q8_0 без MTP128K контекста | 84.3%43/51 | 79.0токен/с | 107мс | 13.3ГиБ | — | |
| 08 Gemma 4 Google 26B · 64K64K контекста | 83.3%40/48 | 108.4токен/с | 188мс | 14.8ГиБ | 94.1%3 смен / 51 | |
| 09 Ornith 35B · шаблон Froggeric256K контекста | 82.4%42/51 | 47.8токен/с | 585мс | 14.2ГиБ | 100%0 смен / 51 | |
| 10 Ornith 35B · CpuMoe 28256K контекста | 82.4%42/51 | 47.5токен/с | 597мс | 14.2ГиБ | 98%1 смен / 51 | |
| 11 Qwen AesSedai 35B · без MTP256K контекста | 82.4%42/51 | 41.3токен/с | 636мс | 13.3ГиБ | 84.3%8 смен / 51 | |
| 12 Gemma 4 Google 26B · 16K16K контекста | 82.2%37/45 | 162.9токен/с | 112мс | 15.4ГиБ | 98%1 смен / 51 | |
| 13 Qwopus Coder 35B · 32K32K контекста | 82.2%37/45 | 60.9токен/с | 518мс | 9.8ГиБ | 90.2%5 смен / 51 | |
| 14 Qwopus Coder 35B · 64K64K контекста | 81.3%39/48 | 62.6токен/с | 568мс | 10.4ГиБ | 88.2%6 смен / 51 | |
| 15 Qwythos 9B · Q8_0 с MTP128K контекста | 78.4%40/51 | 124.7токен/с | 118мс | 14.7ГиБ | — | |
| 16 Qwen AgentWorld 35B · Q5256K контекста | 72.5%37/51 | 41.7токен/с | 628мс | 13.5ГиБ | 86.3%7 смен / 51 |
Живое сравнениевыбери до двух профилей в таблице или на графике
Gemma 4 Unsloth 26B · 48K
89.6%итого88.1%единый набор140токен/с15.2ГиБ видеопамяти
Код12/12Логика8/8Инструменты8/8Инструкции6/8Русский3/6Длинный контекст6/6
Qwopus Coder 35B · 128K
88.2%итого88.1%единый набор61токен/с11.6ГиБ видеопамяти
Код11/12Логика8/8Инструменты7/8Инструкции6/8Русский5/6Длинный контекст8/9
04 / ИзображенияВсе увидели.
Все увидели.
Но не одинаково быстро.
Пять профилей с обработкой изображений прошли 4 из 4: распознавание текста объявления, таблицу, переключатели интерфейса и диаграмму. Это победа совместимости, но не доказательство равного визуального интеллекта — набор упёрся в потолок сложности.
Что улучшить во второй версииМелкий шрифт · рукопись · плотные таблицы · пространственные ловушки · несколько изображений
05 / ПовторяемостьОдин балл —
Один балл —
это снимок.
На 16 общих профилях сравнили статусы одинаковых заданий между двумя прогонами. Обработка изображений была идеально стабильна; у моделей с рассуждением разброс заметно выше.
Qwen AesSedai 35B · без MTP84.3%34 → 42 · 8 смен
Qwen AgentWorld 35B · Q586.3%38 → 37 · 7 смен
Qwopus Coder 35B · 128K86.3%44 → 45 · 7 смен
Qwopus Coder 35B · 64K88.2%39 → 39 · 6 смен
Qwopus Coder 35B · 32K90.2%38 → 37 · 5 смен
Gemma 4 Google 26B · 64K94.1%37 → 40 · 3 смен
Gemma 4 Unsloth 26B · 48K96.1%41 → 43 · 2 смен
Gemma 4 Google 26B · 16K98%36 → 37 · 1 смен
Ornith 35B · CpuMoe 2898%43 → 42 · 1 смен
Qwen 3.6 AesSedai · изображения100%4 → 4 · 0 смен
Gemma Unsloth · изображения100%4 → 4 · 0 смен
Gemma Google · изображения100%4 → 4 · 0 смен
Ornith 35B · шаблон Froggeric100%42 → 42 · 0 смен
Qwopus · изображения100%4 → 4 · 0 смен
Qwythos 9B · Q6_K с MTP100%43 → 43 · 0 смен
Qwythos Q6 · изображения100%4 → 4 · 0 смен
Как читать: изменение общего счёта может быть нулевым при нескольких взаимно компенсирующихся сменах результата. У Qwopus 64K, например, итог не изменился, но статус сменился у шести заданий.
06 / Для подкованныхМетодика и
Методика и
сырые детали.
Сайт собран как расширяемый атлас: новые JSON-отчёты автоматически становятся новыми срезами после синхронизации данных.
GeForce RTX 5070 Ti 16 GB · Ryzen 7 5700X3D · 64 GB DDR4
Локальный llama.cpp, сборка b10064. Пиковая видеопамять и оперативная память сняты на уровне серверного процесса.
температура 0,6 · top_p 0,95 · top_k 20 · начальное значение 42
Контролируемый режим выравнивает параметры между профилями; длинный контекст выполнялся одним прогоном.
12 задач на код · 8 на логику · 8 на инструменты · 8 на инструкции · 6 на русский · 4 на изображения · 9 на длинный контекст
Максимум 55 задач, но изображения и недоступные размеры контекста корректно пропускались.
01 Ограничения первой версии +
Русский проверяющий модуль первоначально требовал буквальный маркер ANSWER:; проверка инструментов была слишком строга к строковым аргументам; лимит 6144 токена обрывал модели с рассуждением. Эти эффекты сильнее били по AgentWorld и базовому Qwen 3.6.
Задание russian-004 провалили все 11 исходных текстовых профилей — вероятен дефект задания. Поэтому выводы по русскому считай направляющими, не финальными.
02 Что означает анализ повторяемости +
Эффективное начальное значение не записано в JSONL первой версии; сравнение показывает повторяемость прогона, а не чистый причинный эффект этого значения.
Иными словами, таблица надёжно показывает чувствительность результата, но не позволяет строго разделить влияние начального значения, недетерминизм видеокарты и изменения запускающего кода.
03 Полные срезы по наборам +
Qwen AgentWorld 35B · Q5
Код9/12Логика8/8Инструменты8/8Инструкции6/8Русский0/6Длинный контекст6/9
Gemma 4 Google 26B · 16K
Код10/12Логика8/8Инструменты8/8Инструкции7/8Русский1/6Длинный контекст3/3
Gemma 4 Google 26B · 64K
Код11/12Логика8/8Инструменты8/8Инструкции6/8Русский1/6Длинный контекст6/6
Gemma 4 Unsloth 26B · 48K
Код12/12Логика8/8Инструменты8/8Инструкции6/8Русский3/6Длинный контекст6/6
Ornith 35B · шаблон Froggeric
Код9/12Логика8/8Инструменты7/8Инструкции8/8Русский1/6Длинный контекст9/9
Ornith 35B · CpuMoe 35
Код11/12Логика8/8Инструменты8/8Инструкции8/8Русский1/6Длинный контекст9/9
Ornith 35B · CpuMoe 28
Код9/12Логика8/8Инструменты7/8Инструкции8/8Русский1/6Длинный контекст9/9
Ornith 9B · Q5_K_M
Код9/12Логика8/8Инструменты8/8Инструкции7/8Русский2/6Длинный контекст9/9
Ornith 9B · Q8_0
Код9/12Логика8/8Инструменты8/8Инструкции8/8Русский1/6Длинный контекст9/9
Qwen AesSedai 35B · без MTP
Код9/12Логика8/8Инструменты8/8Инструкции7/8Русский1/6Длинный контекст9/9
Qwopus Coder 35B · 128K
Код11/12Логика8/8Инструменты7/8Инструкции6/8Русский5/6Длинный контекст8/9
Qwopus Coder 35B · 32K
Код7/12Логика7/8Инструменты8/8Инструкции7/8Русский5/6Длинный контекст3/3
Qwopus Coder 35B · 64K
Код7/12Логика8/8Инструменты8/8Инструкции8/8Русский2/6Длинный контекст6/6
Qwythos 9B · Q6_K с MTP
Код9/12Логика7/8Инструменты8/8Инструкции6/8Русский4/6Длинный контекст9/9
Qwythos 9B · Q8_0 с MTP
Код6/12Логика7/8Инструменты8/8Инструкции7/8Русский3/6Длинный контекст9/9
Qwythos 9B · Q8_0 без MTP
Код9/12Логика6/8Инструменты8/8Инструкции7/8Русский4/6Длинный контекст9/9
04 Архив прогонов +
19.07.2026, 04:03:31run-2026071911 профилей · 20260719-063839-run-20260719.json
19.07.2026, 13:34:27run-2026071916 профилей · 20260719-141906-run-20260719.json
20.07.2026, 05:32:41run-20260719-full21 профилей · 20260720-054402-run-20260719-full.json