Малые модели · ровно 9BQ8 не победил.
Q8 не победил.
Практичность — да.
Пять конфигураций Qwythos и Ornith: один общий стенд, единый набор из 42 задач, скорость, видеопамять, MTP и честная устойчивость на десяти повторах.
5вариантов 9B
2профиля с 10 повторами
94,25%BFCL Qwythos Q6
10,5 ГиБминимум видеопамяти
00 / Модели и профилиМодель — это веса.
Модель — это веса.
Профиль — способ запуска.
Поэтому одна и та же Ornith встречается несколько раз. Меняются квант, контекст, шаблон диалога, ускорение и размещение весов между видеокартой и ЦПУ — а не обязательно сама модель.
Рекомендуемый профиль Ornith 9B
ornith9b-q5kmOrnith 9B · Q5_K_M
Более лёгкий квант Q5_K_M: в этой серии дал то же качество, что Q8_0, но оказался быстрее и экономнее по видеопамяти.
Как запускался128K · Q5_K_M · полностью на видеокарте · CpuMoe 0 · без MTP · штатный шаблон Ornith · кеш KV Q8_0
81%единый набор107,2токен/с10,5 ГиБвидеопамять
Контрольный тяжёлый квант
ornith9b-q8Ornith 9B · Q8_0
Та же модель Ornith 9B с более точным, но более тяжёлым Q8_0. Нужна, чтобы проверить, окупается ли больший квант.
Как запускался128K · Q8_0 · полностью на видеокарте · CpuMoe 0 · без MTP · штатный шаблон Ornith · кеш KV Q8_0
81%единый набор79,8токен/с12,7 ГиБвидеопамять
Основной профиль Qwythos 9B
qwythos-q6Qwythos 9B · Q6_K с MTP
Q6_K с ускорением MTP: модель заранее предлагает короткую цепочку токенов и принимает удачные предположения.
Как запускался128K · Q6_K · полностью на видеокарте · CpuMoe 0 · MTP: черновик до 6 токенов · кеш KV Q8_0
81%единый набор120,4токен/с12,9 ГиБвидеопамять
Q8 с ускорением MTP
qwythos-q8-mtpQwythos 9B · Q8_0 с MTP
Тяжёлый Q8_0 с MTP. Запас видеопамяти уменьшен специально, чтобы веса оставались на видеокарте и ускорение не срывалось.
Как запускался128K · Q8_0 · полностью на видеокарте · CpuMoe 0 · MTP: черновик до 3 токенов · кеш KV Q8_0
73.8%единый набор119,2токен/с14,2 ГиБвидеопамять
Контроль без MTP
qwythos-q8-nomtpQwythos 9B · Q8_0 без MTP
Отдельный Q8_0 GGUF без MTP-головы. Это базовая точка, по которой виден именно эффект ускорения MTP.
Как запускался128K · Q8_0 · полностью на видеокарте · CpuMoe 0 · без MTP · кеш KV Q8_0
81%единый набор76,2токен/с12,7 ГиБвидеопамять
01 / Практический вердиктПобеждает не
Побеждает не
самый тяжёлый квант.
Здесь итоговый балл одинаков у нескольких вариантов, поэтому решение дают устойчивость, скорость и память.
Ornith 9B · Q5_K_M
Второй результат на едином наборе при десяти повторах, 9/9 задач на длинный контекст и самый низкий расход памяти среди лидеров 9B.
84%10 повторов107,2токен/с10,5 ГиБвидеопамять
Qwythos 9B · Q6_K с MTP
OpenCode 3/3, BFCL 94,25% и 7/9 по транскриптам. Единый набор заметно менее устойчив, чем у Ornith.
3/3OpenCode94,25%BFCL120,4токен/с
Та же точность, больше цена
Ornith Q8 сохранил 43/51, но потерял скорость и память. Qwythos Q8 без MTP также не улучшил результат одиночного прогона.
−26%скорость Ornith Q8+2,2 ГиБпамять Ornith Q843/51Qwythos Q8
02 / Матрица одиночного прогона
Результаты текстовой матрицы
Доля решённых задач; каждая полоса начинается от нуля. Номер получают только профили с полным и одинаковым знаменателем из 51 задачи.
01
Ornith 9B · Q5_K_MРекомендуемый профиль Ornith 9B · Q5_K_M · 128K · полный 51
84.3%43/51
01
Ornith 9B · Q8_0Контрольный тяжёлый квант · Q8_0 · 128K · полный 51
84.3%43/51
01
Qwythos 9B · Q6_K с MTPОсновной профиль Qwythos 9B · Q6_K · 128K · полный 51
84.3%43/51
01
Qwythos 9B · Q8_0 без MTPКонтроль без MTP · Q8_0 · 128K · полный 51
84.3%43/51
05
Qwythos 9B · Q8_0 с MTPQ8 с ускорением MTP · Q8_0 · 128K · полный 51
78.4%40/51
полный протокол из 51 задачи сокращённый знаменатель особый бюджет ответа Bonsai при штатном бюджете
04 / Повторяемость
Единый набор на десяти повторах
Каждый профиль: 42 одинаковые задачи × 10 начальных значений. Длинный контекст не входит в диапазон — он выполнялся только в первом повторе.
60%70%80%90%95%
A
Ornith 9B · Q5_K_M11 нестабильных задач · ст. откл. 2,83 п.п.
845%34–37 / 42
B
Qwythos 9B · Q6_K с MTP21 нестабильных задач · ст. откл. 5,22 п.п.
76.19%29–35 / 42
03 / A/B квантизации
Цена Q8 и эффект MTP
Ни один вариант Q8 не дал убедительного выигрыша в качестве. Ниже — фактические метрики одиночного прогона настроенных профилей.
Ornith 9BQ5_K_M доминирует Q8_0
Q5_K_M34/42единый набор107,2токен/с10,5 ГиБвидеопамять
Q8_034/42единый набор79,8токен/с12,7 ГиБвидеопамять
Q8 оставил те же 43/51, но стал на 25,6% медленнее и потребовал ещё 2,2 ГиБ видеопамяти.
Qwythos 9BСкорость MTP — не бесплатна
Q6 · MTP34/42единый набор120,4токен/с12,9 ГиБвидеопамять
Q8 · без MTP34/42единый набор76,2токен/с12,7 ГиБвидеопамять
Q8 · MTP31/42единый набор119,2токен/с14,2 ГиБвидеопамять
Q8 с MTP вернул скорость относительно варианта без MTP, но потерял три задачи единого набора. Q6 сохранил и скорость, и качество одиночного прогона.
06 / Работа с инструментами
Что доказано, а что нет
Недействительный внешний прогон — не ноль модели. Поэтому BFCL не превращён в пустую таблицу лидеров.
Qwythos 9B · Q6_K с MTP
377 корректных вызовов из 400. Это единственный полный и валидный BFCL в серии.
181 секунд
Три реальные файловые задачи, тесты и обязательные изменения прошли.
Qwythos Q8 и Ornith 9B · Q5_K_M
Все расширенные попытки оборвались из-за инфраструктуры; частичные 6 из 400 генераций нельзя превращать в нулевой балл.
05 / Профиль ошибок
Результаты по наборам задач
Число в ячейке — решено/проверено. Более тёмный синий означает большую долю, но точное значение остаётся видимым.
| Конфигурация | Код | Логика | Инструменты | Инструкции | Русский | Длинный контекст |
|---|---|---|---|---|---|---|
| Ornith 9B · Q5_K_MQ5_K_M · 128K | 9/1275% | 8/8100% | 8/8100% | 7/888% | 2/633% | 9/9100% |
| Ornith 9B · Q8_0Q8_0 · 128K | 9/1275% | 8/8100% | 8/8100% | 8/8100% | 1/617% | 9/9100% |
| Qwythos 9B · Q6_K с MTPQ6_K · 128K | 9/1275% | 7/888% | 8/8100% | 6/875% | 4/667% | 9/9100% |
| Qwythos 9B · Q8_0 с MTPQ8_0 · 128K | 6/1250% | 7/888% | 8/8100% | 7/888% | 3/650% | 9/9100% |
| Qwythos 9B · Q8_0 без MTPQ8_0 · 128K | 9/1275% | 6/875% | 8/8100% | 7/888% | 4/667% | 9/9100% |
06 / Русские транскрипты
Проверка по глубине контекста
Три задачи на окно: финальное решение, список действий и исправление ошибок распознавания речи. Прочерк означает, что профиль на этой глубине не запускался.
Профиль8K32K64KИтого
Ornith 9B · Q5_K_Mштатный бюджет3/33/3—6/6100%
Qwythos 9B · Q6_K с MTPштатный бюджет3/32/32/37/978%
08 / Точные значения
Все профили страницы
Сортировка не отменяет статус сопоставимости. Проценты всегда идут рядом с числителем и знаменателем.
| Конфигурация | Матрица | Единый набор | 10 повторов | Скорость | Первый токен | Видеопамять | Агентские задачи |
|---|---|---|---|---|---|---|---|
| A Ornith 9B · Q5_K_MРекомендуемый профиль Ornith 9B · Q5_K_M · 128K · полный 51 | 84.3%43/51 | 81%34/42 | 845%34–37/42 | 107,2токен/с | 100мс | 10,5 ГиБ10 752 МиБ | —не гонялся |
| B Ornith 9B · Q8_0Контрольный тяжёлый квант · Q8_0 · 128K · полный 51 | 84.3%43/51 | 81%34/42 | —n=1 | 79,8токен/с | 106мс | 12,7 ГиБ13 005 МиБ | —не гонялся |
| A Qwythos 9B · Q6_K с MTPОсновной профиль Qwythos 9B · Q6_K · 128K · полный 51 | 84.3%43/51 | 81%34/42 | 76.19%29–35/42 | 120,4токен/с | 148мс | 12,9 ГиБ13 190 МиБ | 3/3181 с |
| B Qwythos 9B · Q8_0 без MTPКонтроль без MTP · Q8_0 · 128K · полный 51 | 84.3%43/51 | 81%34/42 | —n=1 | 76,2токен/с | 113мс | 12,7 ГиБ13 001 МиБ | —не гонялся |
| B Qwythos 9B · Q8_0 с MTPQ8 с ускорением MTP · Q8_0 · 128K · полный 51 | 78.4%40/51 | 73.8%31/42 | —n=1 | 119,2токен/с | 128мс | 14,2 ГиБ14 573 МиБ | —не гонялся |
09 / Методология и источники
Что можно сравнивать.
Сайт хранит версионированный снимок первичных результатов. Опубликованная сборка не читает локальные папки и не пересчитывает данные на лету.
Единый набор
42 задачи: 12 на код, по 8 на логику, инструменты и инструкции, 6 на русский. Только этот слой повторён десять раз для шести профилей.
Длинный контекст
До девяти синтетических задач выполнены один раз. Транскрипты отдельно проверяют 8/32/64K; заявленное окно не равно доказанному поиску на всём окне.
Наблюдаемая скорость
Медианы сервера показывают скорость настроенных профилей. Запросы иногда многосоставные; это не чистая аппаратная микропроверка.
Ответвление Bonsai
Отдельная среда PrismML под qwen35/Q2_0. Скорость реальна для этой установки, но не является чистым сравнением с основной веткой llama.cpp.
01
Gemma 48K/64K имеет знаменатель 48 вместо 51: три задачи на длинный контекст 64K автоматически пропущены.
02
Визуальные псевдонимы используют тот же текстовый GGUF с mmproj и набор всего из 4 задач; это не отдельные участники общего зачёта.
03
Штатный Ornith, froggeric и CpuMoe35 используют один GGUF и являются конфигурационным сравнением A/B, а не тремя моделями.
04
BFCL 94,25% действителен только для Qwythos Q6 и категории простых вызовов Python; расширенные повторы Q8 и Ornith недействительны из-за инфраструктуры.
05
Для Qwopus OpenCode используется корректный второй повтор 2/3 за 802,7 с; стартовый прогон и первый повтор исключены.
06
Быстрый прогон LIBRA на 10 задач и не начавшийся полный прогон не входят в рейтинг.
07
Первичные отчёты и результаты имеют приоритет над текстовыми сводками при расхождении.
Первичные источники и статус прогонов +
недействительныйbench/results/overnight-bfcl-expanded-20260723недействительный прогон BFCL
недействительныйbench/results/overnight-bfcl-expanded-20260724-retry1недействительный прогон BFCL
недействительныйbench/results/overnight-bfcl-expanded-20260724-retry2недействительный прогон BFCL
вспомогательныйllama-ternary/AGENTS.mdЗафиксированные замеры ёмкости и PPL; первичные отчёты остаются источником метрик рейтинга.
вспомогательныйbench/LUNA_CHECKLIST_20260721.mdДокументирует причины исключения старого прогона OpenCode и первого повтора Qwopus.