Опубликованные результаты
Бенчмарки моделей
Независимые рейтинги по разным задачам. Оценки не объединяются в искусственный общий балл: методики, наборы данных и условия запуска у каждого бенчмарка различаются.
Как читать результатыAIhoster ничего не пересчитывает: данные берутся из публичных таблиц авторов бенчмарков. Сопоставление выполняется только по точному ID репозитория. Балл одной ревизии или режима запуска может не описывать другие версии модели. Обновлено: 09.11.2026 19:52.
MMLU-Pro
Сложные вопросы по разным областям знаний.
GPQA
Экспертные вопросы по физике, химии и биологии.
| Место | Модель | Результат | Источник |
|---|---|---|---|
| 1 | FINAL-Bench/Darwin-180B-RSI180 млрд параметровGPQA Diamond, all 198 items; majority vote over up to 16 samples (temperature=1.0, top_p=0.95, top_k=20); thinking budget 131,072 tokens; bf16 | 94,4% | Model Card ↗ |
| 2 | moonshotai/Kimi-K3.1-Pro2,8 трлн параметров | 94,2% | Kimi-K3.1-Pro model card ↗ |
| 3 | moonshotai/Kimi-K32,8 трлн параметров | 93,5% | Model Card ↗ |
| 4 | FINAL-Bench/Darwin-397B-ZTC404 млрд параметровGPQA Diamond, all 198 items; greedy decoding (temperature=0), single sample (no voting / no test-time engine); weights released in FP8 (W8A8, compressed-tensors) | 93,4% | Model Card ↗ |
| 5 | ornith-ai/Ornith-1.5-397B403 млрд параметров | 92,8% | Ornith-1.5-397B model card ↗ |
| 6 | Qwen/Qwen3.8-2.4T-A95B2,4 трлн параметров | 92,6% | Model Card ↗ |
| 7 | tencent/Hy4-preview780 млрд параметров | 92,3% | Model Card ↗ |
| 8 | Qwen/Qwen3.8-Flash-Next180 млрд параметров | 91,7% | Qwen3.8-Flash-Next model card ↗ |
| 9 | zai-org/GLM-5.2753 млрд параметров | 91,2% | Model Card ↗ |
| 10 | FINAL-Bench/Darwin-398B-JGOS403 млрд параметровgreedy decoding (temperature=0), single-sample (no voting / no test-time engine), max_tokens=16384, options shuffled seed=42; hardware: NVIDIA B200 x6 (TP2 x PP3), vLLM bfloat16 | 90,9% | Model Card ↗ |
| 11 | deepseek-ai/DeepSeek-V4.1-Flash763 млрд параметров | 90,9% | DeepSeek-V4.1-Flash model card ↗ |
| 12 | reflection/Beam-1.0-501B-A23B501 млрд параметров | 90,6% | Beam 1.0 model card ↗ |
| 13 | moonshotai/Kimi-K2.61 трлн параметров | 90,5% | Model Card ↗ |
| 14 | tencent/Hy3299 млрд параметров | 90,4% | Model Card ↗ |
| 15 | deepseek-ai/DeepSeek-V4-Pro1,6 трлн параметров | 90,1% | Model Card ↗ |
| 16 | nitrai-research/Moderato-V1-Pro113 млрд параметров | 90% | Model Card ↗ |
| 17 | MiniMaxAI/MiniMax-M2.7229 млрд параметров | 89,8% | Paper (Table 4) ↗ |
| 18 | thinkingmachines/Inkling-Small266 млрд параметров | 89,5% | Model Card ↗ |
| 19 | FINAL-Bench/Darwin-28B-REASON26,9 млрд параметровMeasured with the Darwin-DELPHI test-time engine (multi-sample consensus; protocol details proprietary). Not a single-sample Pass@1 score. | 89,4% | Model Card ↗ |
| 20 | Qwen/Qwen3.8-27B27,8 млрд параметров | 89,2% | Qwen3.8-27B model card ↗ |
GSM8K
Многошаговые текстовые задачи школьного уровня.
| Место | Модель | Результат | Источник |
|---|---|---|---|
| 1 | XiaomiMiMo/MiMo-V2.5-Pro1 трлн параметров | 99,6% | Model Card ↗ |
| 2 | meta-llama/Llama-3.1-405B406 млрд параметров8-shot CoT | 96,8% | Model Card ↗ |
| 3 | inclusionAI/LLaDA2.0-flash103 млрд параметров | 96,1% | Model Card ↗ |
| 4 | ibm-granite/granite-4.1-30b28,9 млрд параметров | 94,2% | Model Card ↗ |
| 5 | Motif-Technologies/Motif-3-Base315 млрд параметров8-shot CoT. | 93,9% | Model Card ↗ |
| 6 | meta-llama/Llama-3.2-90B-Vision-Instruct88,6 млрд параметров | 93,1% | EvalEval ↗ |
| 7 | deepseek-ai/DeepSeek-V4-Pro1,6 трлн параметров | 92,6% | Model Card ↗ |
| 8 | ibm-granite/granite-4.1-8b8,8 млрд параметров | 92,5% | Model Card ↗ |
| 9 | SJTU-DENG-Lab/MBD-Math-LLaDA2-mini-16B16,3 млрд параметров | 92,0% | Paper (Table 1) ↗ |
| 10 | microsoft/Phi-3-medium-4k-instruct14 млрд параметров8-shot CoT | 91% | Model Card ↗ |
| 11 | Qwen/Qwen2-72B72,7 млрд параметров | 89,5% | Model Card ↗ |
| 12 | deepseek-ai/DeepSeek-V3684 млрд параметров | 89,3% | Model Card ↗ |
| 13 | Qwen/Qwen2.5-Omni-7B10,7 млрд параметров | 88,7% | Model Card ↗ |
| 14 | stepfun-ai/Step-3.5-Flash-Base198 млрд параметров8-shot. | 88,2% | Model Card ↗ |
| 15 | ibm-granite/granite-4.1-3b3,4 млрд параметров | 86,9% | Model Card ↗ |
| 16 | microsoft/Phi-3.5-mini-instruct3,8 млрд параметров | 86,2% | Phi-3 Technical Report ↗ |
| 17 | internlm/internlm2_5-7b-chat7,7 млрд параметров0-shot CoT | 86% | Model Card ↗ |
| 18 | microsoft/Phi-3-mini-4k-instruct3,8 млрд параметров8-shot CoT | 85,7% | Model Card ↗ |
| 19 | swiss-ai/Apertus-v1.5-70B72 млрд параметровSwiss AI lm-evaluation-harness 0.4.11.dev0; gsm8k_cot; exact_match/numeric-fallback; thinking disabled; num_fewshot=8; repeats=1; temperature=0.0; max_tokens=2048; n=1319; accuracy on a 0-100 scale; full setup and uncertainty in source | 85,0% | EvalEval ↗ |
| 20 | LiquidAI/LFM2-8B-A1B8,3 млрд параметров | 84,4% | Model Card ↗ |
MTEB · ArguAna
Поиск наиболее подходящего контраргумента.
| Место | Модель | Результат | Источник |
|---|---|---|---|
| 1 | FINAL-Bench/Darwin-180B-RSI-R3180 млрд параметровnDCG@10 x 100 on the ArguAna test split (1,406 queries, full corpus). Two-stage retrieval: first stage Qwen3-Embedding-4B top-100, then Darwin-180B-RSI-R3 listwise rerank of the top 10 (greedy, temperature 0). First stage alone scored 75.37 in the same run. | 83,8% | Первичный результат ↗ |
| 2 | google/embeddinggemma-300m303 млн параметровObtained using MTEB v1.34.7 | 71,5% | Obtained using MTEB v1.34.7 ↗ |
| 3 | mteb/baseline-bm25sObtained using MTEB v1.12.22 | 49,3% | Obtained using MTEB v1.12.22 ↗ |
| 4 | Surpem/Supertron-embedding-190M130 млн параметровOfficial mteb/arguana retrieval task. Metric: nDCG@10. | 42,0% | Supetron Modal benchmark run ↗ |
Open ASR Leaderboard
Качество автоматического распознавания речи.
olmOCR-bench
Преобразование PDF-документов в структурированный текст.
MERA Text
Российский лидерборд для оценки русскоязычных языковых моделей.
Источник временно не вернул результатов.
VibeCoding 1C
Публичный рейтинг моделей на задачах генерации кода и запросов для 1С.