Spoločnosť Xiaomi vstupuje do sveta veľkých jazykových modelov (LLM) s vlastným open-source projektom. Ich nový model MiMo je prvým veľkým AI systémom z dielne Xiaomi, ktorý bol vyvinutý špecializovaným tímom „Xiaomi Big Model Core Team“.
Pridaj sa do najväčšej Xiaomi skupiny na Slovensku
Zameraný na matematické uvažovanie a generovanie kódu
MiMo má veľkosť 7 miliárd parametrov a zameriava sa na oblasti ako matematické uvažovanie a generovanie kódu. Zaujímavosťou je, že výkonnostne konkuruje omnoho väčším modelom ako OpenAI o1-mini (tvorca ChatGPT) či Alibaba Qwen-32B-Preview.
Dosiahnuť takúto úroveň výpočtovej inteligencie s „menším“ modelom je výzvou, keďže väčšina existujúcich RL modelov (reinforcement learning) má až 32 miliárd parametrov. Xiaomi však verí, že za úspechom MiMo stojí kvalitná predtrénovacia architektúra a následné strategické doladenie modelu. Menšia veľkosť MiMo zároveň predurčuje model pre nasadenie v podnikových aplikáciách či na zariadeniach s obmedzeným výkonom.
Ako Xiaomi trénovalo MiMo? Základom je špeciálny pred-tréning
Kľúčom k vysokému výkonu modelu MiMo je premyslený pre-tréningový proces. Xiaomi optimalizovalo pipeline pre spracovanie dát, vylepšilo nástroje na extrakciu textu a implementovalo viacúrovňové filtre, ktoré zvýšili výskyt vzorcov logického uvažovania v trénovacích dátach.
Model bol trénovaný na súbore s viac ako 200 miliardami tokenov, ktoré reprezentujú úlohy z oblasti logiky, matematiky a programovania. Xiaomi použilo Multiple-Token Prediction ako tréningový cieľ, čo pomohlo nielen zlepšiť presnosť, ale aj zrýchliť inferenciu – teda samotné „rozmýšľanie“ modelu nad novými úlohami.
Post-tréning: Reinforcement learning s dôrazom na presnosť
Po predtrénovaní nasledovala fáza doladenia pomocou reinforcement learningu. MiMo bol vystavený viac ako 130 000 matematickým a programovacím úlohám, ktoré boli verifikované pravidlami na presnosť a náročnosť. Aby model správne odmeňoval výsledky aj v zložitých situáciách, Xiaomi vytvorilo vlastný systém Test Difficulty Driven Reward.
Dôležitým krokom bolo nasadenie Seamless Rollout Engine, čo prinieslo 2,29-násobné zrýchlenie tréningu a 1,96-násobné zrýchlenie validácie. Táto infraštruktúra zároveň podporuje Multiple-Token Prediction a zlepšuje stabilitu modelu pri inferencii.
Modelové verzie MiMo-7B a ich využitie
Xiaomi vydalo rovno štyri verzie MiMo-7B, z ktorých každá má iné využitie. Ide o:
- MiMo-7B-Base – základný model s vysokým potenciálom pre uvažovanie
- MiMo-7B-RL-Zero – model s reinforcement learningom trénovaný z verzie Base
- MiMo-7B-SFT – model s doladením cez supervised learning
- MiMo-7B-RL – finálny RL model z verzie SFT, dosahuje porovnateľný výkon ako OpenAI o1-mini
MiMo dosahuje špičkový výkon v benchmarkoch
Najpokročilejšia verzia MiMo-7B-RL dosahuje výborné výsledky naprieč rôznymi štandardizovanými testami:
| MiMo-7B-RL | |
|---|---|
| MATH-500 (Pass@1) | 95.8 % |
| AIME 2024 (Pass@1 | avg z 32 behov) | 68.2 % |
| AIME 2025 (Pass@1 | avg z 32 behov) | 55.4 % |
| LiveCodeBench v5 (Pass@1) | 57.8 % |
| LiveCodeBench v6 (Pass@1) | 49.3 % |
| GPQA Diamond | 54.4 % |
| SuperGPQA | 40.5 % |
| DROP (3-shot F1) | 78.7 |
| MMLU-Pro (Exact Match) | 58.6 |
| IF-Eval (Prompt Strict) | 61.0 |
Tieto čísla dokazujú, že aj model strednej veľkosti dokáže konkurovať oveľa väčším riešeniam, pokiaľ je správne navrhnutý a doladený.
Dostupnosť a open-source prístup
Celá séria MiMo-7B je dostupná ako open-source model na platforme Hugging Face. Xiaomi zároveň zverejnilo aj kompletný technický report a modelové checkpointy na GitHub, čím otvorilo dvere pre vývojárov a výskumníkov, ktorí chcú stavať vlastné riešenia na základoch MiMo.
Pre ďalší prísun noviniek zo sveta Xiaomi sleduj aj naďalej náš web Xiaomi Planet, pridaj sa do našej Facebook skupiny, kde tvoríme aktívnu komunitu a navzájom si pomáhame. Odoberaj aj náš Telegram, kde dennodenne pridávame najlepšie ponuky a kupóny z Číny.
