A Xiaomi belép a nagynyelvi modellek (LLM) világába saját open-source projektjével. Új MiMo modelljük a Xiaomi műhelyéből az első nagyszabású AI-rendszer, amelyet a „Xiaomi Big Model Core Team” nevű, erre specializálódott csapat fejlesztett.
Csatlakozz a legnagyobb Xiaomi-csoporthoz Szlovákiában
A matematikai következtetésre és a kódgenerálásra összpontosít
A MiMo 7 milliárd paraméteres méretű, és olyan területekre irányul, mint a matematikai következtetés és a kódgenerálás. Érdekesség, hogy teljesítményben olyan sokkal nagyobb modelleket is felülmúl, mint az OpenAI o1-mini (a ChatGPT alkotója) vagy az Alibaba Qwen-32B-Preview.
Az ilyen szintű számítási intelligenciát „kisebb” modellel elérni igazi kihívás, hiszen a legtöbb meglévő RL-modell (reinforcement learning) akár 32 milliárd paraméterrel is rendelkezik. A Xiaomi azonban úgy véli, hogy a MiMo sikere mögött a kiváló előtartalom-tanítási (pretraining) architektúra és a modell ezt követő stratégiai finomhangolása áll. Ráadásul a MiMo kisebb mérete miatt a modell vállalati alkalmazásokban vagy korlátozott teljesítményű eszközökön is könnyebben bevethető.
Hogyan tanította a Xiaomi a MiMo-t? Az alap egy speciális előtanítás
A MiMo magas teljesítményének kulcsa az átgondolt pretraining-folyamat. A Xiaomi optimalizálta az adatok feldolgozására szolgáló pipeline-t, továbbfejlesztette a szövegkinyerés eszközeit, és több szintű szűrőket vezetett be, amelyek növelték a logikus következtetési minták előfordulását a betanító adatokban.
A modellt több mint 200 milliárd token tartalmazó adathalmazon képezték, amelyek a logika, a matematika és a programozás területéről származó feladatokat reprezentálják. A Xiaomi tréningcélként a Multiple-Token Prediction-t alkalmazta, aminek köszönhetően nemcsak a pontosság javult, hanem a szövegfeldolgozás (inferencia) is felgyorsult – vagyis maga a modell „gondolkodása” az új feladatoknál.
Post-training: pontosság-központú reinforcement learning
A pretraininget a reinforcement learning segítségével történő finomhangolás követte. A MiMo több mint 130 000 matematikai és programozási feladatnak lett kitéve, amelyeket pontosság és nehézség alapján szabályokkal ellenőriztek. Hogy a modell a bonyolult helyzetekben is megfelelően jutalmazza az eredményeket, a Xiaomi kifejlesztett egy saját rendszert: a Test Difficulty Driven Reward-ot.
Fontos lépés volt a Seamless Rollout Engine bevezetése, aminek hatására a tréning 2,29-szer gyorsult, a validálás pedig 1,96-szor gyorsult. Ez az infrastruktúra emellett támogatja a Multiple-Token Predictiont, és javítja a modell stabilitását az inferencia során.
A MiMo-7B modellverziói és azok felhasználása
A Xiaomi négy MiMo-7B verziót adott ki egyszerre, amelyek mindegyikének más a felhasználása. Ezek a következők:
- MiMo-7B-Base – alapszintű modell, magas potenciállal a következtetéshez
- MiMo-7B-RL-Zero – reinforcement learninggel betanított modell a Base verzióból
- MiMo-7B-SFT – supervised learninges finomhangolással rendelkező modell
- MiMo-7B-RL – a SFT-verzióból származó, végleges RL-modell, amely az OpenAI o1-minihoz hasonló teljesítményt nyújt
A MiMo kiemelkedő teljesítményt ér el a benchmarkokban
A MiMo-7B-RL legfejlettebb verziója kiváló eredményeket hoz a különböző, standardizált tesztek során:
| MiMo-7B-RL | |
|---|---|
| MATH-500 (Pass@1) | 95.8 % |
| AIME 2024 (Pass@1 | avg a 32 próbákból) | 68.2 % |
| AIME 2025 (Pass@1 | avg a 32 próbákból) | 55.4 % |
| LiveCodeBench v5 (Pass@1) | 57.8 % |
| LiveCodeBench v6 (Pass@1) | 49.3 % |
| GPQA Diamond | 54.4 % |
| SuperGPQA | 40.5 % |
| DROP (3-shot F1) | 78.7 |
| MMLU-Pro (Exact Match) | 58.6 |
| IF-Eval (Prompt Strict) | 61.0 |
Ezek a számok bizonyítják, hogy még a közepes méretű modellek is képesek versenyezni sokkal nagyobb megoldásokkal, ha megfelelően megtervezik és finomhangolják.
Elérhetőség és open-source megközelítés
A MiMo-7B teljes sorozat open-source modelként elérhető a Hugging Face platformon. A Xiaomi emellett közzétette a teljes műszaki riportot és a modell checkpointokat is a GitHub oldalon, így utat nyitott a fejlesztők és kutatók előtt, akik a MiMo alapjaira építve szeretnének saját megoldásokat létrehozni.
Ha további Xiaomi újdonságokra is kíváncsi vagy, kövesd továbbra is a Xiaomi Planet weboldalunkat, és csatlakozz hozzánk a Facebook csoportunkban, ahol aktív közösséget építünk, és egymásnak segítünk. Iratkozz fel a Telegram csatornánkra is, ahol nap mint nap a legjobb ajánlatokat és kuponokat tesszük közzé Kínából.
Ne maradj le a legjobb kuponokról 📩
Iratkozz fel, és az új kuponokat e-mailben elküldjük, mielőtt lejárnak. Csak havonta egyszer küldjük — nincs spam.
