Microsoft обучи гигантския модел MAI-Base-2: 2,8 трилиона параметъра за 38 дни
ИИ подразделението на Microsoft завърши предварителното обучение на най-големия си собствен модел досега. Той трябва да е много по-ефективен от DeepSeek, но няма да бъде публикуван свободно.
Архивна снимка · Снимка: Christopher Wilson / Wikimedia Commons, CC BY-SA 4.0 (изрязана и мащабирана)
Microsoft AI завърши предварителното обучение на MAI-Base-2, съобщи в четвъртък ИИ подразделението на концерна. Моделът тип Mixture-of-Experts има 2,8 трилиона параметъра, от които 80 милиарда са активни. Той е обучаван 38 дни през август и септември на 16 000 чипа Nvidia GB200 с 50 трилиона токена, 18% от които са данни с изображения и текст. Знанията му стигат до март 2026 г.
По собствени изчисления MAI-Base-2 е в четири теста между 4,2 и 12,3 пъти по-ефективен по отношение на изчисленията от базовия модел DeepSeek-V4-Pro. Други модели за сравнение Microsoft е могла да измери само в дообучени версии, което може да изкриви резултатите. Според Microsoft моделът не е създаден чрез дестилация на чужди модели.
В момента тече дообучението. Microsoft няма да публикува тегловните коефициенти свободно, а ще ги лицензира на доверени партньори чрез платформата си Foundry; имена и срокове концернът не посочи. Предшественикът MAI-Base-1 с един трилион параметъра беше основа за MAI-Thinking-1 от юни. Работата по MAI-Base-3 вече е започнала.