- MiniMax-Textual content-01 har 456 miljarder totalt parametrar och kan hantera upp until 4 miljoner tokens beneath inferens.
- MiniMax-VL-01 använder en lättvikts Imaginative and prescient Transformer och processar 512 miljarder vision-språk tokens.
- Den ”lightning consideration” mekanismen minskar komplexiteten vid hantering av långa sekvenser.
- Modellerna erbjuder upp until 20-32 gånger längre kontextfönster än traditionella modeller.
- MiniMax-Textual content-01 når en noggrannhet på 88,5% på MMLU och tävlar med GPT-4.
- MiniMax-VL-01 överträffar sina motsvarigheter med 96,4% noggrannhet på DocVQA.
- Forskarna har implementerat optimerade CUDA-kärnor för att uppnå över 75% processeffektivitet på Nvidia H20 GPU:er.
Det har varit en spännande tid inom AI-världen, och nu har det kinesiska företaget MiniMax gjort lite av en storslagen entré! De har nyligen lanserat en serie öppna källkodsmodeller som lovar att förändra spelet.
Modellerna MiniMax-Textual content-01 och MiniMax-VL-01, som utmärker sig med en imponerande kontextfönster på upp until 4 miljoner tokens – en kapacitet som är 32 gånger större än ledande modeller som GPT-4.
MiniMax-Textual content-01s 4M-kontextfönster
MiniMax-Textual content-01 utmärker sig genom sitt enorma kontextfönster på 4 miljoner tokens, vilket möjliggör hantering av enorma mängder data i en enda input-output-session. Denna funktion drivs av ”Lightning Consideration”, en innovativ mekanism som uppnår nära linjär beräkningskomplexitet – en första kommersiell implementering av linjär uppmärksamhet. Modellen integrerar denna arkitektur med Softmax Consideration och Combination-of-Consultants (MoE), vilket aktiverar 45,9 miljarder parametrar per token för effektiv bearbetning av ultralånga indata.
- Kontextfönstret är 32 gånger större än ledande modeller som GPT-4o
- Uppnådde 100% noggrannhet på ”Needle-In-A-Haystack”-uppgiften med 4 miljoner tokens kontext
- Minimal prestandaförsämring vid ökad indatalängd
- Möjliggör hantering av data motsvarande ett litet bibliotek i en enda session
Lightning Consideration och effektivitet
Lightning Consideration, en teknik som används i MiniMax-Textual content-01, är ett viktigt genombrott för att effektivt hantera långa textsekvenser. Den har två stora fördelar: den håller en jämn bearbetningshastighet oavsett textens längd och använder en quick mängd datorminne.
Tekniken fungerar genom att dela upp beräkningarna i två delar – inom block och mellan block. Denna uppdelning gör att man kan undvika de omfattande summeringsberäkningar som tidigare var ett drawback i linjära uppmärksamhetsmodeller.
Tillgänglighet och kontroverser
Även om MiniMax har gjort sina modeller tillgängliga på GitHub och Hugging Face är de inte riktigt öppen källkod. Företagets restriktiva licensiering förbjuder användning för att förbättra rivaliserande AI-system och ställer ytterligare krav på plattformar med över 100 miljoner aktiva användare.
MiniMax produkter har mött viss kritik:
- Talkie-appen togs bort från Apple’s App Retailer på grund av oro över obehöriga AI-avatars av offentliga personer.
- Uppgifter om upphovsrättsintrång från brittiska TV-kanaler och den kinesiska streamingtjänsten iQIYI angående obehörig användning av upphovsrättsskyddad innehåll i träningsdata.
MiniMax grundades 2021 av tidigare anställda från det kinesiska AI-jätten SenseTime. Trots sin relativt korta historia har företaget snabbt etablerat sig som en ledande aktör inom AI-innovation. Med stöd från techjättar som Alibaba och Tencent har MiniMax lyckats samla in över 850 miljoner greenback i riskkapital och värderas nu until över 2,5 miljarder greenback.
