Grok je umělá inteligence inspirovaná „Stopařovým průvodcem po Galaxii“, navržená tak, aby odpovídala na téměř jakékoli otázky a dokonce i navrhovala, jaké otázky by se měly klást. Grok má být vtipný a má vzpurnou povahu, a je proto určen pro uživatele, kteří mají rádi humor. Alespoň zhruba takto uvádí Grok společnost Elona Muska xAI.
Jednou z hlavních výhod Groku je jeho schopnost získávat informace v reálném čase díky platformě 𝕏 a odpovídá i na „pikantní“ otázky, které jiné AI systémy obvykle odmítají. Jako produkt ve velmi rané beta verzi, který byl trénován pouze dva měsíce, se od uživatelů očekává, že Grok se bude rychle zlepšovat s každým týdnem.
xAI tým vytvořil Grok s cílem poskytovat nástroje, které pomáhají lidstvu v pochopení a znalostech. Grok by měl sloužit jako výkonný asistent pro výzkum a inovace, umožňující rychle získávat informace a generovat nové nápady.
Example of Grok vs typical GPT, where Grok has current information, but other doesn’t pic.twitter.com/hBRXmQ8KFi
— Elon Musk (@elonmusk) November 5, 2023
Grok-1, pohánějící Grok, je špičkový jazykový model, který překonal ostatní modely ve své kategorii na standardních benchmark testech, ale zůstává za modely jako je GPT-4, které byly trénovány s větším množstvím dat a výpočetní kapacity. V praxi Grok-1 získal známku C (59 %) na maďarské středoškolské matematické zkoušce z roku 2023.
Tým xAI pracuje na vývoji Groku pomocí Rustu a Kubernetes, zajišťující spolehlivou infrastrukturu i při běhu na desetitisících GPU. Ve výzkumu se zaměřují na spolehlivé odůvodnění, nástrojovou pomoc, integraci s formálním ověřováním, porozumění dlouhým kontextům a odolnost proti nepřátelským útokům, aby byla AI bezpečná a spolehlivá.
Pro ty, kteří chtějí Grok vyzkoušet, xAI nabízí omezený přístup pro uživatele v USA s možností zpětné vazby, která pomůže zlepšit jeho schopnosti před širším uvedením na trh. Firma má ambiciózní plán rozvíjet nové schopnosti a funkce Groku v následujících měsících. Máme se tedy na co těšit.
Některé technické parametry Groku
Původní prototyp, Grok-0, měl 33 miliard parametrů a dosahoval schopností blízkých modelu LLaMA 2 (70B) na standardních testech, ale využíval pouze polovinu výpočetních zdrojů. Po dalších dvou měsících vývoje Grok-1 dosáhl lepších výsledků v kódování a úložišti s výsledkem 63.2% na HumanEval úlohách kódování a 73% na MMLU.
Model Grok-1 byl porovnán s ostatními modely na běžných benchmark testech pro měření matematických a odůvodňovacích schopností. Na testu GSM8k dosáhl výsledku 62.9% při použití 8-shot promptů, na MMLU 73% s 5-shot příklady, na HumanEval 63.2% bez dodatečných příkladů a na MATH testu 23.9% s pevným 4-shot promptem. V těchto testech Grok-1 předčil všechny modely ve své kategorii výpočetních schopností, včetně ChatGPT-3.5 a Inflection-1.
Tým xAI vybudoval infrastrukturu Groku na základě Kubernetes, Rustu a JAXu s důrazem na spolehlivost a efektivní využití výpočetních zdrojů. Vývoj infrastruktury byl klíčový pro minimalizaci prostojů a zajištění vysokého využití výpočetních operací (Model Flop Utilization – MFU), i přes nespolehlivý hardware.
