Kog gre globlje stisniti več sklepa iz GPU

Francoski startup Kog premika meje zmogljivosti umetne inteligence s ciljem, da znatno poveča hitrost sklepanja velikih jezikovnih modelov (LLM) z uporabo konvencionalnih grafičnih procesorjev (GPU).

Kog je v začetku tega leta pritegnil pozornost po predstavitvi prototipa, ki je pokazal izjemno hitro dekodiranje z eno zahtevo na standardnih grafičnih grafičnih procesorjih za podjetja. Demonstracija je uporabila po meri izdelan majhen model, imenovan Laneformer 2B, ki je dosegel hitrost žetonov na sekundo 3000. Vendar pa je razširitev teh rezultatov na večje LLM še vedno izziv. Kljub temu je izvršni direktor Kog, Gaël Delalleau, prepričan, da se lahko temeljna načela uporabijo za bolj zapletene modele, kar bi lahko omogočilo veliko večje izboljšave učinkovitosti.

Delalleau je poudaril, da se trenutni trg za sklepanje AI še vedno razvija, vendar je jasna potreba po boljših zmogljivostih. Opozoril je, da mnogi podjetja oklevajo vlagati v drobne prilagoditve manjših modelov, kar omejuje njihovo zmožnost izkoriščanja naprednih funkcij AI.

Kot rezultat tega je Kog dal prednost razvoju metod za pospešitev usposabljanja in uvajanja večjih modelov, ki so usklajeni z zahtevami, ki jih opažamo na tem področju. Kogov pristop se razlikuje od drugih podjetij, ki delajo na podobnih problemih. Za razliko od ZML, drugega francoskega zagona, ki ponuja programsko opremo, ki ne sodeluje s strojno opremo, za hitro sklepanje v različnih arhitekturah čipov, se Kog bolj osredotoča na optimizacije, specifične za GPU. Delalleau je primerjal strategijo zagona z Hazy Research laboratorijem na univerzi Stanford, ki tudi poudarja maksimiranje zmogljivosti GPU s podrobno analizo in inovacijami programske opreme.

Delalleau prinaša edinstveno perspektivo na mizo, oblikovano z njegovo akademsko in poklicno ozadje. Po študiju fizike trdnega stanja na École Polytechnique v Franciji je kasneje delal v ofenzivni kibernetski varnosti, ki se običajno imenuje hekerstvo belega klobuka.

Kljub obetavnemu potencialu tehnologije Kog je pot pred nami izzivna. Optimiziranje zmogljivosti za vsako novo generacijo GPU-jev zahteva obsežno testiranje in izboljšanje, ki pogosto traja več tednov ali celo mesecev na napravo.

Če bo uspešno, bi lahko zagon ponudil izvedljivo alternativo specializiranim čipom AI, ki trenutno prevladujejo na trgu, s čimer bi podjetjem zagotovili bolj prožno in stroškovno učinkovito sredstvo za izboljšanje njihovih zmogljivosti AI.