Kog ide dublje iscijediti više zaključaka iz GPU-a

Francuski startup Kog pomjera granice performansi umjetne inteligencije s ciljem da značajno poboljša brzinu zaključivanja velikog jezičkog modela (LLM) koristeći konvencionalne grafičke procesorske jedinice (GPU).

Kog je stekao pažnju ranije ove godine nakon što je prikazao prototip koji je pokazao iznimno brzo dekodiranje jednog zahtjeva na standardnim GPU-ovima za poduzeća. Demonstracija je koristila prilagođeni mali model nazvan Laneformer 2B, koji je postigao brzinu tokena po sekundi od 3.000. Međutim, razmjera ovih rezultata na veće LLM-ove i dalje je izazov. Unatoč tome, izvršni direktor Kog-a, Gaël Delalleau, vjeruje da se temeljni principi mogu primijeniti na složenije modele, potencijalno otključavajući mnogo veća poboljšanja performansi.

To uključuje profesionalce koji se oslanjaju na alate umjetne inteligencije za kritične tokove rada, kao i programere koji stvaraju interaktivni sadržaj kao što su video igre i mobilne aplikacije.

Kao rezultat toga, Kog je dao prednost razvoju metoda za ubrzavanje obuke i uvođenja većih modela, usklađujući se s zahtjevima koji se promatraju na terenu. Kogov pristup se razlikuje od drugih tvrtki koje rade na sličnim problemima. Za razliku od ZML-a, drugog francuskog startupa koji nudi hardverski agnostički softver za brzu inferenciju u različitim arhitekturama čipova, Kog se više usredotočuje na GPU-specifične optimizacije.

Delalleau donosi jedinstvenu perspektivu, oblikovanu njegovom akademskom i profesionalnom pozadinom. Pošto je studirao fiziku čvrstog stanja na francuskoj École Polytechnique, kasnije je radio u ofanzivnoj cyber sigurnosti, obično nazvanoj hakiranje bijelog šešira.

Ova vještina je utjecala na način na koji Kog pristupa svom istraživanju i razvoju, naglašavajući pomno istraživanje svake nove GPU arhitekture kako bi izvadio maksimalne performanse. Unatoč obećavajućem potencijalu Kogove tehnologije, put koji je pred nama je izazov. Optimiziranje performansi za svaku novu generaciju GPU-a zahtijeva opsežno testiranje i prečišćavanje, često uzimajući nekoliko tjedana ili čak mjeseci po uređaju. Ovaj proces je intenzivan i visoko tehnički, što odražava dubinu stručnosti potrebne za pomicanje granica konvencionalnog hardvera. Kako Kog nastavlja usavršavati svoje tehnike, široke implikacije za AI industriju ostaju vidjeti.

Ako bude uspješan, startup bi mogao ponuditi održivu alternativu specijaliziranim čipovima za umjetnu inteligenciju koji trenutno dominiraju na tržištu, pružajući poduzećima fleksibilnije i troškovno učinkovitije sredstvo za poboljšanje njihovih sposobnosti umjetne inteligencije.