Kog geht tiefer, um mehr Inferenz aus GPUs zu quetschen

Das französische Start-up Kog erweitert die Grenzen der Leistung künstlicher Intelligenz, indem es darauf abzielt, die Geschwindigkeit der Inferenz von Großsprachmodellen (LLM) mit herkömmlichen Grafikprozessoren (GPUs) deutlich zu erhöhen. Die jüngsten Bemühungen des Unternehmens konzentrieren sich auf die Optimierung bestehender Rechenzentrums-GPUs wie dem AMD MI300X und Nvidia H200, um eine schnellere und effizientere KI-Verarbeitung zu ermöglichen, ohne spezialisierte Hardware zu benötigen. Dies geschieht angesichts des wachsenden Drucks der Industrie, Latenz und Kosten in KI-Anwendungen zu reduzieren, insbesondere in Sektoren, die auf Echtzeitantworten angewiesen sind.

Kog erregte Anfang des Jahres Aufmerksamkeit, nachdem er einen Prototypen vorgestellt hatte, der eine extrem schnelle Single-Request-Decodierung auf Standard-GPUs für Unternehmen demonstrierte. Die Demonstration verwendete ein maßgeschneidertes kleines Modell namens Laneformer 2B, das eine Token-pro-Sekunde-Rate von 3.000 erreichte. Die Skalierung dieser Ergebnisse auf größere LLM bleibt jedoch eine Herausforderung. Trotzdem glaubt Kog's CEO, Gaël Delalleau, dass die zugrunde liegenden Prinzipien auf komplexere Modelle angewendet werden können, was potenziell viel größere Leistungsverbesserungen ermöglicht. Das Startup hat bereits begonnen, sich mit potenziellen Kunden zu beschäftigen, die aufgrund langsamer Inferenzgeschwindigkeiten mit Engpässen konfrontiert sind.

Dazu gehören Fachleute, die sich auf KI-Tools für kritische Workflows verlassen, sowie Entwickler, die interaktive Inhalte wie Videospiele und mobile Anwendungen erstellen. Kog zielt darauf ab, eine Lösung bereitzustellen, die es diesen Benutzern ermöglicht, schneller Outputs zu generieren und dadurch die Produktivität und Rentabilität zu steigern. Delalleau betonte, dass der aktuelle Markt für KI-Inferenz sich zwar noch weiterentwickelt, aber eine bessere Leistung erforderlich ist. Er stellte fest, dass viele Unternehmen zögern, in kleinere Feinabstimmungsmodelle zu investieren, was ihre Fähigkeit, fortschrittliche KI-Funktionen zu nutzen, einschränkt.

Als Ergebnis hat Kog die Entwicklung von Methoden zur Beschleunigung des Trainings und der Bereitstellung größerer Modelle priorisiert, die sich an den Anforderungen ausrichten, die im Feld beobachtet werden. Kogs Ansatz unterscheidet sich von anderen Unternehmen, die an ähnlichen Problemen arbeiten. Im Gegensatz zu ZML, einem anderen französischen Startup, das hardwareagnostische Software für schnelle Inferenz über verschiedene Chip-Architekturen anbietet, konzentriert sich Kog stärker auf GPU-spezifische Optimierungen. Delalleau verglich die Strategie des Startups mit der des Hazy Research Laboratories an der Stanford University, das auch die Maximierung der GPU-Leistung durch detaillierte Analyse und Software-Innovation betont.

Delalleau bringt eine einzigartige Perspektive auf den Tisch, die von seinem akademischen und beruflichen Hintergrund geprägt ist. Nachdem er an der École Polytechnique in Frankreich Festkörperphysik studiert hat, arbeitete er später in der offensiven Cybersicherheit, allgemein als White-Hat-Hacking bezeichnet. Diese Erfahrung vermittelte ihm eine Denkweise, die sich auf das Verständnis grundlegender Systeme konzentrierte und sie kreativ nutzte, um bestimmte Ziele zu erreichen. Seine Karriere in der Cybersicherheit, einschließlich der Teilnahme am DEFCON's Capture The Flag (CTF) -Wettbewerb als vierfacher Finalist, brachte ihm bei, Technologien auf niedrigem Niveau zu reverse-engineern, bis hin zu Assemblersprache und Binärcode.

Diese Fähigkeiten beeinflussten die Art und Weise, wie Kog seine Forschung und Entwicklung angeht und die akribische Erforschung jeder neuen GPU-Architektur betont, um maximale Leistung zu erzielen. Trotz des vielversprechenden Potenzials der Kog®-Technologie ist der Weg vor uns eine Herausforderung. Die Optimierung der Leistung für jede neue Generation von GPUs erfordert umfangreiche Tests und Verfeinerungen, die oft mehrere Wochen oder sogar Monate pro Gerät in Anspruch nehmen. Dieser Prozess ist sowohl arbeitsintensiv als auch hochtechnisch, was die Tiefe der Expertise widerspiegelt, die erforderlich ist, um die Grenzen konventioneller Hardware zu überschreiten.

Bei Erfolg könnte das Startup eine praktikable Alternative zu spezialisierten KI-Chips bieten, die derzeit den Markt dominieren und Unternehmen ein flexibleres und kostengünstigeres Mittel zur Verbesserung ihrer KI-Fähigkeiten bieten.