Neue Grenzen in der generativen KI — weit entfernt von der Cloud

Am Anfang gab es das Internet, das unser Leben für immer veränderte — die Art und Weise, wie wir kommunizieren, einkaufen, Geschäfte führen. Und dann, aus Gründen der Latenz, Privatsphäre und Kosteneffizienz, zog das Internet an den Netzwerkrand, was zum Aufkommen des “Internets der Dinge” führte.

Jetzt gibt es künstliche Intelligenz, die alles, was wir im Internet tun, einfacher, personalisierter und intelligenter macht. Um sie jedoch zu nutzen, sind große Server und eine hohe Rechenleistung erforderlich, so dass sie auf die Cloud beschränkt ist. Aber dieselben Motivationen — Latenz, Privatsphäre, Kosteneffizienz — haben Unternehmen wie Hailo dazu veranlasst, Technologien zu entwickeln, die KI am Rand ermöglichen.

Ohne Zweifel ist die nächste große Sache die generative KI. Die generative KI bietet enormes Potenzial in verschiedenen Branchen. Sie kann verwendet werden, um die Arbeit zu rationalisieren und die Effizienz verschiedener Ersteller — Anwälte, Content-Autoren, Grafikdesigner, Musiker und mehr — zu erhöhen. Sie kann helfen, neue therapeutische Medikamente zu entdecken oder bei medizinischen Eingriffen zu unterstützen. Die generative KI kann die industrielle Automation verbessern, neue Software-Code entwickeln und die Transportsicherheit durch die automatisierte Synthese von Video, Audio, Bildern und mehr erhöhen.

Allerdings ist die generative KI, wie sie heute existiert, durch die Technologie eingeschränkt, die sie ermöglicht. Das liegt daran, dass die generative KI in der Cloud stattfindet — in großen Rechenzentren mit teuren, energieintensiven Computerprozessoren, die weit von den tatsächlichen Nutzern entfernt sind. Wenn jemand eine Anfrage an ein generatives KI-Tool wie ChatGPT oder eine neue AI-basierte Videoconferencing-Lösung sendet, wird die Anfrage über das Internet an die Cloud gesendet, wo sie von Servern verarbeitet wird, bevor die Ergebnisse über das Netzwerk zurückgesendet werden.

Wenn Unternehmen neue Anwendungen für die generative KI entwickeln und auf verschiedenen Geräten bereitstellen — Video-Kameras und Sicherheitssysteme, industrielle und persönliche Roboter, Laptops und sogar Autos — ist die Cloud ein Flaschenhals in Bezug auf Bandbreite, Kosten und Konnektivität.

Und für Anwendungen wie Fahrerassistenz, persönliche Computer-Software, Videoconferencing und Sicherheit kann das ständige Verschieben von Daten über ein Netzwerk ein Datenschutzrisiko darstellen.

Die Lösung besteht darin, diese Geräte in die Lage zu versetzen, generative KI am Rand zu verarbeiten. Tatsächlich kann die randbasierte generative KI viele aufkommende Anwendungen nutzen.

Generative KI im Aufwind

Betrachten Sie, dass Mercedes-Benz im Juni ankündigte, ChatGPT in seine Autos einzuführen. In einem ChatGPT-verbesserten Mercedes könnte ein Fahrer beispielsweise handsfree nach einem Rezept für ein Abendessen fragen, das auf Zutaten basiert, die er bereits zu Hause hat. Das ist, wenn das Auto mit dem Internet verbunden ist. In einer Parkgarage oder einem abgelegenen Ort ist alles anders.

In den letzten paar Jahren ist Videoconferencing für die meisten von uns zur zweiten Natur geworden. Schon jetzt integrieren Software-Unternehmen Formen von KI in Videoconferencing-Lösungen. Vielleicht ist es, um Audio- und Videoqualität auf der Fliege zu optimieren oder Menschen in denselben virtuellen Raum zu setzen. Jetzt können generative KI-gestützte Videoconferenzen automatisch Besprechungsprotokolle erstellen oder relevante Informationen aus Unternehmensquellen in Echtzeit abrufen, während verschiedene Themen diskutiert werden.

Allerdings kann die generative KI-Erfahrung nicht stattfinden, wenn ein cleveres Auto, ein Videoconferencing-System oder ein anderes Randgerät nicht zurück zur Cloud gelangen kann. Aber was, wenn sie es nicht müssten? Es klingt wie eine schwierige Aufgabe, wenn man die enorme Verarbeitung von Cloud-KI berücksichtigt, aber es wird jetzt möglich.

Generative KI am Rand

Schon jetzt gibt es generative KI-Tools, zum Beispiel, die automatisch reiche, ansprechende PowerPoint-Präsentationen erstellen können. Aber der Benutzer benötigt ein System, das von überall aus funktioniert, auch ohne Internetverbindung.

Ähnlich sehen wir bereits eine neue Klasse von generativen KI-basierten “Co-Pilot”-Assistenten, die grundlegend unsere Art und Weise verändern werden, wie wir mit unseren Computern interagieren, indem wir viele Routineaufgaben automatisieren, wie das Erstellen von Berichten oder das Visualisieren von Daten. Stellen Sie sich vor, Sie öffnen einen Laptop, der Laptop erkennt Sie durch seine Kamera und generiert dann automatisch einen Aktionsplan für den Tag/Woche/Monat basierend auf den am häufigsten verwendeten Tools wie Outlook, Teams, Slack, Trello usw. Aber um die Datenprivatsphäre und eine gute Benutzererfahrung zu gewährleisten, müssen Sie die Möglichkeit haben, generative KI lokal auszuführen.

Zusätzlich zu den Herausforderungen unzuverlässiger Verbindungen und Datenschutz kann die KI am Rand helfen, die Bandbreitenanforderungen zu reduzieren und die Anwendungsleistung zu verbessern. Zum Beispiel kann der Prozess verzögern, wenn eine generative KI-Anwendung Datenreiche Inhalte wie einen virtuellen Konferenzraum über die Cloud erstellt, abhängig von der verfügbaren (und teuren) Bandbreite. Und bestimmte Arten von generativen KI-Anwendungen, wie Sicherheit, Robotik oder Gesundheitswesen, erfordern hochleistungsfähige, latenzarme Antworten, die Cloud-Verbindungen nicht bewältigen können.

Bei der Video-Sicherheit erfordert die Fähigkeit, Personen zu identifizieren, wenn sie zwischen vielen Kameras wechseln — einige davon an Orten, an denen Netzwerke nicht erreicht werden können — Datenmodelle und KI-Verarbeitung in den Kameras selbst. In diesem Fall kann die generative KI auf automatisierte Beschreibungen dessen angewendet werden, was die Kameras sehen, durch einfache Abfragen wie “Finden Sie das 8-jährige Kind mit dem roten T-Shirt und der Baseballkappe”.

Das ist die generative KI am Rand.

Entwicklungen in der KI am Rand

Durch die Übernahme einer neuen Klasse von KI-Prozessoren und die Entwicklung schlankerer, effizienterer, aber nicht weniger leistungsfähiger generativer KI-Datenmodelle können Randgeräte so konzipiert werden, dass sie intelligent arbeiten, wo Cloud-Konnektivität unmöglich oder unerwünscht ist.

Natürlich wird die Cloud-Verarbeitung ein kritischer Bestandteil der generativen KI bleiben. Zum Beispiel wird das Training von KI-Modellen in der Cloud bleiben. Aber die Anwendung von Benutzereingaben auf diese Modelle, auch Inferenz genannt, kann — und sollte in vielen Fällen — am Rand stattfinden.

Die Branche entwickelt bereits schlankere, kleinere, effizientere KI-Modelle, die auf Randgeräten geladen werden können. Unternehmen wie Hailo fertigen KI-Prozessoren, die speziell für die Verarbeitung von neuronalen Netzen konzipiert sind. Solche neuronalen Netzprozessoren können nicht nur KI-Modelle unglaublich schnell verarbeiten, sondern tun dies auch mit weniger Leistung, was sie energieeffizient und geeignet für eine Vielzahl von Randgeräten macht, von Smartphones bis hin zu Kameras.

Die Verarbeitung von generativer KI am Rand kann auch dazu beitragen, die zunehmenden Arbeitslasten effektiv zu verteilen, Anwendungen stabiler zu skalieren, Cloud-Rechenzentren von teuren Verarbeitungen zu entlasten und ihnen helfen, ihren CO2-Fußabdruck zu reduzieren.

Die generative KI ist bereit, die Computertechnologie erneut zu verändern. In der Zukunft kann das LLM auf Ihrem Laptop automatisch aktualisiert werden, ähnlich wie Ihr Betriebssystem heute, und auf ähnliche Weise funktionieren. Aber um dorthin zu gelangen, müssen wir die Verarbeitung von generativer KI am Netzwerkrand ermöglichen. Das Ergebnis verspricht bessere Leistung, Energieeffizienz und Privatsphäre und Sicherheit. All dies führt zu KI-Anwendungen, die die Welt so sehr verändern, wie die generative KI selbst.