Crux Labs sammelt über 6 Mio. US-Dollar ein, um unternehmerisches Urteilsvermögen in bessere KI-Agenten zu verwandeln

Ein KI-Agent kann eine Aufgabe erledigen und trotzdem eine Entscheidung treffen, die ein erfahrener Mitarbeiter ablehnen würde. Schwierig ist oft, die unausgesprochenen Regeln zu verstehen: wann eine weitere Frage gestellt werden sollte, wann eine Eskalation nötig ist und was für ein bestimmtes Unternehmen ein gutes Ergebnis bedeutet.

Crux Labs entwickelt eine Plattform, die das Expertenurteil in einen kontinuierlichen Evaluierungs- und Verbesserungsprozess für Unternehmensagenten überführt. Das New Yorker Start-up hat den Stealth-Modus verlassen und in einer überzeichneten Finanzierungsrunde mehr als 6 Millionen US-Dollar eingesammelt. Die Runde wurde gemeinsam von Benchstrength und Misneach angeführt; außerdem beteiligten sich Analog Ventures und Pareto Holdings.

Das Unternehmen will das Kapital nutzen, um Forschung und Entwicklung auszubauen und den Einsatz bei Unternehmenskunden zu beschleunigen. Im Kern setzt es darauf, dass Unternehmen Evaluierungssysteme benötigen, die auf die Expertise ihrer eigenen Fachleute abgestimmt sind und über eine Rückkopplungsschleife das Verhalten im Produktivbetrieb mit Änderungen an den Agenten selbst verknüpfen.

Warum Agenten-Trace-Daten nur der Ausgangspunkt sind

Die Beobachtbarkeit von Agenten hilft Teams nachzuvollziehen, was ein System getan hat: die Abfolge von Nachrichten, Werkzeugaufrufen und anderen Schritten einer Interaktion. Diese Aufzeichnung ist wertvoll, wenn etwas schiefläuft. Um jedoch zu beurteilen, ob eine Interaktion gut genug war, braucht es Kriterien, die der Aufgabe und dem Unternehmen Rechnung tragen.

Crux zufolge kann die manuelle Überprüfung mit umfangreichen Einsätzen nicht Schritt halten. In der Mitteilung des Unternehmens heißt es, Teams prüften lediglich 1 % der Agenten-Trace-Daten und ließen damit einen Großteil des übrigen Datenverkehrs außerhalb einer direkten Kontrolle. Diese Zahl beschreibt nach Angaben des Unternehmens das Problem und stammt nicht aus einer veröffentlichten branchenweiten Umfrage.

Stichproben können besonders einschränkend sein, wenn die entscheidenden Fehler selten auftreten. Ein Agent kann sich in häufigen Fällen akzeptabel verhalten und zugleich bei einer Ausnahme Schwierigkeiten haben, die erfahrene Mitarbeiter sofort erkennen. Die Herausforderung besteht darin, diese Erkenntnis in eine Evaluierung zu überführen, die sich einheitlich auf eine wesentlich größere Zahl von Interaktionen anwenden lässt.

Für Crux liegt die Chance an der Schnittstelle zwischen den Fachleuten, die das jeweilige Gebiet kennen, und den Ingenieuren, die den Agenten entwickeln. Fachexperten können erklären, woran sich eine erfolgreiche Interaktion erkennen lässt. Dieses Verständnis muss jedoch zu einem wiederholbaren Bestandteil der Messung und Verbesserung des Systems werden.

Urteilsvermögen erfassen und Evaluierungen kalibrieren

Crux beschreibt einen Arbeitsablauf, der in den Werkzeugen und Prozessen beginnt, die ein Unternehmen bereits nutzt. Die Agenten erfassen Expertenurteile und verwenden sie, um maßgeschneiderte Evaluierungen zu kalibrieren. Diese Evaluierungen unterstützen anschließend die Überwachung und Alarmierung im Produktivbetrieb; die Ergebnisse fließen in weitere Verbesserungen der Agenten ein.

Der Kalibrierungsschritt ist wichtig. Eine allgemeine Evaluierung könnte eine flüssig formulierte Antwort positiv bewerten, obwohl sie eine geschäftsspezifische Anforderung verfehlt. Eine auf Expertenurteilen beruhende Evaluierung soll den Unterschied zwischen einer plausibel klingenden Antwort und einer Antwort erkennen, die den Erwartungen der Organisation entspricht.

„Agenten sind unglaublich gut darin, Ziele zu erreichen, haben aber keinen Zugriff auf die über Jahre gesammelten Erfahrungsregeln, die wir Menschen im Kopf haben“, sagte Julie Kheyfets, Mitgründerin und CEO von Crux. „Crux hilft jedem Unternehmen, dieses Urteilsvermögen herauszuarbeiten und damit seine Agenten schnell zu verbessern.“

Das angestrebte Ergebnis ist ein sich weiterentwickelnder Evaluierungsprozess, der widerspiegelt, was Experten aus realen Interaktionen lernen. Wenn neue Fehlermuster auftreten, kann die Organisation dieses Wissen in die Bewertung künftigen Verhaltens einfließen lassen, statt es verstreut in Support-Tickets und bei einzelnen Prüfern zurückzulassen.

Den gesamten Datenverkehr im Produktivbetrieb überwachen

Crux zufolge sind die maßgeschneiderten Evaluierungen des Unternehmens für die Überwachung und Alarmierung in Echtzeit über 100 % des Datenverkehrs im Produktivbetrieb hinweg optimiert. Diese Aussage bezieht sich auf die Abdeckung: Die Evaluierung wird auf den gesamten Datenstrom angewendet. Sie bedeutet nicht, dass die Evaluierungen jeden denkbaren Fehler erkennen oder vollkommen mit menschlichen Experten übereinstimmen.

Diese Unterscheidung ist wichtig, denn automatisierte Evaluierungen bringen eigene Herausforderungen bei der Messung mit sich. Selbst ein System, das jede Interaktion überprüft, kann wichtiges Verhalten übersehen, wenn seine Kriterien unvollständig sind. Die Kalibrierung dieser Kriterien anhand von Fachwissen ist daher zentral für das Angebot von Crux und kein optionaler Schritt vor Beginn der Überwachung.

Das Unternehmen erklärt außerdem, dass die Evaluierungsergebnisse zu Verbesserungen führen, die in den Produktivbetrieb übernommen werden. In der Mitteilung wird nicht erläutert, welche Teile dieses Prozesses Prompts, Richtlinien, Modelle oder andere Komponenten verändern oder wie die Zustimmung der Kunden eingeholt wird. Das beschriebene Angebot ist ein durchgängiger Evaluierungs- und Verbesserungsdienst und keine näher spezifizierte Technik zum Trainieren von Modellen.

Ein Gründerteam mit Erfahrung im Bereich Unternehmens-KI

Kheyfets und ihr Mitgründer und CTO Krishna Kulkarni lernten sich an der Princeton University kennen. Kheyfets verfügt über zehn Jahre Erfahrung mit dem Einsatz von KI in komplexen Branchen. Unter anderem leitete sie das Nordamerika-Geschäft von Tractable AI und war CEO von Block Renovation.

Kulkarni leitete zuvor bei Meta den Bereich Markenentwicklung, entwickelte KI-Produkte bei Checkr und half Healthify dabei, von null auf 20 Millionen Patienten zu wachsen, wie das Unternehmen mitteilte. Crux baut ein Team aus Forschenden und Ingenieuren auf, das sich auf die Evaluierung und Verbesserung von Agenten konzentriert.

„Engineering-Teams wissen, wie man KI-Agenten entwickelt, und Fachexperten wissen, woran sich Erfolg messen lässt. Unternehmen fehlt jedoch die Verbindung zwischen beidem“, sagte Kulkarni. „Crux überführt Fachwissen in die kontinuierliche Verbesserung von Agenten, damit Ingenieure Agenten entwickeln können, die tatsächlich auf die Geschäftsziele abgestimmt sind.“

Das Unternehmen berichtet von ersten Erfolgen bei Fortune-500-Unternehmen und wachstumsstarken Firmen im Gesundheitswesen, in der Cybersicherheit, bei Finanzdienstleistungen und in anderen komplexen Branchen. In der Mitteilung nannte es weder diese Kunden noch machte es Angaben zu Umsatz, Zahl der Implementierungen oder gemessenen Verbesserungen.

Der wirtschaftliche Nutzen unternehmensspezifischer Evaluierung

Crux positioniert sich als eine Art internes Team, das sich in einem Unternehmen eigens um die Evaluierung und Verbesserung von Agenten kümmert. Das Geschäftsargument: Produkt- und Engineering-Teams sollten weniger Zeit mit dem Aufbau von Prüfprozessen und der Diagnose wiederkehrender Fehler verbringen müssen, während Experten eine praktische Möglichkeit erhalten, die Systeme zu beeinflussen, die ihr Unternehmen repräsentieren.

Der Bedarf an Fachwissen zeigt sich auch bei der iMerit-Plattform für von Fachleuten geleitete KI-Schulung und -Evaluierung, bei der die Aufbereitung des Feedbacks von Spezialisten Teil des Workflows zur Modellverbesserung ist.

Für Investoren hängt die Chance davon ab, was geschieht, nachdem Agenten in den Produktivbetrieb überführt wurden. Die Entwicklung eines Agenten schafft einen neuen Bedarf: sein Verhalten kontinuierlich zu messen, Schwachstellen zu erkennen und ihn zu verbessern, ohne die Standards der Organisation aus den Augen zu verlieren.

Die Finanzierung von Crux wird dazu beitragen, zu prüfen, ob sich dieser Prozess zuverlässig für Kunden mit unterschiedlichen Erfolgsmaßstäben umsetzen lässt. Das Versprechen ist klar: Das Urteilsvermögen der besten Mitarbeitenden eines Unternehmens sollte in die Bewertung seiner Agenten einfließen, und diese Bewertungen sollten zu einem besseren Verhalten im Produktivbetrieb führen. Weitere Informationen finden Sie bei Crux Labs.