Crux Labs haalt meer dan $6 miljoen op om het zakelijke oordeel te vertalen naar betere AI-agenten

Een AI-agent kan een taak voltooien en toch een beslissing nemen die een ervaren medewerker zou afwijzen. Vaak is het lastigste om de ongeschreven regels te begrijpen: wanneer je een vervolgvraag moet stellen, wanneer je de kwestie moet escaleren en wat voor een bepaald bedrijf een goed resultaat is.

Crux Labs bouwt een platform dat het oordeel van experts omzet in een doorlopend evaluatie- en verbeterproces voor zakelijke agents. De startup uit New York is uit stealthmodus getreden met een financieringsronde van meer dan 6 miljoen dollar die overtekend was en mede werd geleid door Benchstrength en Misneach, met deelname van Analog Ventures en Pareto Holdings.

Het bedrijf wil het kapitaal gebruiken om de onderzoeks- en engineeringteams uit te breiden en de inzet bij bedrijven te versnellen. De centrale overtuiging is dat bedrijven evaluatiesystemen nodig hebben die zijn afgestemd op hun eigen experts, met een feedbacklus die productiegedrag koppelt aan aanpassingen aan de agents zelf.

Waarom agenttraces slechts het begin zijn

Observeerbaarheid van agents helpt teams te onderzoeken wat een systeem heeft gedaan: de reeks berichten, toolaanroepen en andere stappen achter een interactie. Dat overzicht is waardevol wanneer er iets misgaat. Om te bepalen of de interactie goed genoeg was, zijn echter criteria nodig die rekening houden met de taak en het bedrijf.

Volgens Crux kan handmatige beoordeling grote implementaties niet bijhouden. In de aankondiging beschrijft het bedrijf hoe teams slechts 1% van de agenttraces steekproefsgewijs beoordelen, waardoor een groot deel van het overige verkeer niet rechtstreeks wordt geïnspecteerd. Dat cijfer is de beschrijving van het probleem door het bedrijf, geen resultaat van een gepubliceerde sectorbrede enquête.

Steekproeven kunnen vooral beperkend zijn wanneer de fouten die ertoe doen ongebruikelijk zijn. Een agent kan zich in veelvoorkomende situaties naar behoren gedragen, maar moeite hebben met een uitzondering die ervaren medewerkers onmiddellijk herkennen. De uitdaging is om dat inzicht om te zetten in een evaluatie die consequent kan worden toegepast op een veel grotere verzameling interacties.

Volgens Crux ligt de kans in de ruimte tussen de mensen met domeinkennis en de engineers die de agent bouwen. Vakexperts kunnen uitleggen hoe een geslaagde interactie eruitziet, maar dat inzicht moet een herhaalbaar onderdeel worden van de manier waarop het systeem wordt gemeten en verbeterd.

Oordelen vastleggen en evaluaties afstemmen

Crux beschrijft een workflow die begint binnen de tools en processen die een bedrijf al gebruikt. De agents leggen de oordelen van experts vast en gebruiken die om evaluaties op maat af te stemmen. Die evaluaties ondersteunen vervolgens monitoring en waarschuwingen in productie, waarbij de resultaten worden gebruikt voor latere verbeteringen aan de agents.

De afstemming is belangrijk. Een algemene evaluatie zou een vloeiend antwoord kunnen belonen dat voorbijgaat aan een specifieke zakelijke vereiste. Een evaluatie die is gebaseerd op het oordeel van experts, moet het onderscheid herkennen tussen een antwoord dat goed klinkt en een antwoord dat aan de verwachtingen van de organisatie voldoet.

“Agents zijn ongelooflijk goed in het bereiken van doelen, maar ze hebben geen toegang tot de jaren aan vuistregels die wij als mensen in ons hoofd hebben verzameld”, zei Julie Kheyfets, medeoprichter en CEO van Crux. “Crux helpt elk bedrijf om dit oordeel te destilleren en te gebruiken om zijn agents snel te verbeteren.”

Het beoogde resultaat is een evaluatieproces dat meeverandert met wat experts leren uit echte interacties. Wanneer nieuwe foutpatronen aan het licht komen, kan de organisatie die kennis opnemen in de beoordeling van toekomstig gedrag, in plaats van die verspreid te laten raken over supporttickets en de notities van individuele beoordelaars.

De volledige stroom productieverkeer monitoren

Crux zegt dat de evaluaties op maat zijn geoptimaliseerd voor realtime monitoring en waarschuwingen over 100% van het productieverkeer. Dat is een claim over de dekking: evaluaties toepassen op de volledige verkeersstroom. Het betekent niet dat de evaluaties elke mogelijke fout opsporen of het altijd volledig eens zijn met menselijke experts.

Dat onderscheid is belangrijk, omdat geautomatiseerde evaluatie een eigen meetprobleem met zich meebrengt. Zelfs een systeem dat elke interactie beoordeelt, kan belangrijk gedrag missen als de criteria onvolledig zijn. De criteria afstemmen op domeinkennis is daarom essentieel voor het aanbod van Crux; het is geen optionele stap voorafgaand aan de monitoring.

Het bedrijf zegt ook dat de evaluatieresultaten leiden tot verbeteringen die in productie worden doorgevoerd. De aankondiging licht niet toe welke onderdelen van dat proces prompts, beleidsregels, modellen of andere componenten veranderen, noch hoe goedkeuring door klanten wordt geregeld. Het aanbod zoals beschreven is een end-to-enddienst voor evaluatie en verbetering, geen gespecificeerde techniek voor modeltraining.

Een oprichtersteam met ervaring in zakelijke AI

Kheyfets en medeoprichter en CTO Krishna Kulkarni ontmoetten elkaar aan Princeton University. Kheyfets heeft tien jaar ervaring met de inzet van AI in complexe sectoren. Zo gaf ze leiding aan de Noord-Amerikaanse activiteiten van Tractable AI en was ze CEO van Block Renovation.

Kulkarni gaf eerder leiding aan het team voor merkengineering bij Meta, ontwikkelde AI-producten bij Checkr en hielp Healthify groeien van nul naar 20 miljoen patiënten, aldus het bedrijf. Crux bouwt aan een team van onderzoekers en technici dat zich richt op het evalueren en verbeteren van agents.

‘Engineeringteams weten hoe ze AI-agents moeten bouwen en vakexperts weten hoe succes eruitziet, maar ondernemingen missen de schakel tussen die twee’, zei Kulkarni. ‘Crux zet domeinexpertise om in voortdurende verbetering van agents, zodat engineers agents kunnen bouwen die echt aansluiten op de bedrijfsdoelen.’

Het bedrijf meldt eerste tractie bij Fortune 500-ondernemingen en snelgroeiende bedrijven in de gezondheidszorg, cyberbeveiliging, financiële dienstverlening en andere complexe sectoren. In de aankondiging heeft het geen klanten bij naam genoemd en geen omzet, aantallen implementaties of gemeten verbeteringen bekendgemaakt.

De zakelijke onderbouwing voor bedrijfsspecifieke evaluatie

Crux positioneert zich als het equivalent van een toegewijd team binnen een onderneming dat agents evalueert en verbetert. Het commerciële argument is dat product- en engineeringmedewerkers minder tijd zouden moeten besteden aan het opzetten van beoordelingsprocessen en het opsporen van terugkerende fouten, terwijl experts een praktische manier krijgen om invloed uit te oefenen op de systemen die hun bedrijf vertegenwoordigen.

De behoefte aan domeinexpertise blijkt ook uit het platform van iMerit voor AI-training en -evaluatie onder leiding van experts, waar het organiseren van feedback van specialisten deel uitmaakt van het proces om modellen te verbeteren.

Voor investeerders hangt de kans samen met wat er gebeurt nadat agents in productie zijn genomen. Het bouwen van een agent brengt de nieuwe noodzaak met zich mee om het gedrag ervan voortdurend te meten, vast te stellen waar het tekortschiet en het te verbeteren zonder de normen van de organisatie uit het oog te verliezen.

De financiering van Crux helpt te toetsen of dat proces betrouwbaar kan worden geleverd aan klanten die succes op verschillende manieren definiëren. Het uitgangspunt is eenvoudig: het oordeel van de beste mensen binnen een bedrijf moet deel uitmaken van de manier waarop de agents worden geëvalueerd, en die evaluaties moeten leiden tot beter gedrag in productie. Meer informatie is te vinden op Crux Labs.