Crux Labs tar in över 6 miljoner dollar för att omvandla företagskunskap till bättre AI-agenter

En AI-agent kan slutföra en uppgift och ändå fatta ett beslut som en erfaren medarbetare skulle avvisa. Det svåra är ofta att förstå de outtalade reglerna: när man ska ställa ytterligare en fråga, när man ska eskalera och vad ett bra resultat innebär för ett visst företag.

Crux Labs utvecklar en plattform som omvandlar sådan expertbedömning till en kontinuerlig process för utvärdering och förbättring av AI-agenter för företag. Startupbolaget från New York har trätt fram ur stealth-läget med över 6 miljoner dollar i en övertecknad finansieringsrunda, som leddes gemensamt av Benchstrength och Misneach, med deltagande från Analog Ventures och Pareto Holdings.

Företaget planerar att använda kapitalet till att utöka forsknings- och ingenjörsteamen och påskynda implementeringar hos företag. Grundtanken är att företag behöver utvärderingssystem som kalibreras utifrån deras egna experter, med en återkopplingsloop som kopplar beteendet i produktion till förändringar av själva agenterna.

Varför agenters spårdata bara är en utgångspunkt

Insyn i agenters beteende hjälper team att granska vad ett system gjorde: sekvensen av meddelanden, verktygsanrop och andra steg bakom en interaktion. Den dokumentationen är värdefull när något går fel. För att avgöra om interaktionen var tillräckligt bra krävs däremot kriterier som speglar uppgiften och verksamheten.

Crux menar att manuell granskning inte kan hålla jämna steg med storskaliga driftsättningar. I företagets tillkännagivande beskrivs hur team bara granskar ett urval motsvarande 1 % av agenternas spårdata, vilket innebär att en stor del av den återstående trafiken inte inspekteras direkt. Den siffran är företagets beskrivning av problemet, inte resultatet av en publicerad branschövergripande undersökning.

Urval kan vara särskilt begränsande när de viktiga felen är ovanliga. En agent kan fungera acceptabelt i vanliga situationer men få problem med ett undantagsfall som erfaren personal omedelbart känner igen. Utmaningen är att omvandla den igenkänningen till en utvärdering som kan tillämpas konsekvent på en betydligt större mängd interaktioner.

För Crux ligger möjligheten i mötet mellan personerna som kan verksamhetsområdet och ingenjörerna som bygger agenten. Ämnesexperter kan förklara hur en lyckad interaktion ser ut, men den förståelsen måste bli en återkommande del av hur systemet mäts och förbättras.

Att fånga upp expertbedömningar och kalibrera utvärderingar

Crux beskriver ett arbetsflöde som börjar i de verktyg och processer som ett företag redan använder. Företagets agenter fångar upp experternas bedömningar och använder dem för att kalibrera anpassade utvärderingar. Utvärderingarna används sedan för övervakning och larm i produktionsmiljö, och resultaten ligger till grund för efterföljande förbättringar av agenterna.

Kalibreringssteget är viktigt. En generell utvärdering kan belöna ett välformulerat svar som missar ett krav som är specifikt för verksamheten. En utvärdering som bygger på expertbedömningar är avsedd att skilja mellan ett svar som låter rätt och ett som motsvarar organisationens förväntningar.

”Agenter är otroligt bra på att nå mål, men de har inte tillgång till de heuristiker som vi människor har samlat på oss under årens lopp”, säger Julie Kheyfets, medgrundare och vd för Crux. ”Crux hjälper varje företag att destillera den här kunskapen och använda den för att snabbt förbättra sina agenter.”

Målet är en utvärderingsprocess som utvecklas i takt med att experter lär sig mer av verkliga interaktioner. När nya felmönster uppstår kan organisationen införliva den kunskapen i bedömningen av framtida beteenden, i stället för att låta den ligga utspridd bland supportärenden och enskilda granskare.

Övervakning av hela produktionsflödet

Crux uppger att företagets anpassade utvärderingar är optimerade för övervakning och larm i realtid av 100 % av produktionstrafiken. Det är ett påstående om täckning: att utvärderingen tillämpas på hela trafikflödet. Det innebär inte att utvärderingarna upptäcker alla tänkbara fel eller alltid överensstämmer helt med mänskliga experter.

Skillnaden är viktig eftersom automatiserad utvärdering innebär en egen mätutmaning. Ett system som granskar varje interaktion kan ändå missa viktigt beteende om kriterierna är ofullständiga. Att kalibrera kriterierna mot ämnesexpertis är därför centralt i Crux erbjudande, inte ett valfritt steg innan övervakningen börjar.

Företaget uppger också att utvärderingsresultaten leder till förbättringar som driftsätts i produktion. I sitt tillkännagivande specificerar företaget inte vilka delar av processen som ändrar instruktioner, policyer, modeller eller andra komponenter, eller hur kundernas godkännande hanteras. Det som beskrivs är en heltäckande tjänst för utvärdering och förbättring, inte en specificerad metod för modellträning.

Grundarteam med erfarenhet av AI för företag

Kheyfets och medgrundaren och teknikchefen Krishna Kulkarni träffades vid Princeton University. Kheyfets har tio års erfarenhet av att driftsätta AI i komplexa branscher, bland annat som ansvarig för Tractable AI:s verksamhet i Nordamerika och som vd för Block Renovation.

Enligt företaget ledde Kulkarni tidigare varumärkestekniken på Meta, utvecklade AI-produkter på Checkr och bidrog till att skala upp Healthify från noll till 20 miljoner patienter. Crux bygger upp ett team av forskare och ingenjörer med fokus på att utvärdera och förbättra agenter.

”Ingenjörsteam vet hur man bygger AI-agenter och ämnesexperter vet hur framgång ser ut, men företag saknar länken mellan dem”, säger Kulkarni. ”Crux omsätter domänexpertis i kontinuerlig agentförbättring, så att ingenjörer kan bygga agenter som verkligen är anpassade till verksamheten.”

Företaget uppger att det fått tidigt fäste hos Fortune 500-företag och snabbväxande bolag inom hälso- och sjukvård, cybersäkerhet, finansiella tjänster och andra komplexa branscher. I tillkännagivandet namngav företaget inte kunderna och offentliggjorde inte intäkter, antal driftsättningar eller uppmätta förbättringar.

Affärsnyttan med företagsspecifik utvärdering

Crux positionerar sig som motsvarigheten till ett dedikerat team för utvärdering och förbättring av agenter inom ett företag. Det kommersiella argumentet är att produkt- och ingenjörsmedarbetare bör lägga mindre tid på att sätta samman granskningsprocesser och diagnostisera återkommande fel, samtidigt som experter får ett praktiskt sätt att påverka de system som representerar deras verksamhet.

Behovet av domänexpertis märks också på iMerits plattform för AI-träning och utvärdering ledd av experter, där organiseringen av specialiståterkoppling ingår i arbetsflödet för modellförbättring.

För investerare hänger möjligheten samman med vad som händer när agenter tas i drift. När en agent byggs uppstår ett nytt behov av att kontinuerligt mäta dess beteende, identifiera brister och förbättra den utan att tappa organisationens standarder ur sikte.

Cruxs finansiering kommer att bidra till att testa om processen kan genomföras tillförlitligt hos kunder med olika definitioner av framgång. Företagets erbjudande är enkelt: de bästa medarbetarnas omdöme bör bli en del av hur företagets agenter utvärderas, och utvärderingarna bör leda till bättre beteende i drift. Mer information finns på Crux Labs.