Crux Labs lève plus de 6 millions de dollars pour améliorer les agents d’IA grâce au jugement des entreprises

Un agent d’IA peut accomplir une tâche tout en prenant une décision qu’un employé expérimenté rejetterait. La difficulté consiste souvent à comprendre les règles tacites : quand poser une question supplémentaire, quand transmettre le dossier à un niveau supérieur et ce qu’est un bon résultat pour une entreprise donnée.

Crux Labs développe une plateforme qui transforme le jugement des experts en un processus continu d’évaluation et d’amélioration des agents destinés aux entreprises. La jeune entreprise new-yorkaise est sortie de sa période de discrétion en annonçant une levée de fonds de plus de 6 millions de dollars, dont le montant a dépassé la somme recherchée, menée conjointement par Benchstrength et Misneach, avec la participation de Analog Ventures et de Pareto Holdings.

L’entreprise prévoit d’utiliser ces fonds pour développer ses équipes de recherche et d’ingénierie et accélérer les déploiements en entreprise. Elle mise avant tout sur le fait que les entreprises ont besoin de systèmes d’évaluation adaptés aux critères de leurs propres experts, assortis d’une boucle de rétroaction reliant le comportement en production aux modifications apportées aux agents eux-mêmes.

Pourquoi les traces d’activité des agents ne sont qu’un point de départ

L’observabilité des agents aide les équipes à examiner les actions d’un système : la séquence de messages, les appels aux outils et les autres étapes qui composent une interaction. Ces traces sont précieuses en cas de problème. Cependant, pour déterminer si l’interaction a été suffisamment satisfaisante, il faut des critères qui tiennent compte de la tâche et de l’entreprise.

Selon Crux, les vérifications manuelles ne peuvent pas suivre le rythme des déploiements à grande échelle. Dans son annonce, l’entreprise indique que les équipes n’examinent qu’un échantillon de 1 % des traces des agents, laissant une grande partie du trafic restant sans inspection directe. Ce chiffre correspond à la description du problème faite par l’entreprise ; il ne provient pas d’une étude publiée couvrant l’ensemble du secteur.

L’échantillonnage peut être particulièrement limité lorsque les défaillances importantes sont rares. Un agent peut se comporter de manière acceptable dans les cas courants tout en ayant du mal à traiter une exception qu’un membre expérimenté du personnel reconnaît immédiatement. Le défi consiste à transformer cette capacité de reconnaissance en une évaluation applicable de manière cohérente à un ensemble d’interactions beaucoup plus vaste.

Pour Crux, l’occasion se situe entre les spécialistes qui connaissent le domaine et les ingénieurs qui construisent l’agent. Les experts du domaine peuvent expliquer à quoi ressemble une interaction réussie, mais cette compréhension doit être intégrée de manière reproductible à la façon dont le système est évalué et amélioré.

Recueillir le jugement des experts et étalonner les évaluations

Crux décrit un flux de travail qui s’intègre aux outils et aux processus qu’une entreprise utilise déjà. Ses agents recueillent les jugements des experts et s’en servent pour étalonner des évaluations personnalisées. Ces évaluations permettent ensuite de surveiller les systèmes en production et de générer des alertes ; les résultats contribuent aux améliorations ultérieures des agents.

L’étalonnage est une étape importante. Une évaluation générique pourrait valoriser une réponse fluide qui ne satisfait pas à une exigence propre à l’entreprise. Une évaluation fondée sur le jugement d’experts est conçue pour distinguer une réponse qui semble juste d’une réponse conforme aux attentes de l’organisation.

« Les agents sont incroyablement doués pour atteindre leurs objectifs, mais ils n’ont pas accès aux années d’expérience et aux heuristiques que nous, les humains, avons accumulées », a déclaré Julie Kheyfets, cofondatrice et PDG de Crux. « Crux aide chaque entreprise à formaliser ce jugement et à s’en servir pour améliorer rapidement ses agents. »

L’objectif est de mettre en place un processus d’évaluation évolutif, qui tient compte de ce que les experts apprennent au fil des interactions réelles. Lorsque de nouveaux types de défaillances apparaissent, l’organisation peut intégrer ces connaissances à l’évaluation des comportements futurs, au lieu de les laisser dispersées dans les demandes d’assistance et les notes des personnes chargées des vérifications.

Surveiller l’ensemble du trafic en production

Crux affirme que ses évaluations personnalisées sont optimisées pour surveiller en temps réel la totalité du trafic en production, soit 100 %, et générer des alertes. Il s’agit d’une affirmation portant sur la couverture : l’évaluation s’applique à l’ensemble du flux de trafic. Cela ne signifie pas que les évaluations détectent toutes les défaillances possibles ni qu’elles concordent parfaitement avec le jugement des experts humains.

Cette distinction est importante, car l’évaluation automatisée pose elle-même un problème de mesure. Même un système qui examine chaque interaction peut passer à côté de comportements importants si ses critères sont incomplets. L’étalonnage de ces critères à partir de l’expertise du domaine est donc au cœur de la proposition de Crux ; ce n’est pas une étape facultative à réaliser avant le début de la surveillance.

L’entreprise affirme également que les résultats des évaluations servent à apporter des améliorations qui sont déployées en production. Son annonce ne précise pas quelles parties du processus modifient les invites, les règles, les modèles ou d’autres composants, ni comment l’approbation des clients est gérée. La proposition présentée est un service de bout en bout d’évaluation et d’amélioration, et non une technique précise d’entraînement des modèles.

Une équipe fondatrice expérimentée en IA pour les entreprises

Kheyfets et son cofondateur et directeur technique, Krishna Kulkarni, se sont rencontrés à Princeton University. Kheyfets possède dix ans d’expérience dans le déploiement de l’IA dans des secteurs complexes. Elle a notamment dirigé les activités de Tractable AI en Amérique du Nord et occupé le poste de PDG de Block Renovation.

Selon l’entreprise, Kulkarni a auparavant dirigé l’ingénierie de marque chez Meta, développé des produits d’IA chez Checkr et contribué à faire passer Healthify de zéro à 20 millions de patients. Crux constitue une équipe de chercheurs et d’ingénieurs chargée d’évaluer et d’améliorer les agents.

« Les équipes d’ingénierie savent créer des agents d’IA et les experts métier savent à quoi ressemble la réussite, mais les entreprises ne disposent pas du lien entre les deux », a déclaré Kulkarni. « Crux transforme l’expertise sectorielle en amélioration continue des agents, afin que les ingénieurs puissent créer des agents véritablement adaptés aux besoins de l’entreprise. »

L’entreprise fait état de premiers signes d’adoption auprès de grands groupes du Fortune 500 et d’entreprises à forte croissance dans les secteurs de la santé, de la cybersécurité, des services financiers et d’autres industries complexes. Dans son annonce, elle n’a nommé aucun de ces clients et n’a communiqué ni chiffre d’affaires, ni nombre de déploiements, ni mesure des améliorations.

L’intérêt commercial d’une évaluation propre à chaque entreprise

Crux se présente comme l’équivalent, au sein d’une entreprise, d’une équipe dédiée à l’évaluation et à l’amélioration des agents. Son argument commercial est que les équipes produit et d’ingénierie devraient consacrer moins de temps à mettre en place des processus d’évaluation et à diagnostiquer les défaillances récurrentes, tandis que les experts disposeraient d’un moyen concret d’influencer les systèmes qui représentent leur activité.

La demande d’expertise sectorielle se manifeste également dans la plateforme iMerit de formation et d’évaluation de l’IA par des experts, où l’organisation des retours de spécialistes fait partie du processus d’amélioration des modèles.

Pour les investisseurs, l’occasion tient à ce qui se passe une fois les agents mis en production. La création d’un agent fait naître un nouveau besoin : mesurer en continu son comportement, repérer ses lacunes et l’améliorer sans perdre de vue les normes de l’organisation.

Le financement de Crux aidera à déterminer si ce processus peut être mis en œuvre de manière fiable auprès de clients dont les critères de réussite diffèrent. Sa proposition est simple : le jugement des meilleurs collaborateurs d’une entreprise devrait entrer dans l’évaluation de ses agents, et ces évaluations devraient se traduire par un meilleur comportement en production. Pour en savoir plus, consultez Crux Labs.