Les grands modèles de langage d’aujourd’hui sont verbeux, même s’il leur est demandé de recommander une décision simple, ce qui fait augmenter les coûts d’utilisation en raison du grand volume de jetons qu’ils consomment ou génèrent. Les entreprises qui cherchent à intégrer l’IA dans les flux de travail automatisés voudront quelque chose de moins verbeux, à la fois parce que les machines recherchent souvent simplement une réponse catégorique et parce que les flux de travail automatisés sont susceptibles d’entraîner des volumes de décisions bien plus importants, et donc une consommation de jetons, que les flux de travail à médiation humaine.
TypeSafe AI, une startup fondée par Diogo Almeida, ancien chercheur d’OpenAI et co-inventeur du RLHF, pense pouvoir aider avec un nouveau LLM, Jev, qui génère des réponses qui peuvent être consommées directement par des applications logicielles ou d’autres modèles d’IA dans le cadre d’un flux de travail automatisé : quel outil appeler, quelle action entreprendre ensuite, si une demande doit être approuvée ou quand une tâche doit être confiée à un autre modèle.
Jev prend l’état actuel d’une tâche ou d’un flux de travail en entrée et renvoie une décision définie, ainsi que la probabilité de cette décision, dans une réponse concise plutôt que de générer une longue séquence de jetons pour exprimer une réponse en langage naturel, a écrit Almeida dans un article de blog.
