ROI de l’IA au-delà des projets pilotes : mesurer les résultats en production

Les projets pilotes d’IA générative semblent souvent réussis. Les équipes recueillent des commentaires positifs, l’outil est utilisé régulièrement et l’organisation s’attend à une évolution rapide. Les discussions sur le retour sur investissement commencent par un gain de temps et se terminent par une demande de cas d’utilisation supplémentaires. Cette tendance conduit à la déception lorsque les coûts de production et les réalités de l’adoption apparaissent.

Je traite le retour sur investissement de l’IA générative comme un problème de mesure avec des limites claires. Le retour sur investissement est la valeur nette générée par un flux de travail sur une période définie, avec prise en compte des coûts complets du cycle de vie, dans le cadre des contrôles de risque requis par l’organisation.

Un workflow est l’unité de valeur. Un modèle est un composant. Les flux de travail lient les efforts aux résultats qui comptent pour l’entreprise.

Définir le flux de travail et le résultat

Un flux de travail est une séquence répétable d’étapes qui produit un résultat commercial. Les exemples incluent la résolution du support client, le traitement des réclamations, l’intégration des fournisseurs, la gestion des modifications techniques et le triage de la sécurité. Un flux de travail a des propriétaires, des entrées, des sorties et des performances mesurables.

Les mesures de résultats varient selon le domaine. Je choisis un petit ensemble lié à la livraison et à la qualité. En support, cela peut être le moment de la première réponse et du taux de résolution. En ingénierie, il peut s’agir du temps de cycle et du taux d’échappement des défauts. En conformité, il peut s’agir d’examiner le débit et le taux d’exception.

J’enregistre une référence avant d’introduire l’IA générative. La référence doit refléter des conditions normales et une saisonnalité normale. Une référence crée de la crédibilité lorsque les résultats semblent bons et lorsque les résultats semblent stables.

Construisez l’équation du retour sur investissement avec les coûts complets

J’utilise une équation simple pour que la discussion reste concrète.

ROI = (Value_of_outcomes – Total_costs) / Total_costs

Value_of_outcomes = (time_saved *load_cost) + revenue_uplift + loss_avoidance
Total_costs = build_costs + run_costs + gouvernance_costs + change_management_costs

Les coûts de construction comprennent l’ingénierie, le travail sur la plateforme, l’évaluation, les examens de sécurité et l’intégration avec les systèmes d’enregistrement. Les coûts d’exécution comprennent l’inférence, la récupération, le stockage, la surveillance, la réponse aux incidents et les coûts des fournisseurs. Les coûts de gouvernance comprennent les audits, les exercices de l’équipe rouge et la maintenance des politiques. Les coûts de gestion du changement incluent la formation, la refonte du flux de travail et l’assistance lors de l’adoption.

Les équipes sous-estiment très tôt les coûts de fonctionnement. Ils sous-estiment également les efforts nécessaires pour maintenir la stabilité d’un système à mesure que les modèles et les sources de données évoluent.

Utilisez une pile de métriques qui relie l’activité aux résultats

Je suit quatre couches de métriques. Chaque couche répond à une question différente.

• Les mesures d’activité suivent l’utilisation. Ils répondent si l’outil est utilisé par le public visé.
• Les mesures de qualité permettent de suivre l’exactitude et la fiabilité. Ils répondent si le système produit des résultats acceptables dans le cadre de la politique.
• Les métriques de workflow suivent les performances opérationnelles. Ils répondent si le flux de travail s’améliore de manière mesurable.
• Les mesures commerciales suivent l’impact économique. Ils répondent si le changement déplace les coûts, les revenus ou les risques dans une direction significative.

Un programme sain relie ces couches grâce à l’instrumentation. La croissance de l’activité sans amélioration du flux de travail indique des frictions d’adoption ou une faible intégration. Régressions de qualité avec des lacunes dans l’évaluation du signal d’activité stable ou une dérive dans la récupération.

Résultats des instruments là où le travail est effectué

La mesure des résultats fonctionne lorsqu’elle se situe dans les systèmes où le flux de travail s’exécute. Dans le support client, instrumenter le système de ticketing. En vente, instrumentez le CRM. En ingénierie, instrumenter le repo et le pipeline CI. Ces systèmes fournissent des horodatages, des changements de statut et des dispositions finales.

J’ajoute également une capture légère des commentaires dans l’interface utilisateur. Je demande un court code motif lorsqu’un utilisateur rejette une réponse. Les codes de motif entraînent la priorisation et réduisent les incertitudes lors des itérations.

Choisissez des cas d’utilisation avec un levier opérationnel

Certains cas d’usage produisent des gains durables. D’autres produisent une épargne isolée qui s’estompe. Je recherche un levier opérationnel.

• Des flux de travail à volume élevé avec une structure cohérente et des résultats clairs.
• Workflows avec recherche contextuelle lourde, où la récupération remplace la recherche manuelle.
• Des flux de travail avec des transferts coûteux, dans lesquels l’assistant réduit les retouches grâce à une meilleure qualité au premier passage.
• Des flux de travail avec des politiques et des playbooks documentés qui peuvent être récupérés et cités.
• Des flux de travail avec un chemin clair vers l’automatisation grâce à des outils et des approbations.

Ces caractéristiques permettent des mesures reproductibles. Ils soutiennent également la gouvernance parce que les politiques et les données probantes existent déjà.

Gérer l’adoption dans le cadre du retour sur investissement

L’adoption affecte la réalisation de la valeur. Les utilisateurs adoptent des outils adaptés à leur flux existant. Je conçois l’adoption comme une préoccupation de livraison. L’assistant doit apparaître là où le travail se déroule, avec un minimum de changements de contexte. Il doit préserver le contrôle de l’utilisateur sur les décisions finales.

La formation est importante. Les conseils spécifiques au rôle sont plus importants. Je propose de courts playbooks par rôle avec des exemples qui correspondent à leurs tâches quotidiennes. Je garde l’interface prévisible. Je garde les sorties des outils traçables.

Exécutez des déploiements contrôlés et comparez les cohortes

Une approche de cohorte renforce les revendications de retour sur investissement. Je compare les équipes ayant accès à l’outil à des équipes similaires sans accès sur la même période. Je contrôle les différences de charge de travail lorsque cela est possible. Je surveille les dérives d’utilisation, de qualité et de résultats.

Cette approche révèle où se concentre la valeur. Il révèle également où l’outil nécessite une meilleure intégration ou une meilleure récupération.

Modes d’échec courants du retour sur investissement

Je vois les mêmes problèmes lorsque le retour sur investissement stagne.

• Les pilotes ont mesuré les gains de temps autodéclarés et aucune référence.
• Valorisez les réclamations basées uniquement sur l’utilisation, sans suivi des résultats du flux de travail.
• Exécutez les coûts traités comme une préoccupation de plate-forme sans propriétaire de budget par workflow.
• Des lacunes d’évaluation qui permettent une dérive de la qualité, ce qui réduit la confiance et l’utilisation.
• Intégration du workflow effectuée après coup, ce qui augmente l’effort de l’utilisateur.

Un plan de 90 jours qui produit des signaux de retour sur investissement crédibles

J’utilise un plan court pour les équipes dépassant les pilotes.

• Semaines 1 à 2 : choisissez un flux de travail avec un propriétaire clair, basez les mesures de résultats et définissez un budget de coûts par transaction.
• Semaines 3 à 5 : instrumentez les systèmes de flux de travail, créez une suite d’évaluation et expédiez une petite version de cohorte.
• Semaines 6 à 9 : effectuez une itération hebdomadaire sur la qualité de la récupération et les raisons d’échec, élargissez la cohorte et appliquez le routage des coûts.
• Semaines 10 à 13 : Publiez les résultats avec les références, les comparaisons de cohortes et la comptabilité analytique complète. Décidez de l’échelle, de la pause ou de la refonte.

Liste de contrôle minimale viable

Je recherche sept éléments avant qu’une équipe revendique un retour sur investissement en production.

1. Propriétaire du workflow et mesures de résultats mesurables avec une base de référence documentée.
2. Instrumentation dans le système d’enregistrement pour les horodatages, les dispositions et le débit.
3. Budget de coûts avec routage et garde-corps dans le chemin de la demande.
4. Suite d’évaluation qui suit les régressions en matière de qualité et de sécurité.
5. Plan de déploiement de cohorte avec données de comparaison.
6. Plan d’adoption avec des conseils spécifiques au rôle et des codes de motif de commentaires.
7. Plan opérationnel pour les coûts d’exécution, la réponse aux incidents et les mises à jour de la gouvernance.

Un retour sur investissement clair

Le retour sur investissement devient clair lorsque les équipes mesurent les flux de travail et exploitent le système dans le cadre d’un budget. Cette approche maintient les décisions d’investissement sur des bases solides. Cela permet également de maintenir les attentes alignées sur les besoins de la production.

—

Forum des nouvelles technologies offre un lieu aux leaders technologiques, y compris les fournisseurs et autres contributeurs externes, pour explorer et discuter des technologies d’entreprise émergentes avec une profondeur et une ampleur sans précédent. La sélection est subjective, basée sur notre choix des technologies que nous considérons comme importantes et du plus grand intérêt pour les lecteurs d’InfoWorld. InfoWorld n’accepte pas de matériel marketing pour la publication et se réserve le droit de modifier tout le contenu contribué. Envoyer tout demandes de renseignements à doug_dineley@foundryco.com.