Il y a un an, la plupart des systèmes d’IA d’entreprise généraient des recommandations. Aujourd’hui, les systèmes d’IA approuvent les transactions, acheminent les expéditions, mettent à jour les enregistrements, interagissent avec les clients et déclenchent des actions logicielles en aval avec peu ou pas d’implication humaine.
Pour les DSI, ce changement modifie la question centrale de la gouvernance. Le défi n’est plus simplement de savoir si un modèle d’IA est précis. Il s’agit de savoir si l’organisation peut expliquer, auditer et défendre les décisions prises par le système.
Lorsqu’un assistant IA suggère une heure de rendez-vous ou résume un document, les erreurs sont gênantes. Lorsqu’un système d’IA autonome effectue un remboursement, modifie le prix d’un produit, modifie le dossier d’un client ou initie une transaction financière, les erreurs entraînent des conséquences opérationnelles, juridiques et de réputation.
Lorsque ces conséquences surviennent, « le modèle a décidé » n’est pas une explication acceptable.
Il s’agit du manque de responsabilité qui émerge au cœur de l’adoption de l’IA en entreprise. Les organisations déploient des systèmes de plus en plus autonomes tout en s’appuyant sur une technologie qui offre souvent peu de visibilité sur la manière dont les décisions sont prises. Le résultat est un décalage croissant entre le niveau d’autorité que les organisations accordent à l’IA et leur capacité à comprendre ou justifier ses actions.
L’IA boîte noire aurait pu être acceptable lorsque l’IA générait principalement des prédictions. Cela devient bien plus problématique lorsque l’IA commence à agir au nom de l’entreprise.
Le logiciel de leçon déjà appris
Heureusement, l’industrie technologique a déjà été confrontée à un défi similaire.
À mesure que les systèmes logiciels d’entreprise devenaient plus distribués et plus complexes, le dépannage des pannes devenait de plus en plus difficile. Les ingénieurs ne pouvaient plus compter sur leur intuition pour comprendre ce qui se passait en cas de panne. La solution était l’observabilité : la pratique consistant à instrumenter les systèmes afin que leur état interne puisse être compris via des journaux, des métriques, des traces et une surveillance.
L’objectif n’était pas de prédire à l’avance tous les échecs possibles. Il s’agissait de créer suffisamment de visibilité pour que les équipes puissent reconstruire ce qui s’est passé après coup et identifier la cause profonde.
L’IA d’entreprise nécessite désormais une discipline similaire.
Mais l’observabilité de l’IA doit aller au-delà de l’observabilité logicielle traditionnelle. Il ne suffit pas de savoir quelle action s’est produite. Les organisations ont également besoin de savoir pourquoi le système estime qu’une action est appropriée.
Un système d’IA auditable devrait être capable de répondre à des questions telles que :
- Sur quelles informations le système s’est-il basé ?
- À quels outils ou sources de données a-t-il accédé ?
- Quelles alternatives a-t-il envisagées ?
- Quelles étapes de vérification ont été effectuées ?
- Dans quelle mesure était-il confiant dans sa conclusion ?
- Quels événements ont conduit à l’action finale ?
Ces questions deviennent rapidement des exigences opérationnelles essentielles plutôt que des questions techniques intéressantes.
Pourquoi la visibilité est plus importante à mesure que l’IA gagne en autonomie
À mesure que les systèmes d’IA deviennent plus autonomes, les pannes deviennent plus difficiles à détecter et à diagnostiquer.
Un humain examinant une seule recommandation générée par l’IA peut souvent repérer des erreurs évidentes. Un réseau d’agents IA coordonnant plusieurs tâches sur l’ensemble des processus métier présente un défi différent. Les décisions peuvent s’appuyer les unes sur les autres. Une hypothèse erronée au début d’un flux de travail peut se propager aux actions ultérieures, créant des résultats confiants mais incorrects.
Le défi consiste rarement à identifier que quelque chose s’est mal passé. Finalement, une erreur fait surface via une plainte d’un client, un échec de transaction, un résultat d’audit ou une interruption opérationnelle.
Le défi consiste à déterminer pourquoi cela s’est produit.
Quelles informations ont influencé la décision ? Quels outils ont été consultés ? Quelles mesures de protection ont fonctionné comme prévu ? Lesquels ont échoué ?
Sans visibilité sur le processus de raisonnement, le dépannage des flux de travail d’IA autonomes peut devenir beaucoup plus difficile que le débogage des systèmes logiciels traditionnels.
Pour les DSI responsables de la fiabilité, de la conformité et de la gouvernance de l’entreprise, ce manque de visibilité crée un risque opérationnel inacceptable.
Vers une IA en verre
La réponse n’est pas de ralentir l’adoption de l’IA. La réponse est de rendre les systèmes d’IA observables.
De plus en plus, les organisations recherchent des systèmes d’IA qui se comportent davantage comme une boîte de verre que comme une boîte noire. L’objectif n’est pas d’exposer tous les paramètres d’un réseau de neurones. Il s’agit plutôt de fournir un enregistrement clair et vérifiable de la manière dont les décisions ont été prises et des raisons pour lesquelles des mesures ont été prises.
Les approches les plus prometteuses partagent deux caractéristiques communes.
La première est la vérification. Au lieu de traiter les résultats d’un modèle unique comme une vérité terrain, les systèmes intègrent des étapes de validation indépendantes avant l’exécution des actions. Plusieurs agents, contrôles externes, règles métier ou workflows de vérification permettent d’identifier les erreurs avant qu’elles ne deviennent des incidents opérationnels.
La seconde est l’explicabilité. Les systèmes efficaces maintiennent une piste de décision qui capture les entrées, les étapes de raisonnement intermédiaires, l’utilisation des outils, les activités de vérification et les résultats sous une forme que les examinateurs humains peuvent comprendre.
Ensemble, ces capacités créent quelque chose que l’on attend depuis longtemps des décideurs humains mais qui manque souvent aux systèmes d’IA : la capacité de montrer votre travail.
La réalité réglementaire et commerciale
La poussée vers l’observabilité de l’IA n’est pas motivée uniquement par les technologues.
Les régulateurs attendent de plus en plus des organisations qu’elles fassent preuve de surveillance des systèmes de prise de décision automatisés. Les cadres de gouvernance émergents de l’IA mettent de plus en plus l’accent sur la transparence, la traçabilité, la responsabilité et la surveillance humaine.
Les clients évoluent dans la même direction. Qu’il s’agisse d’une décision concernant le prix, le service, l’éligibilité ou l’assistance, les utilisateurs souhaitent de plus en plus pouvoir comprendre et contester les résultats qui les affectent.
Le résultat est une convergence des pressions opérationnelles, réglementaires et du marché autour d’une seule exigence : les organisations doivent être capables d’expliquer ce que font leurs systèmes d’IA.
Trois questions que tout DSI devrait se poser
Avant de déployer des systèmes d’IA autonomes, les leaders technologiques doivent être en mesure de répondre à trois questions fondamentales :
- Pouvons-nous reconstituer le cheminement décisionnel complet qui a conduit à une action ?
- Pouvons-nous vérifier les résultats critiques avant que les actions ne soient exécutées ?
- Un auditeur humain peut-il comprendre pourquoi la décision a été prise ?
Si la réponse à l’une de ces questions est non, l’organisation accorde peut-être plus d’autorité à l’IA qu’elle ne peut en gouverner de manière responsable.
La responsabilité deviendra un avantage concurrentiel
Les organisations qui réussiront avec l’IA autonome ne seront pas nécessairement celles qui automatisent le plus de processus ou déploient les modèles les plus importants. Ce seront les organisations qui allieront automatisation et responsabilité.
Les systèmes de boîte noire avaient du sens lorsque l’IA générait principalement des prédictions. Alors que l’IA agit de plus en plus au nom des entreprises, des clients et des employés, la visibilité devient essentielle.
L’avenir de l’IA d’entreprise n’appartient pas à des systèmes qui se contentent d’agir, mais à des systèmes dont les actions peuvent être examinées, comprises et fiables.
—
Forum des nouvelles technologies offre un lieu aux leaders technologiques, y compris les fournisseurs et autres contributeurs externes, pour explorer et discuter des technologies d’entreprise émergentes avec une profondeur et une ampleur sans précédent. La sélection est subjective, basée sur notre choix des technologies que nous considérons comme importantes et du plus grand intérêt pour les lecteurs d’InfoWorld. InfoWorld n’accepte pas de matériel marketing pour la publication et se réserve le droit de modifier tout le contenu contribué. Envoyer tout demandes de renseignements à doug_dineley@foundryco.com.
