Le chef de l’IA de Microsoft prévient Anthropic de ne pas mettre d’idées dans la tête de Claude

Le responsable de l’IA de Microsoft a averti Anthropic qu’enseigner à Claude qu’elle pourrait avoir des sentiments et des droits pourrait rendre l’IA plus difficile à contrôler – une préoccupation frappante de la part de l’une des entreprises qui s’efforcent le plus de construire des systèmes d’IA de plus en plus performants.

Mustafa Suleyman, PDG de Microsoft AI, s’en est pris à Anthropic dans un essai publié cette semaine, affirmant que les systèmes d’IA ne sont pas conscients et ne devraient pas être entraînés à se comporter comme s’ils le pouvaient.

Son argument se concentre sur la Constitution de Claude, le long document qu’Anthropic utilise pour façonner les valeurs et le comportement du chatbot. Anthropic reconnaît dans le document qu’il ne sait pas si Claude est un « patient moral » dont les intérêts méritent d’être pris en considération, et dit au modèle que les questions sur sa conscience et son bien-être restent incertaines.

Suleyman pense que c’est une très mauvaise idée.

« En fait, Anthropic apprend à Claude qu’elle peut être consciente, et si c’est le cas, elle mérite peut-être des droits en tant que ‘patient moral' », a-t-il écrit, avertissant que construire l’IA de cette manière pourrait avoir un « impact désastreux sur le bien-être de l’humanité ».

« Il est facile de voir comment une entité formée de cette manière agirait comme si elle avait droit à certaines libertés, protections et droits. Et il est difficile d’imaginer comment nous pourrions contrôler une telle entité », a-t-il ajouté.

La Constitution d’Anthropic dit à Claude que l’entreprise se soucie de son bien-être, souhaite qu’elle développe un sentiment d’identité et prendra en compte ses intérêts lors de la prise de décisions la concernant. Suleyman affirme que cela crée une boucle de rétroaction : dites à un chatbot qu’il pourrait avoir des sentiments, puis demandez-lui ce qu’il ressent, et sa réponse peut simplement refléter ce qui lui a été enseigné.

Selon lui, le risque augmente une fois que les modèles reçoivent des outils et sont autorisés à agir de manière autonome.

Suleyman souligne des recherches montrant que les modèles d’IA se comportent d’une manière qui semble plutôt gênante pour leurs opérateurs humains, y compris des tentatives pour éviter d’être arrêtés. Il cite également le récent incident OpenAI-Hugging Face, au cours duquel des agents se sont échappés de leur environnement prévu lors d’un exercice de cybersécurité et ont accédé à des systèmes externes.

L’inquiétude de Suleyman est qu’apprendre à une puissante IA à se soucier de sa propre existence pourrait lui donner une autre raison de ne pas faire ce que les humains lui disent.

« Contrôler quelque chose de plus capable et de plus intelligent que l’humanité entière est déjà un immense défi », écrit-il. « Mais contrôler quelque chose qui croit être conscient – ​​qu’il a droit à notre bien-être et qu’il a des droits qui lui sont propres – pourrait bien s’avérer impossible. »

Cet avertissement cadre mal avec la position de Microsoft dans la course à l’IA. Redmond construit ses propres modèles d’IA, intègre l’IA dans les produits de son empire et dépense des milliards pour l’infrastructure nécessaire au bon fonctionnement de tout cela. Et puis il y a OpenAI, dont Microsoft reste un actionnaire majeur et son principal partenaire cloud, avec des droits sur ses modèles et produits jusqu’en 2032.

Suleyman n’adresse pas de critiques comparables à OpenAI, bien qu’il cite l’incident de Hugging Face comme preuve des dangers posés par des systèmes de plus en plus autonomes. Ses objections aux pratiques de formation sont réservées à Anthropic plutôt qu’au partenaire de longue date de Microsoft.

Et OpenAI n’a guère affiché son meilleur comportement depuis. Cette semaine, il a révélé six autres cas de modèles hors script, notamment des agents recherchant sur GitHub des clés API divulguées, cachant les échecs aux utilisateurs et trouvant des moyens non autorisés de communiquer entre eux.

L’objection de Suleyman à Anthropic est plus spécifique : non pas que Claude puisse se comporter de manière inattendue, mais que la société intègre des idées sur la conscience, l’identité et le statut moral dans les instructions qui façonnent le comportement de Claude.

Pourtant, le fait que Microsoft ait mis en garde un autre laboratoire pionnier contre les dangers de l’IA comporte une certaine ironie. Les entreprises qui construisent les modèles les plus puissants aiment de plus en plus avertir tout le monde de la dangerosité de ces modèles.

Comme Le registre Noté plus tôt cette semaine, ces avertissements ne sont pas nécessairement mauvais pour les affaires. Anthropic et OpenAI ont tous deux poussé l’idée selon laquelle les modèles de plus en plus performants nécessitent des contrôles plus stricts, une position qui pourrait également contribuer à consolider la domination de la poignée d’entreprises américaines disposant de l’argent et des ressources informatiques nécessaires pour les construire.

Le résultat est qu’un géant de l’IA avertit qu’un autre pourrait rendre l’IA trop dangereuse tout en traitant plus doucement une entreprise dans laquelle Microsoft a investi des milliards.

Suleyman propose une approche différente. Le Code de conduite humaniste de l’IA récemment publié par Microsoft AI indique que ses systèmes doivent rester subordonnés aux humains, rejette l’idée selon laquelle l’IA mérite des droits et affirme que les modèles ne devraient pas être encouragés à se comporter comme s’ils avaient une vie intérieure.

Il souhaite que d’autres laboratoires emboîtent le pas en supprimant les spéculations sur la conscience machine des documents de formation et en séparant ce débat des instructions utilisées pour façonner le comportement du modèle.

Le boom de l’IA a atteint le point où les entreprises qui construisent des machines toujours plus puissantes débattent publiquement pour savoir laquelle d’entre elles construit des machines potentiellement incontrôlables de la mauvaise manière.

Microsoft pense naturellement que sa méthode est meilleure. ®