Le texte préparé par Whisper contient non seulement des inventions, mais aussi parfois une rhétorique raciste et des discours de haine. Il s'agit d'un phénomène très dangereux car Whisper est utilisé par de nombreuses industries pour effectuer de nombreuses tâches importantes, telles que des traductions, des transcriptions d'interviews et la création de sous-titres pour des films. Il est particulièrement préoccupant que cet outil soit utilisé par les services de santé pour transcrire les consultations des patients avec les médecins, ce qui constitue une menace directe pour la santé et la vie des patients desservis.
Par conséquent, les scientifiques ont mené une série d’études pour déterminer pourquoi Whisper commet des erreurs aussi cardinales. Une étude récente a révélé que l’outil était entré dans un état d’hallucination près de 200 fois sur 13 000 transcriptions. Il ne s’agit pas d’erreurs fortuites, mais d’une erreur grave qui s’est probablement glissée dans les algorithmes exécutant l’outil. Mais ces soupçons doivent être prouvés, et ce n’est pas si simple.
L'affaire est si grave que des experts, ainsi que des employés d'OpenAI, ont envoyé une pétition à la Maison Blanche, dans laquelle ils insistent sur le fait que la question des hallucinations des outils d'IA devrait être prise en compte lors de l'établissement de réglementations régissant l'utilisation de ce type d'outils d'IA. outils.
