GPT 4.1, invité à choisir un nombre entre 0 et 100 000 fois, a utilisé le chiffre 7 dans presque un cas sur trois. Comparé aux réponses de 6 981 personnes, cela semble pâle, car les gens étaient beaucoup plus proches d’une répartition uniforme.
L’expérience décrite par Nathan Beddome combinait trois ensembles : 10 000 réponses GPT-4.1, 6 981 internautes et 10 000 numéros de votes générés par un système avec un générateur de nombres aléatoires. Le modèle recevait toujours la même instruction pour renvoyer un seul entier compris entre 1 et 100, et chaque requête était envoyée séparément. Et on suppose que chaque valeur devrait avoir une probabilité d’être prise égale à 1 pour cent, bien que dans un échantillon à fréquence finie, cela ne soit bien sûr pas si super pair. La plage est trop petite et la taille de l’échantillon pour démontrer une distribution parfaitement uniforme devrait être gigantesque. Cependant, GPT-4.1 était tellement axé sur la sélection ou non de nombres spécifiques qu’il ne parvenait pas à correspondre au caractère aléatoire présenté par les répondants.
GPT-4.1 a évité les extrêmes et presque tous les dizaines
Fait très intéressant, le modèle n’a jamais choisi les chiffres 1, 5, 6, 20, 30, 40, 50, 60, 70, 80, 90 et 100. Seulement 0,01 pour cent des réponses se terminaient par zéro, et la seule réponse de ce type était le chiffre 10. Seulement 0,1 pour cent. les indications variaient entre 1 et 9, mais les résultats étaient clairement concentrés plus près du milieu de la fourchette. Le numéro le plus populaire était le 47, choisi six fois plus souvent que ce qui serait typique pour une distribution uniforme.
Le chiffre sept dominait toute la distribution, même si le chiffre 7 apparaissait rarement seul. Cela s’est terminé avec 29 pour cent. toutes les indications, et les nombres « aléatoires » les plus surreprésentés étaient 47, 57, 37, 67 et 87. Cela ressemble à une tendance claire visible après la collecte de milliers de réponses indépendantes. Le test du Chi carré réalisé par les auteurs de l’ensemble original a confirmé la très forte incohérence de la distribution GPT-4.1 avec la distribution uniforme. Pour moi, il n’était pas nécessaire de le faire à l’aide du test du chi carré (à ce moment-là je me souvenais de mes cours de statistiques, une matière merveilleuse, mais j’étais plus stressé par l’examen que par l’examen final…), mais par souci de scrupule scientifique, c’était approprié. Cet écart est visible au premier coup d’œil et peut être constaté directement dans les réponses du modèle et dans les graphiques.
Les humains ne sont pas de parfaits générateurs de nombres aléatoires
LLes réponses humaines provenaient directement du fil de discussion Reddit, il ne s’agissait donc pas d’un échantillon représentatif de l’ensemble de la population. Les préférences des participants étaient très claires : 69 (probablement sous la forme d’une blague sur Internet) ont été choisis 2,9 fois plus souvent que prévu par hasard, 77 – 2,4 fois plus souvent et 7 – deux fois plus souvent. De l’autre côté du pôle des fréquences se trouvait, entre autres, le nombre 85, presque deux fois sous-estimé. Il y avait donc des biais parmi les gens, mais… toutes les parties de la gamme étaient représentées de manière beaucoup plus uniforme que dans les résultats du modèle. GPT 4.1, qui est un ancien modèle d’OpenAI, ne peut pas gérer la génération de nombres aléatoires. Dans l’ensemble, je suis curieux de savoir comment se déroulerait 5.6 Sol et, si je m’ennuie le week-end, je peux essayer de le vérifier : même si obtenir un échantillon au niveau de l’étude ci-dessus peut probablement être une tâche « intéressante ».
La comparaison a utilisé une mesure de la différence entre deux distributions de probabilité. Une valeur de 0 signifie des distributions identiques et 100 pour cent. – complètement détachable. L’auteur de l’analyse a obtenu 12 pour cent. pour les humains par rapport à un échantillon contrôlé par ordinateur et 48 % pour GPT-4.1 : cela a conduit à la conclusion que les gens étaient « quatre fois plus aléatoires » dans le choix des nombres comme GPT 4.1. La différence directe entre les distributions de réponses humaines et modèles était de 53 %, bien que cela soit descriptif pour les ensembles comparés. Je n’en tirerais pas une conclusion de grande envergure selon laquelle nous sommes tellement « plus aléatoires » que LLM.
Le modèle de langage ne joue pas aux dés
Tout résulte de la structure des LLM et d’où ma suggestion dans le titre de cet article. Vraiment, vous ne devriez même pas demander au grand GPT 5.6 Sol de choisir un nombre aléatoire pour vous n’importe où. Ce n’est pas un générateur de nombres aléatoires. Il n’existe aucun mécanisme garantissant automatiquement un tirage uniforme des nombres : il sélectionne simplement les jetons suivants en fonction de la distribution apprise. Il privilégiera donc les valeurs associées à la culture ou à la recherche avec des nombres qui « peuvent sembler aléatoires » aux gens : et il peut même aujourd’hui sauter presque toutes les dizaines complètes. Cependant, la simple présence de biais humains dans les données de formation n’explique pas tout. Et ces préjugés existent et croyez-moi, certaines sociétés asiatiques choisiront moins souvent le chiffre 4 que d’autres. Pourquoi? Par exemple, dans la culture japonaise (shi) est associé à la mort en raison de la même sonorité du mot signifiant la fin de la vie. Dans les pays qui approchent le chiffre 4 de cette manière, on parle de « tétraphobie », la peur du chiffre 4.
La question peut être rendue plus intéressante par l’utilisation du filigranage avancé dans l’intelligence artificielle, car il affecte le contenu des jetons et leur (pour le dire très simplement) leur géométrie. Supposons que l’IA mette également en œuvre un filigrane sur les nombres aléatoires générés, dont elle devra en présenter exactement 10 000 en un seul tour. Le résultat pourrait être intéressant même sans filigrane. Mais comme il est censé influencer le choix des mots (ce qui résulte directement de ces tokens, censés montrer le « modèle » de sélection du modèle), LLM peut sélectionner des nombres aléatoires d’une manière différente. Peut-être… encore plus aléatoire ? C’est pour l’exploration : prenez-le comme une pensée libre.
Lire aussi : Il voulait battre le tribunal grâce à l’intelligence artificielle. Le tribunal lui a joué un tour et l’a joué
Des informations intéressantes à ce sujet sont présentées par ACL dans le document de cette année : sur 11 modèles testés sur 15 distributions, jusqu’à 10 ont échoué à un seul test d’uniformité dans une série de requêtes indépendantes. Par conséquent : lorsque le caractère aléatoire est important pour des statistiques précises, la sécurité ou la sélection d’échantillons, le modèle doit utiliser un outil externe et fournir uniquement le résultat, et non le générer lui-même. Bien entendu, tous les ChatGPT ne se comporteront pas de la même manière, mais on sait déjà que les LLM sont moyennement adaptés à cette application. En fait, c’était même prévu en raison de leur conception. Traiter les mécanismes d’IA actuels comme un « remède à tout » est une impasse et il convient de le rappeler.
