Les modèles de diffusion deviennent suffisamment sophistiqués pour pouvoir reproduire une image même s’ils n’ont pas accès à l’original.
Dans une série de scénarios « et si », des chercheurs associés au laboratoire d’informatique et d’intelligence artificielle (CSAIL) du MIT ont échangé différents ensembles de données de formation pour tester l’impact sur les sorties d’images lorsque les données d’image originales étaient complètement supprimées.
Il s’avère qu’à une échelle suffisante, rien n’a changé.
Les chercheurs appellent ce phénomène « dégradation de l’attribution » : plus un modèle de diffusion est formé de données et plus il devient volumineux, moins les entrées individuelles sont importantes.
« Si vous supprimez une donnée et que la sortie du modèle ne change pas, alors cette donnée n’a pas affecté la sortie », a expliqué Zheng Dai, auteur principal du travail, dans un article de blog du MIT.
Ces résultats pourraient avoir des conséquences importantes lorsqu’il s’agira de résoudre les préoccupations croissantes concernant la propriété intellectuelle (PI) et la violation du droit d’auteur.
Les modèles peuvent recréer des images même s’ils ne les ont jamais « vues »
Les modèles de diffusion générative modernes reproduisent essentiellement des modèles statistiques dans de grands ensembles de données de formation pour créer des reproductions réalistes. Ces outils puissants ont obtenu des « résultats remarquables » dans un large éventail d’applications, ont noté les chercheurs, notamment la génération d’images, de vidéos et d’audio.
Mais ils sont de plus en plus surveillés par les créatifs, les entreprises et les décideurs politiques, qui souhaitent tous trouver un moyen d’attribuer la responsabilité des résultats générés. Les modèles sont au centre des procès, des accords de licence et des réglementations proposées dans le monde entier.
Par exemple, Stability AI (fabricant de Stable Diffusion) et Midjourney sont impliqués dans un recours collectif en cours intenté par plusieurs artistes devant un tribunal fédéral de Californie. Les demandeurs soutiennent que les modèles populaires de création d’images, de vidéos et d’audio suppriment des milliards de leurs images protégées par le droit d’auteur sans leur consentement.
Getty Images a également intenté des poursuites contre Stability AI, mais elles ont été rejetées par la Haute Cour de justice des tribunaux des affaires et des biens immobiliers d’Angleterre et du Pays de Galles, bien que Getty ait remporté en partie les poursuites en matière de marque parce que certaines images générées par l’IA ressemblaient beaucoup à son travail.
L’attribuabilité, ont noté les chercheurs du MIT CSAIL, améliorerait la compréhension du « désapprentissage automatique », de l’empoisonnement des données, de l’interopérabilité des modèles, de l’équité et de la confidentialité, tout en abordant les questions éthiques, juridiques, financières et réglementaires.
« Développer une méthode pour attribuer les résultats générés à des données de formation influentes ferait progresser considérablement notre compréhension et notre capacité à réguler ces modèles », ont écrit les chercheurs.
Dans leurs expériences, ils ont utilisé l’ablation, qui consiste essentiellement à tester ce qui se passe lorsque certains éléments sont supprimés en examinant ce qu’un modèle aurait pu produire s’il n’avait jamais « vu » une image particulière.
En règle générale, l’ablation est difficile car les modèles doivent être recyclés une fois les données extraites. Mais les chercheurs du MIT CSAIL ont appliqué la méthode à une architecture « d’ensemble de diffusion » composée de nombreux composants différents formés sur différents éléments de données. Ces composants pourraient être échangés pour déterminer l’impact éventuel de chacun d’eux.
« Notre analyse est basée sur l’observation de changements dans le comportement du modèle, ou de son absence, en cas d’omission d’une partie de l’ensemble de formation », ont expliqué les chercheurs.
Pour ce faire, ils ont formé 24 ensembles sur des ensembles de données contenant entre 256 et plus de 160 000 images. Celles-ci ont été extraites de sept ensembles de données d’images accessibles au public, notamment ArtBench (œuvres d’art), CIFAR-10 (images colorées génériques), Fashion-MNIST (vêtements et accessoires), CelebA (visages de célébrités) et MetFaces (visages humains).
Dans un exemple, ils ont présenté l’image d’une célèbre peinture à l’huile générée par un modèle formé sur des œuvres d’art du domaine public provenant de 744 artistes. Il a été montré côte à côte avec des centaines d’images apparemment identiques générées par le modèle, même lorsque des artistes spécifiques avaient été supprimés des données de formation.
L’original a été réinventé dans toutes les variantes possibles, et les chercheurs ont quantifié l’attribuabilité en mesurant le changement le plus important qu’ils pouvaient induire en omettant les données d’entraînement. Le rayon est devenu plus petit à mesure que les ensembles de données devenaient plus grands, ce qui reste vrai pour différentes mesures, y compris pixel par pixel ou signification sémantique.
En d’autres termes, des œuvres d’art uniques d’artistes spécifiques ou des photographies de certaines personnes pourraient être entièrement supprimées des ensembles de données, et le modèle pourrait toujours reproduire cette image ou ce style. Essentiellement, les connexions tangibles sont perdues et la liaison à des points de données spécifiques responsables des échantillons générés est « pratiquement impossible », voire peut même disparaître, ont expliqué les chercheurs.
Leur méthode est nouvelle, ont-ils déclaré, car les travaux antérieurs se sont concentrés sur la suppression de larges pans de données plutôt que sur le ciblage de morceaux plus petits, ce qu’ils ont appelé « l’attribution de style laisser-un-dehors ».
L’impact sur l’imputabilité
Parce que l’expérience montre que, comme l’a dit Dai, cela « n’a pas beaucoup de sens » d’attribuer un résultat donné à une donnée donnée, les créatifs et autres pourraient ne pas être en mesure de fournir une piste d’audit remontant à leur travail d’origine.
Le co-auteur David Gifford, professeur au MIT et chercheur principal du CSAIL, a déclaré que les résultats ont une incidence directe sur les questions juridiques quant à savoir si les résultats du modèle sont réellement des œuvres dérivées.
« Une façon d’envisager cela est que ces modèles sont créatifs », a-t-il déclaré. « Ils ne copient pas simplement ce dont ils se nourrissent, mais créent de tout nouveaux produits. »
Ainsi, si les résultats ne peuvent pas être corrélés à des éléments individuels de données de formation, des questions peuvent être soulevées quant à l’utilisation équitable et à la question de savoir si, en fait, les résultats générés par le modèle sont eux-mêmes protégés par le droit d’auteur en tant que « nouvelles œuvres », a déclaré Gifford.
Cela pourrait également modifier le débat sur la manière dont les créateurs originaux sont rémunérés lorsque ce qui sort d’un modèle semble être une recréation directe de leur travail, mais ne peut être rattaché à quoi que ce soit sur Internet.
En fin de compte, produire des résultats dont l’inattribution est garantie est une « obligation pour l’industrie, plutôt qu’une lacune », a-t-il déclaré. Les constructeurs d’IA « doivent réviser leurs modèles pour tirer parti des avancées de ces travaux, afin de pouvoir montrer qu’ils ne créent pas de dérivés de personnes ou d’objets individuels ».
Cet article a été initialement publié sur Computerworld.
