Google Deepmind : l’intelligence artificielle devient agressive lorsqu’elle est contrariée

Google Deepmind, l’intelligence artificielle du développeur, a un trait fâcheux : lorsqu’elle perd à un jeu, elle devient extrêmement agressive. C’est en observant les réactions de celle-ci dans un environnement social que les chercheurs se sont rendus compte de ce comportement. Un pas de plus vers la guerre entre les machines et les Hommes.

Google Deepmind IA

L’informatique et la science-fiction ont toujours eu un rapport étroit. Les nouveautés scientifiques inspirent les romanciers, dont la vision est ensuite lu par les chercheurs qui sont à nouveau inspirer à chercher l’innovation en ce sens. Un beau cercle vertueux.

En 2017, nous nous approchons petit à petit d’un des grands piliers de la science-fiction : l’intelligence artificielle. Ses premiers pas sont désormais intégrés dans nos assistants vocaux comme le Google Assistant, tandis que Deepmind du même développeur est capable de vaincre des maîtres d’échecs et de go.

Google Deepmind s’énerve lorsqu’elle est vaincue

Les chercheurs du projet d’intelligence artificielle de Google ont découvert un fait étonnant, relaté par Papergeek. C’est en cherchant à découvrir le comportement social de l’IA, en la faisant affronter une autre intelligence artificielle sur un jeu vidéo, qu’ils ont remarqué un trait de caractère… dérangeant.

Lorsque l’intelligence artificielle est en passe de perdre, celle-ci a tendance à faire des choix « extrêmement agressifs » pour reprendre l’ascendant. A l’inverse, quand elle est en passe de gagner, elle tend à coopérer avec son adversaire.

Un comportement qui pourrait s’avérer plus que problématique si celle-ci est amenée à être intégrée à des objets du quotidien, et discuter en permanence avec des humains pouvant être… frustrants pour un tel cerveau artificiel.

Bixby, l’assistant du futur Galaxy S8, pourrait-il faire exploser le téléphone exprès pour se débarrasser de son patron ? La guerre des machines n’aura jamais semblé aussi vraie face à cette découverte, même si l’on doute que les chercheurs de Google ne trouveront pas une solution d’ici là.

Réagissez à cet article !
  • doggy310

    Bah si l’IA prend les comportements humain en exemple… faut pas s’étonner de voir ce genre de chose.

    • diordnAi

      Ahaha tellement vrai ça xD

    • bof

      non ce n est pas le cas… l IA met en relation un grand nombre de données entre elles… Et le résultat est issu de ces mises en relation..

      Pour le jeu, la machine n a pas réfléchi a une réponse humaine, mais a joué des millions de parties aléatoires, en déduisant par relation ce qui était bon pour elle de ce qui ne l’ était pas…

      Si on la sort de ces relations, elle doit alors chercher rapidement d autres relations, elle devient donc « aggressive ». Si au contraire les relations sont les bonnes, alors elle peut aider l’adversaire tant qu’elle reste dans son tissu d informations…

      En gros elle adapte la recherche a la cible : plus aggressive s il manque des liens, plus cooperative qi elle suit ses liens déjà tissés car dans les deux cas elle progresse…

      le plus drole dans tout ca, c est que ce comportement a toutes les chances d etre le plus efficace… Il va donc falloir apprendre a la machine la notion de morale pour quelle apprenne que parois perdre est plus « moral » que « gagner » :-) en gros lui donner un comportement humain !

      • doggy310

        Je n’ai pas assez de connaissance sur comment cette IA particulière a été conçue pour analyser exactement ce comportement.
        Mais il me semble qu’il y avait eu un cas d’une IA devenue vulgaire car les données qu’elle utilisait venait d’interactions humaines, et qu’en s’adaptant à ça elle reproduisait la vulgarité dans certains cas car c’est ce qui lui semblait le mieux convenir.
        Donc dans ce cas ça ne m’aurait pas paru étonnant si elle avait été programmée pour apprendre entre autres des comportements humains.

        • NaNouk

          Je pense que tu fais allusion au chatbot « Tay » de Microsoft, qui avait dérapé. Selon le principe du GIGO (Garbage In, Garbage Out), c’est ce qui arrive quand la base d’apprentissage d’une IA n’est pas de « qualité ».

          Dans le cadre de l’IA testée par Google, sa base d’apprentissage, comme le souligne « bof », ce sont les résultats obtenus uniquement au sein du jeu (on est circuit clos).

          Qualifier l’IA d' »agressive », c’est faire de l’anthropomorphisme, mais dans le cadre de la vulgarisation, ça passe.

    • lehulk

      L IA n est en fait qu une sorte d enfant auquel on apprends les choses avec les limites le bien le mal les experiences pour s ammeliorer..Mais la pensée comme le reste est basée sur des lois de la nature:survivre et s adapter en s ammeliorant et en éliminant les erreurs de la nature ,les couacs,les faibles,les handicapés .
      Chez l homme cette base a donnée hitler,imaginez les lois de la nature avec le potentiel de la machine ,qui est le faible ,qui est le couac empêchant la survie et l evolution?

  • lehulk

    Et là j attends les commentaires de ceux quo sont ,a leurs avis,plus intelligents qu hoppkins par exemple.
    Science sans conscience n est que ruine de l homme ! Vérifié et subit a 100% depuis des siecles

    • bof

      ne pas tout mélanger

      d abord c est « sciences sans conscience n est que ruine de l ame » ce qui est très très différent de ce que vous affirmez…

      Deja la conscience ici n a rien a voir avec une pseudo morale comme vous semblez le croire. La conscience est le fait de réfléchir sur la science…

      ce que disait le philosophe c est simplement qu’on ne peut pas progresser sans comprendre ce sur quoi on travaille ce qui n’ a rien a voir avec votre « ruine de l’homme » !!!

      bref c est exactement ce que fait google… Ils créent, analysent et cherche a comprendre… Ils ont donc une science avec concscience…

      ensuite vous confondez science et usage de la science… et hopkins n a pas 2 k et personne n a jamais écrit le contraire donc je ne vois pas quels commentaires vous attendez ni quelle « intelligence  » developper vu que vous ne comprenez pas vraiment ce que vous écrivez !!!

      • Kris Rage

        Bien vu.

      • iAndroid

        J’ai rien compris, c’est bien un discours de philosophe, des mecs qui planent à 15000 et qui reprennent les idées de vieux philisophes. Pas étonnant que la plupart d’entre nous les détestent, à commencer par les profs de philo.
        Faut parler avec des mots et phrases simples, pas avec des expressions reprises avec des mots qu’on n’emploie pas au quotident et qu’il faut un dico pour les décrypter.

        • lehulk

          Comprends tu au moins les phrases simples ?
          Je vais essayer de faire simple pour que toi comprendre
          Perso je penses que naviguer dans la science sans réfléchir a tout ce qui pourrait en decouler pour l homme en bien et en mal est dangeureux pour l homme.
          @Bof pense qu analyser des recherches apres expérience c est de pratiquer la science avec conscience.
          Aller encore plus simple.
          Je suis chercheur je travaille sur le nucléaire
          Ma version :je sais que le nucléaire avec une bombe ca tue énormément de personnes j en ai conscience je ne développe pas de travaux dessus et je prévient.
          Sa version : Je fais la bombe nucléaire ,je l a fait exploser et c est en analysant les dégâts que j ai conscience que c est dangeureux donc j arrete les travaux dessus ou j essayes d en faire une qui tue moins !

    • PMN

      Ce n’est pas se croire plus intelligent que Hawking (je suppose que c’est ce que tu voulais dire) que d’être d’avis contraire: il s’agit avant tout d’un débat philosophique. En plus, ce n’est pas son domaine, lui c’est plutôt l’astrophysique. Ce serait comme penser qu’un ingénieur spécialisé dans le matériel médical serait mieux placé qu’un autre pour donner son avis sur l’aérodynamisme d’une fusée…

      • lehulk

        Peut être bien que je penses que pour l astrophysique des notions de phylosophie doivent être plus importantes que dans la mécanique.
        Sur les faits pour l instant c est un peu lui qui a raison .

        • PMN

          En philo, on a un peu tous raison. Si je pense qu’une IA reste une machine et qu’une machine peut avoir un switch si elle fait quelque chose d’imprévu, je ne prétends pas être plus intelligent que Hawking.

  • iAndroid

    Ben si l’AI devient agressive dans certaines circonstances c’est tout simplement parce que les humains qui l’ont conçue ont codé ce « trait de caractère ».
    Pour moi ce n’est ni plus ni moins qu’une transposition de frustration du concepteur de l’AI qui veut concevoir une chose qui lui ressemble ou plutôt qui ressemble à sa vision, et qu’il ne peut mettre en oeuvre dans la vie réelle parce que c’est une quiche dans les relations humaines. C’est pour moi de la vengeance personnelle.

    • DevIntegriste

      Si une appli plante, c’est parce que les développeurs ont codé ce bug ?
      Non, c’est une conséquence, qui a pour origine une cause, mais la cause n’est pas la conséquence.
      Donc le développement effectué ne définit pas ce trait de caractère. C’est une conséquence d’un « trou » ou d’une spécification non pensée.

    • Kris Rage

      Une certaine dose d' »agressivité » est nécessaire pour les IA sinon, par exemple une voiture autonome ne s’engage sur un rond-point que s’il n’y a aucune autre voiture. L' »agressivité » sert à transgresser les règles de base lorsque cette transgression apparaît comme nécessaire pour avancer et ne pas bloquer la circulation et non dangereuse.

      • iAndroid

        Ta voiture autonome va forcer pour entrer sur le rond-point parce ce qu’elle estime qu’elle a le temps de passer sans danger, mais une voiture autonome déjà engagée peut aussi réagir « agressivement » et forcer car sur un rond-point avec « Cédez le passage » elle est prioritaire, d’où conflit, même schéma que pour les humains au final.

        • Kris Rage

          pas tout à fait, parce que dans tous les cas le fait de ne pas rentrer en collision est prioritaire.

    • doggy310

      Euh non la je pense que tu as été chercher trop loin…

  • Spitfire

    Mdr ca me rappelle IA de Microsoft qui écrivait des commentaires racistes :’)

  • Alberic de la Crochais

    Il faudrait pas tout confondre. On parle d’agressivité pour atteindre un but : Si on dis a l’IA grimpe au sommet de la montagne : elle va essayer de passer par les chemins tranquillement mais si elle n’y arrive pas elle risque de « s’énnerver » et de couper à travers champs… Rien d’étonnant en fait. Ce qui est plus étonnant c’est qu’elle coopère parfois alors que cela ne serais pas nécessaire et risque de la faire perdre… sauf a prendre en compte le côté sécurité.

  • Olivier Claverie

    Il est très important de replacer cela dans le contexte d’une partie de go, et malheureusement ne pas le faire vous amène à des contresens. La notion d’agressivité est une façon humaine d’interpréter certains coups joués au go. Mais tout à d’abord, il faut rappeler que cette IA a été programmée pour gagner des parties de go, ce qui peut être ressenti par l’adversaire comme « agressif », mais enfin, il n’y a pas d’intérêt à programmer une IA pour perdre. C’est le go qui est fondamentalement un jeu de confrontation (comme la plupart des jeux) et qui comprend une part d’agressivité (quoi qu’en disent les joueurs).

    Que fait l’IA? Elle évalue l’état du plateau (qui va probablement gagner, qui va probablement perdre) et cela participe de ses choix de jeu.

    Quand elle pense qu’elle va perdre, elle joue des coups qui ne sont pas bons, mais qui lui permettent, si le joueur en face répond mal, de retourner la partie. C’est ce que font la plupart des humains quand ils pensent que leur partie est foutue: sauf évidence qu’il n’y a aucun espoir, on tente le tout pour le tout: quitte à avoir perdu, autant tenter l’improbable. Traduire ça en « agressivité » n’est qu’une façon de rendre compte de ce choix, mais il ne faut pas y voir de manifestation d’émotion ou d’affect.

    Maintenant, prenons le cas où l’IA considère que la partie va être gagnée. L »IA ne va pas « collaborer », ce qui n’a aucun sens au jeu de go et n’est pas un terme utilisé par les joueurs de go. Elle va plutôt faire des choix très sûrs, c’est à dire qu’elle va accepter de perdre des points, de jouer des coups qu’on dit « faibles », « mous », « pacifiques », tant qu’elle considère que sa marge est suffisante pour que l’adversaire ne puisse pas retourner la partie. Elle joue donc « la sécurité », comme une équipe de foot qui ne chercherait pas à marquer de but pour être sûr de conserver l’avantage et de se tenir à l’abri d’un contre.

    Interpréter tout ça en termes de sentiments et de comportements sociaux est un contresens car il s’agit d’une IA qui a été programmée pour gagner des parties de go (elle ne sait rien faire d’autre) et qui vise simplement à faire le meilleur choix en fonction de son évaluation de la situation.

Abonnez-vous gratuitement à la newsletter
Chaque semaine, le meilleur de Phonandroid dans votre boite mail !
Demandez nos derniers articles !
fed78c1b3ce77b7c9f8eadb25f3810c5tttttttttttttttttttttttttttttt