- Serial Gamers -
- Guide de survie d’Until Dawn et comment faire les bons choix pour sauver tout le monde -
- Une IA passe 7 000 heures à vaincre le premier gymnase de Pokemon Rouge, mais n’arrive toujours pas à trouver le second après 50 000 heures.
Un programmeur a donné à un modèle d’IA 50 000 heures de formation sur la façon de jouer à Pokemon Rouge, pour aboutir à un algorithme capable d’explorer le jeu et de constituer une équipe pour vaincre le premier chef de gymnase – mais pas de trouver son chemin à travers le mont Moon ou de savoir qu’il ne faut pas continuer à acheter des Magikarp. Cet exercice est surtout un moyen fascinant de se faire une idée du fonctionnement de l’apprentissage automatique.
https://www.youtube.com/embed/DcYLT37ImBY
Comme l’explique Peter Whidden dans une vidéo détaillée, l’IA est capable d’interagir avec le jeu en utilisant les commandes habituelles d’un émulateur. Elle appuie sur un bouton et regarde l’écran pour voir ce qui s’est passé, comme le ferait un joueur humain. Whidden a fixé les sessions d’apprentissage à deux heures de jeu chacune, bien qu’avec l’accélération de l’émulation, ces sessions puissent être complétées en environ six minutes en temps réel – et le processus a été encore accéléré par l’exécution simultanée de 40 sessions de test.
Étant donné qu’un algorithme ne se préoccupe pas en soi de battre un jeu vidéo, M. Whidden a fixé des objectifs particuliers pour lesquels l’IA devait être récompensée. Pour encourager l’exploration curieuse, l’IA recevait un point de récompense chaque fois qu’elle voyait quelque chose de nouveau, mesuré par l’apparition de pixels sensiblement différents à l’écran. Cela a des conséquences inattendues – l’IA se contentait de regarder, fascinée, la légère animation de l’eau, par exemple – mais cela a permis à l’ordinateur de se motiver pour aller de Pallet Town à Pewter City en passant par Viridian Forest, où se déroule le premier combat en salle de sport contre Brock.
L’IA a également besoin de récompenses et de punitions supplémentaires. Les récompenses étant liées à la découverte de nouvelles choses, l’IA veut simplement continuer à avancer, ce qui signifie qu’elle ne s’intéresse pas aux batailles ou à la capture de Pokemon, et qu’au départ, elle fuyait toutes les rencontres. Whidden a donc ajouté un système où l’IA est récompensée en fonction du niveau total de son groupe de Pokemon actif.
Cela permettait à l’IA de se battre pour obtenir de l’XP et d’attraper des Pokemon, mais cela avait aussi une conséquence inattendue. Lorsque l’IA se rendait dans un Centre Pokemon, elle interagissait avec le PC qui s’y trouvait et déposait quelques Pokemon. Cela faisait chuter le niveau total de la partie, ce qui entraînait la perte d’un grand nombre de points de récompense d’un seul coup. C’était à peu près l’équivalent d’une expérience traumatisante pour l’IA, qui l’incitait à éviter complètement les centres Pokemon, refusant ainsi de soigner le groupe jusqu’à ce que Whidden modifie à nouveau le système de récompenses.
Comme l’IA fait essentiellement des choses au hasard jusqu’à ce qu’elle parvienne à trouver quelque chose qui lui rapporte des points de récompense, le combat contre Brock s’est avéré être un problème particulier puisque vous devez profiter des faiblesses élémentaires de ses Pokemon de type roche pour leur infliger de réels dégâts. Ce n’est qu’en vertu d’une itération particulière où le Squirtle de l’IA s’est avéré être hors PP pour tous les coups, à l’exception de Bubblebeam, que l’algorithme a réussi à comprendre comment vaincre le gymnase.
Mais si l’IA n’est pas douée pour comprendre des choses qui viennent naturellement aux joueurs humains, elle apprend très vite d’autres choses beaucoup plus ésotériques. Whidden s’est rendu compte à un moment donné que l’algorithme traçait toujours un chemin très spécifique, apparemment absurde, de Pallet Town jusqu’à la première rencontre avec un Pokemon sauvage. Cela semblait bizarre jusqu’à ce qu’il devienne clair que cette série précise d’entrées garantissait que le Pokemon sauvage pouvait être capturé d’un seul jet de Pokeball. Oui, l’IA a spontanément appris l’art de la manipulation du RNG que les speedrunners passent des années à développer.
Battre Brock était un objectif assez naturel pour le projet, mais Whidden a laissé l’IA fonctionner plus longtemps pour voir ce qui se passerait, et elle a réussi à s’enfoncer dans le Mont Moon – mais les passages humides et identiques du donjon étaient si rebutants pour l’IA qu’elle n’a jamais pu trouver son chemin de l’autre côté, et elle n’a donc jamais pu trouver le deuxième gymnase de Cerulean City.
Une chose que l’IA a adorée, cependant, c’est l’achat de Magikarp. Le type louche qui vous vend le pire Pokemon de tous les temps à un prix ridicule est devenu une blague, mais pour l’IA, acheter ce Magikarp est un moyen rapide d’obtenir cinq niveaux supplémentaires de Pokemon dans son groupe – la meilleure affaire du jeu ! Apparemment, l’IA a acheté ce Magikarp plus de 10 000 fois.
Oh, et pour une dernière anecdote sur la magie d’un ordinateur qui fait des choses au hasard : à un moment donné, l’IA a capturé un Rattata et a nommé le Pokemon » IA « . Parfois, ces choses fonctionnent un peu trop parfaitement.
L’art et l’écriture générés par l’IA sont extrêmement controversés, mais certains développeurs chevronnés pensent que dans l’industrie du jeu, « l’argent va encore pousser absolument tout le monde » à utiliser l’apprentissage automatique.