[PODCAST] Breaking Walls teste son concept de jeu vidéo AR grâce au CRIM

Jeu vidéo en réalité augmentée (AR) conçu par le studio québécois Breaking Walls, « Make Believe » plonge le joueur dans un monde apocalyptique où les intelligences artificielles ont pris le contrôle. Il est donc amené à utiliser la technologie pour vaincre ces IA totalitaires et restaurer la paix sociale. « Le joueur doit se promener dans le monde pour récolter des éléments permettant de construire des robots. Ces robots doivent avoir des personnalités pertinentes dans le jeu. Nous avons ainsi travaillé avec le CRIM pour comprendre les émotions des joueurs et pouvoir créer des IA qui s’adaptent à leur comportement », explique Sébastien Nadeau.

Lorsque Breaking Walls a commencé sa collaboration avec le CRIM, la problématique était de détecter les émotions des joueurs au cours de la partie. « Notre spécialité est de détecter l’émotion à partir de la parole, mais cela prend bien évidemment des données », détaille Gilles Boulianne. Le premier objectif du CRIM était donc de rassembler une base de données pertinentes pour entraîner un système d’algorithmes. La pertinence de cette base repose sur la bonne annotation des données. En un mot, pour que le système d’algorithmes fonctionne, il faut qu’il sache exactement à quelle parole correspond quelle émotion : peur, excitation, stress, etc.

Afin de mettre en place la base de données nécessaire à l’entraînement des algorithmes, le CRIM s’est appuyé sur des protocoles existants d’annotation des émotions. « Nous avons suivi une méthode standard avec cinq ou onze catégories suivant le protocole », confie Gilles Boulianne. En collaboration avec Patrick Charland de l’UQAM et l’équipe du Tech3Lab de HEC Montréal, Breaking Walls et le CRIM ont organisé des séances d’enregistrement des réactions des joueurs : leurs expressions faciales et leurs paroles, notamment. « Les gens étaient connectés à une espèce de polygraphe pour mesurer des caractéristiques liées à l’émotion », décrit le chercheur sénior en traitement automatique de la parole.

Suivant la cueillette de ces données, puis à leur étiquetage minutieux, le CRIM entraîne un algorithme d’intelligence artificielle devant servir au développement du jeu de Breaking Walls. « Disons que nous avons essayé d’entraîner un algorithme, mais nous nous sommes finalement rendu compte que les annotations n’étaient pas assez précises. Les émotions qui devaient être prédites étaient trop standards, ce qui fait que nous ne réussissions pas à avoir de corrélation », déplore Gille Boulianne. La conclusion de l’expérience est que les méthodes d’entraînement des algorithmes envisagés ne sont pas suffisamment performantes pour permettre le développement d’un jeu comme « Make Believe ».

Gilles Boulianne (CRIM). Photo : CRIM.

L’expertise apportée par le CRIM a ainsi permis à Breaking Walls de gagner du temps. La preuve de concept n’étant pas concluante, le studio de jeu vidéo a pu réorienter sa ligne artistique efficacement. L’expérience menée par le CRIM a permis de comprendre que les paroles prononcées par le joueur ne sont pas nécessairement en lien avec ses émotions. Il n’est donc pas pertinent d’entraîner des algorithmes à partir de celles-ci. « Malgré tout, nous avons entraîné un système à partir de données indépendantes et nous avons fourni ce système à Breaking Walls pour qu’il puisse expérimenter avec des situations plus réalistes », nuance Gilles Boulianne.

De la collaboration de Breaking Walls avec le CRIM, Sébastien Nadeau retient la pertinence des réponses apportées. « Lorsque nous avons commencé la collaboration avec le CRIM, nous avions un prototype à tester. L’objectif était de sortir avec des conclusions par rapport à l’expérience ». Le jeu vidéo reposant sur la détection des émotions des joueurs pendant la partie, il faudra maintenant à Breaking Walls trouver un moyen de parvenir à identifier ces émotions, condition sine qua non pour que « Make Believe » puisse voir le jour dans son concept actuel. Grâce au système transmis par le CRIM, le studio ira donc de l’avant, notamment en faisant d’autres tests.