Emotify: emotional game for children with autism spectrum disorder based-on machine learning

Rouhi Amirreza, Spitale Micol, Catania Fabio, Cosentino Giulia, Gelsomini Mirko, Garzotto Franca

Publication :

Companion Proceedings of the 24th International Conference on Intelligent User Interfaces

Année :

2019

Type :

Article de conférence

URL:

Résumé

Les enfants atteints d’un trouble du spectre de l’autisme (TSA) rencontrent souvent des difficultés à détecter et à exprimer les émotions. Il leur est difficile de reconnaître la joie, la tristesse et la colère chez les autres et d’exprimer leurs propres sentiments. Cette difficulté entraîne de graves limitations de la communication et du fonctionnement social. L’article propose un jeu éducatif oral, s’appuyant sur des techniques d’apprentissage automatique, pour aider les enfants atteints de TSA à comprendre comment identifier et exprimer correctement les émotions. Le jeu porte sur quatre états émotionnels (joie, tristesse, colère et neutralité) et se divise en deux niveaux de difficulté croissante : la première étape consiste à apprendre à reconnaître et à exprimer les sentiments, et la seconde phase examine et évalue les compétences émotionnelles de l’utilisateur. L’application intègre un système multilingue de reconnaissance des émotions à partir de la hauteur de la voix.