Acquisition des mouvements d’une main humaine et restitution en environnement 3D

Mots-clés : DataGlove, CyberGlove, Glove, Gant, Données, Flex, Sensor, FlexSensor, flexion, réalité virtuelle, immersion, articulations, bend sensors

Rapport - Format PDF, 2 Mo
Vidéo du gant en mouvement, 2,43 Mo
Programmes et drivers, 1,17 Mo

Déroulement du projet : Reproduire à l'identique le mouvement de la main humaine, tel était l'objectif que nous nous étions fixés dans le cadre de notre projet de fin d'étude. Etudiants à l'ESIEA, Ecole Supérieure d'Informatique, Electronique et Automatique, nous avions déjà été confrontés aux problématiques de projets pluridisciplinaires notamment lors de la conception d'un robot autonome pour la Coupe de France de Robotique 2001.

Il est important de préciser qu'au début de ce projet, nous n'avions pas la moindre idée de la façon dont nous allions procéder, nous avons obtenu un appui financier de notre école ainsi que de l'entreprise Simteam, spécialisée dans la réalité virtuelle et revendeur des CyberGloves.

Le projet était décomposé en 3 parties : l'acquisition physique (quelle technologie utiliser ?), le traitement du signal (des capteurs au PC : quelle architecture électronique ?) et enfin la représentation graphique des informations (comment rendre la main la plus réaliste possible ? )

L'acquisition des mouvements de la main était un vrai problème : nous n'avions pas d'exemples sur le web "à l'époque", nous avions deux solutions : soit la création d'un exosquelette à base de potentiomètres, soit la création de nos propres capteurs de flexions... Nous avons essayé de réaliser ces capteurs en utilisant du carbone de crayon à papier mais le résultat était aléatoire,... Nous avons finalement trouvé sur Internet une entreprise américaine, Spectra Symbol, fabriquant des "Flex Sensor", nous les avons contactés et ils nous ont très généreusement envoyé des échantillons gratuits,...

Nous savions par expérience que les différents sous projets devaient être concourants, pendant que nous cherchions des capteurs, l'électronique était développée en prenant en compte un principe d'entrée : l'analyse d'une variation d'intensité pour une tension fixe, nous utilisions des potentiomètres pour simuler cette variation. Nous avions prévu 22 entrées et pour donner une impression d'affichage temps réel, la problématique était de pouvoir transférer à partir d'un PIC 16F877 les données du vecteur d'entrée (22 valeurs multiplexées) au vecteur de sortie ( liaison série) en un temps minimum...

Pour la partie infographie, nous étions partis de l'existence d'un driver (que nous avons réalisé après) qui devait donner des valeurs numériques, il s'agissait de réaliser deux programmes. L'un effectuant une traitement des signaux transmis par le Flex Sensor pour obtenir un comportement "linéaire" et les étalonner (valeurs angulaires à la clé), l'autre pour reprendre ses données "ajustées" et les représenter graphiquement.

Pour ce faire, nous avons utilisé OpenGL et un squelette format 3D Studio récupéré sur un site de médecine...

Nous avions 6 mois pour réaliser ce projet en parallèle de nos études et nous avons réussi à réaliser un gant d'acquisition à 14 axes de liberté, les flexs sensors ne nous permettant pas par leurs caractéristiques physiques de mesurer les écartements ou le comportement complexe de la base du pouce. Au final, le projet aura coûté le prix d'un gant pour VTT et des composants (40€ environ)...

Contacts :

Ludovic Smal
Philippe Plagnol

Liens :
ESIEA Paris : http://www.esiea.fr/
Simteam : http://www.simteam.com/
Spectra Symbol : http://www.spectrasymbol.com/

Quelques images de notre soutenance

La carte de transformation variation courant en variation tension et de démultiplexage à gauche, le PIC 16F877 à gauche.

Le gant, la carte de traitement Hard, et la carte de traitement Soft.

Le Gant et ses Flex Sensors, un seul pour 2 articulations par notre petite astuce, l'angle de courbure des Flex ne devait pas être trop important, le flex destiné à mesurer écartement n'a pas fonctionné.

Quelques images du gant " ESIEA "