Interface humaine EOG-sEMG pour la communication

Résumé

Le but de cette étude est de présenter des signaux d’électrooculogramme (EOG) et d’électromyogramme de surface (sEMG) pouvant être utilisés comme interface homme-ordinateur. Il est important d’établir un canal alternatif efficace pour communiquer sans parler ouvertement et sans mouvements de la main pour améliorer la qualité de vie des patients atteints de sclérose latérale amyotrophique, de dystrophie musculaire ou d’autres maladies. Dans cet article, nous proposons un système d’interface homme-machine EOG-sEMG pour la communication utilisant à la fois des canaux croisés et des canaux de lignes parallèles sur le visage avec les mêmes électrodes. Ce système pourrait enregistrer les signaux EOG et sEMG en tant que « double modalité » pour la reconnaissance de formes simultanément. Bien que jusqu’à 4 modèles puissent être reconnus, traitant de l’état des patients, nous ne choisissons que deux classes (mouvement gauche et droit) d’EOG et deux classes (clignotement gauche et clignotement droit) de sEMG qui sont facilement réalisables pour la tâche de simulation et de surveillance. À partir des résultats de la simulation, notre système a obtenu une classification à quatre motifs avec une précision de 95,1%.

1. Introduction

Lors des mouvements oculaires, un potentiel existe à travers la cornée et la rétine, et il est à la base de l’électrooculogramme (EOG). L’EOG peut être modélisé par un dipôle et utilisé dans les systèmes médicaux. Plusieurs études d’interface homme-ordinateur basées sur l’EOG se trouvent dans la littérature. Par exemple, un fauteuil roulant contrôlé par les mouvements oculaires est en cours de développement pour les personnes handicapées et les personnes âgées. Les signaux de mouvement de l’œil et les signaux du capteur sont combinés, et la direction et l’accélération sont contrôlées. Les signaux d’électromyogramme de surface (SEMG) sont détectés sur la surface de la peau et sont générés par l’activité électrique des fibres musculaires pendant la contraction. Les muscles en mouvement peuvent être détectés en analysant les sEMGs. L’une des applications importantes des sEMGs est le contrôle des jambes artificielles. Bien que le mouvement de la tête, qui est un geste naturel, puisse être utilisé pour indiquer une certaine direction, les personnes gravement handicapées ne peuvent pas bouger leur cou et leur tête. Cependant, beaucoup de ces personnes peuvent utiliser le mouvement musculaire du visage. Le sEMG est un moyen d’étudier les activités musculaires du visage en enregistrant les potentiels d’action des fibres contractantes. Le sEMG peut être détecté avec des électrodes de surface, faciles à appliquer et non invasives et ne présentant aucun risque pour la santé et la sécurité des utilisateurs. Les systèmes informatiques peuvent également être contrôlés en utilisant des signaux de face sEMG. Ces systèmes informatiques peuvent reconnaître les mouvements du visage (clignotement gauche, clignotement droit et morsure) à l’aide de capteurs sEMG. De plus, les signaux EOG, électroencéphalogramme (EEG) et EMG peuvent être classés en temps réel et peuvent contrôler des robots mobiles à l’aide d’un classificateur de réseau de neurones artificiels.

En étudiant la possibilité d’utiliser des EOG pour une interface homme-ordinateur, on détermine la relation entre l’angle de visée et un EOG. Des études approfondies ont montré que la dérive de base qui change lentement rend difficile l’estimation des signaux EOG continus, et cette dérive n’apparaît que dans les signaux en courant continu (CC) du circuit. Pour résoudre ce problème, notre système proposait précédemment l’utilisation du courant alternatif (CA) des EOGs pour réduire la dérive de base par segmentation du signal. Dans ces articles, nous avons présenté le système de contrôle du curseur de la souris en utilisant notre technique EOGs. Les seuils initiaux de la classe de mouvement des yeux (à droite, à gauche et clignement volontaire) sont déterminés empiriquement individuellement pour chaque utilisateur. Deux classes de mouvements des yeux (droite et gauche) commandent le même mouvement du curseur de la souris. Dans ces documents, le mouvement des yeux en diagonale en bas à droite est une commande de traitement du clic. De plus, le clignotement volontaire est également une commande de traitement des clics. Cependant, ces systèmes ont un problème dans lequel les signaux de face sEMG deviennent bruités pour les signaux EOG.

Dans cette étude, nous développons un système d’interface humaine EOG-sEMG pour la communication. Notre dispositif EOG proposé n’a pas le problème des artefacts dus au clignotement des yeux. Nous appliquons un algorithme qui utilise à la fois la variation dynamique de l’élément DC et la classification de motif de l’élément AC. Cette segmentation du signal réduit la dérive de base. Bien qu’il existait une méthode à 3 électrodes permettant de mesurer les composants verticaux et horizontaux dans l’EOG, considérée comme le bruit lors de la mesure de l’EEG, notre système EOG utilise toujours des canaux croisés qui utilisent 4 électrodes pour améliorer la précision de la mesure de l’EOG et réaliser simultanément le processus de « double modalité » EOG-sEMG. De plus, les signaux EOG multicanaux ont des performances similaires à la méthode du canal plus qui est largement utilisée dans la mesure EOG. De plus, la position de l’électrode de la méthode des signaux EOG multicanaux présente la bonne caractéristique que le sEMG peut également être mesuré efficacement en même temps. En comparaison avec d’autres articles, c’est un mérite utile.

Comparé à d’autres recherches connexes sur les interfaces homme-ordinateur pour aider les personnes handicapées telles que les systèmes de suivi oculaire, qui utilisent le traitement d’images, l’EOG-sEMG basé sur notre proposition interface homme-ordinateur a une forte capacité anti-interférence de l’environnement tels que les lumières et les bruits. Les patients pourraient utiliser ce type d’interface même sans vue. En particulier, les patients atteints de SLA pouvaient toujours contrôler leurs globes oculaires et leurs muscles autour des yeux même au stade terminal, dans lequel ils pouvaient également utiliser l’EOG-sEMG basé sur notre proposition interface homme-ordinateur. Bien que les dispositifs de traitement d’images soient largement utilisés parce qu’ils sont intuitifs et plus prévisibles, l’interface homme-ordinateur EOG-sEMG basée sur notre proposition offre toujours un bon choix aux personnes gravement handicapées.

Dans cet article, nous proposons une technique permettant d’effectuer la reconnaissance de formes de visage en enregistrant les EOG et les sEMGs. Afin de prouver les performances de notre méthode proposée, nous avons essayé 3 expériences connexes étape par étape. Au début, bien que jusqu’à 7 classes puissent être reconnues, traitant de l’état réel des patients et des tests de précision initiaux, nous ne choisissons que deux classes (mouvement gauche et droit) d’EOG et deux classes (clignotement gauche et clignotement droit) de sEMG qui sont facilement réalisables pour la tâche de simulation et de surveillance. Ensuite, nous avons effectué des expériences d’entrées de caractères en utilisant notre système proposé avec ces 4 classes. Les participants à l’expérimentation étaient des hommes en bonne santé dans la vingtaine qui acceptent de participer à nos expériences sans contrainte. À partir de ces expériences, nous avons montré que la reconnaissance à quatre formes de notre système proposé est facile à apprendre et à utiliser. De plus, nous avons appliqué notre méthode simplifiée proposée (logiciel capable de saisir des caractères en un clic (une reconnaissance de formes)) pour les personnes gravement handicapées (patients atteints de dystrophie musculaire).

2. Le Système de mesure

2.1. Cross-Channels

Comme le montre la figure 1 (a), la méthode du canal plus est largement utilisée comme moyen le plus classique d’enregistrement des signaux EOG dans les recherches précédentes: les signaux horizontaux ont été enregistrés par le canal 1 (CH1) et les signaux verticaux ont été enregistrés par le canal 2 (CH2). Dans cet article, pour améliorer la précision des signaux EOG, une nouvelle méthode cross-canal est proposée comme le montre la figure 1 (b). Les signaux horizontaux et verticaux pouvaient être enregistrés par les deux canaux en même temps. Il est beaucoup plus facile d’analyser des données à l’aide de signaux doubles.

Figure 1

Méthode conventionnelle (a) et méthode cross-canal de l’EOG (b).

2.2. Le système de mesure EOG-sEMG

Dans cette sous-section, la conception du système de mesure EOG-EMG est proposée. La figure 2 montre le schéma formel d’acquisition et d’analyse des signaux EOG et sEMG pour le contrôle et le flux d’informations à travers le système. Notre système proposé comprend quatre composants: (1) amplificateur, (2) filtre, (3) convertisseur A / N et (4) système de contrôle du curseur de la souris. Plus précisément, cela signifie que le système se compose de cinq électrodes, d’un convertisseur A / N, d’un ordinateur personnel et d’un moniteur (illustré à la figure 2). Quatre électrodes pour les deux canaux de signaux sEMG sont collées sur la face et une électrode est collée sur le poignet droit ou gauche comme sol.

(a)

(b)

(a)
(b)

2.3. Le dispositif de détection EOG-sEMG

Dans cette sous-section, nous montrons le dispositif d’interface utilisé dans cette étude. La figure 3 montre une personne portant le dispositif d’interface. Ce dispositif d’interface ressemble à des lunettes ou des lunettes, fixant les électrodes. Les signaux mesurés par l’appareil sont envoyés au PC via Bluetooth. Les données envoyées sont représentées à la figure 4. Les signaux mesurés sont des courants continus pour deux canaux EOG (2 ch), qui sont CH1 et CH2, et des courants alternatifs pour deux canaux EOG (CH3 et CH4). Dans le même temps, 2 signaux ch de sEMG sont également mesurés, qui sont CH5 et CH6. Nous montrerons les détails des données mesurées dans la section suivante.

Figure 3

Dispositif d’interface pour fixer les électrodes sur le visage.

Figure 4

Données envoyées depuis le périphérique d’interface. Les signaux sont sEMG 2 ch et EOG 2 ch. Les EOG mesurent les signaux CA et CC.

3. Le système d’enregistrement EOG

Dans cette section, nous présenterons le système d’enregistrement EOG. Notre système EOG proposé est basé sur deux flux: (1) l’amplificateur et le filtre passe-bas (élément CC) et (2) l’amplificateur, le filtre passe-bas et le filtre passe-haut (élément CA). Après avoir enregistré l’amplitude du signal (1000 fois) et les mesures de réduction du bruit pour le système d’acquisition de données biopotentielles, quatre types de mouvements oculaires (droit, gauche, haut et bas) sont reconnus avec précision et la réduction du bruit électronique est également réussie. Il convient de noter que les signaux EOG horizontaux sont plus forts que les signaux EOG verticaux. En effet, les saccades verticales sont plus lentes que les saccades horizontales, et les saccades descendantes sont les plus lentes. Les figures 5 à 8 montrent que les quatre mouvements oculaires (droite, gauche, haut et bas) sont clairement différents. De plus, CH1 et CH2 sont des signaux continus, qui peuvent être utilisés pour enregistrer les mouvements continus des yeux. CH3 et CH4 sont des signaux alternatifs de l’EOG. Par conséquent, le CH3 et le CH4 ne réagissent fortement qu’aux mouvements oculaires.

Figure 5

Les signaux EOG enregistrant des échantillons en CH1, CH2, CH3 et CH4 (à droite).

Figure 6

Échantillons d’enregistrement du signal EOG dans CH1, CH2, CH3 et CH4 (à gauche).

Figure 7

Échantillons d’enregistrement du signal EOG dans CH1, CH2, CH3 et CH4 (up).

Figure 8

Échantillons d’enregistrement du signal EOG dans CH1, CH2, CH3 et CH4 (vers le bas).

Comme les signaux EOG changent pour les quatre mouvements oculaires, nous avons importé CH1 + CH2, qui est utilisé pour les signaux verticaux et CH1-CH2 pour les signaux horizontaux. Dans les expériences, nous avons demandé à chaque participant de bouger ses globes oculaires pour suivre la séquence suivante: centre-droit – centre-gauche – centre-haut-centre-bas-centre. Les résultats de ces deux nouvelles procédures sont présentés à la figure 9.

Figure 9

Échantillons d’enregistrement du signal EOG en CH1 + CH2 (à l’envers) et CH1-CH2 (à l’envers).

4. Enregistrement du signal sEMG

La figure 2 montre le schéma formel d’acquisition et d’analyse des signaux sEMG pour le contrôle et le flux d’informations à travers le système. Notre système se compose de ces quatre composants: (1) électrodes de surface, (2) amplificateur, (3) filtre passe-haut et (4) ordinateur personnel pour la classification des signaux sEMG. Les signaux sEMG détectés par les électrodes de surface sont amplifiés et filtrés avant l’acquisition de données afin de réduire les artefacts de bruit et d’améliorer les composantes spectrales qui contiennent les informations pour l’analyse de données. Deux canaux de signaux sEMG peuvent être utilisés pour reconnaître les mouvements du visage. Pour supprimer le niveau CC et le bruit de la ligne d’alimentation à 60 Hz, le filtre passe-haut est utilisé. La fréquence de coupure du filtre passe-haut est de 66,7 Hz.

Les enregistrements de la figure 10 montrent les mesures de réduction du bruit appliquées dans notre système. En conséquence, les données des trois classes sEMG (clignotement droit, clignotement gauche et morsure) sont clairement différentes. Après filtrage et amplification (environ 1000 fois), les signaux sEMG sont numérisés puis transférés sur l’ordinateur personnel. La fréquence d’échantillonnage des données de mesure est de 1 kHz sur une bande de 0 Hz à 500 Hz.

Figure 10

Niveaux d’activation de sEMG à deux canaux.

Les signaux sEMG sont traités par le traitement de la moyenne mobile. Le traitement de la moyenne mobile calcule la moyenne rectifiée et non pondérée des points de données précédents. Ensuite, la valeur après le traitement de la moyenne mobile est déterminée comme « active » ou « inactive » en fonction du seuil. Les seuils (CH5 et CH6) sont fixés en fonction des utilisateurs. Cette méthode est nécessaire pour définir la valeur de seuil de chaque utilisateur. De plus, ce système ne réagit pas au clignotement habituel. La figure 11 montre un schéma de ce processus.

Figure 11

Diagramme du processus. Les signaux SEMG sont calculés pour obtenir les moyennes rectifiées et mobiles. Le signal est déterminé comme étant actif ou inactif sur la base du seuil.

5. Algorithme de reconnaissance de formes

Dans cette section, nous présenterons notre algorithme de reconnaissance de formes EOG-sEMG proposé. La figure 12 montre le flux global de notre système proposé. Ce processus consiste à répéter les étapes. La reconnaissance de formes se compose de cinq classes: deux classes (mouvement gauche et droit) pour l’EOG et les trois classes (clignotement gauche, clignotement droit et morsure) pour le sEMG.

Figure 12

Flux de l’algorithme de reconnaissance de formes EOG-sEMG.

Si les données sEMG après traitement du signal dépassent un seuil, le motif des données sEMG est déterminé par CH1 uniquement (mouvement de type clignotement droit) ou CH2 uniquement (mouvement de type clignotement gauche) ou les deux (la morsure ou le clignotement fort). Notre algorithme proposé initialise les éléments DC de l’EOG une fois l’activité sEMG terminée. De plus, lorsque l’élément AC de l’EOG n’a pas changé (les yeux ne bougent pas) et que le sEMG n’est pas actif, notre algorithme proposé initialise la valeur de référence que les yeux regardent comme devant (« renouvellement de l’EOG » sur la figure 12). En d’autres termes, notre système détermine que les yeux regardent l’avant, car l’élément CA n’est pas modifié. À ce moment-là, notre système se met à jour en tant que valeur de référence des éléments CC. Après cela, notre système utilise la quantité de changement en courant continu à partir de cette valeur de référence.

À partir de la règle expérimentale, le seuil de jugement entre actif et inactif est défini. Ensuite, lorsque les yeux bougent, notre algorithme compare la plage de variation de CH1 + CH2 et CH1-CH2. Lorsque CH1-CH2 est plus grand, notre algorithme effectue le processus de détermination de l’EOG. Lorsque CH1 + CH2 est plus grand, notre algorithme détermine que les yeux se sont déplacés dans la direction verticale, car les données EOG pour la direction verticale des yeux sont similaires aux données EOG pour le motif de clignotement. De plus, nos résultats expérimentaux indiquent que de nombreuses personnes ne peuvent pas facilement contrôler la direction ascendante de l’œil.

Ensuite, nous présentons l’algorithme de reconnaissance de formes EOG, un exemple de traitement de reconnaissance de formes EOG illustré à la figure 13. Bien que la figure 9 montre que tous les mouvements des yeux pourraient être effectués en vérifiant les valeurs de CH1 + CH2 et CH1-CH2, l’algorithme de marche de motif est toujours nécessaire pour résoudre le décalage de base causé par le problème de dérive. Les étapes de l’algorithme de la figure 13 sont les suivantes: (1) Les éléments DC et AC de l’EOG dépassent le seuil pour la bonne direction. Il est déterminé que c’est la bonne direction des yeux.(2) L’élément DC continue de dépasser le seuil pour la bonne direction et l’élément AC revient à la ligne de base. La direction des yeux continue d’être à droite.(3) L’élément CA change considérablement dans la direction négative lorsque la direction de l’œil revient à la position centrale.(4) L’élément CA et l’élément CC reviennent à la ligne de base de chaque élément. Ensuite, la ligne de base est mise à jour.Notre système effectue la détermination du mouvement droit et gauche des yeux en utilisant cet algorithme. Cet algorithme permet de déterminer la direction. C’est un processus difficile lorsque vous utilisez uniquement l’élément AC.

Figure 13

Exemple de traitement de reconnaissance de formes EOG. Les chiffres en gras représentent les étapes de l’algorithme.

6. Expériences et résultats

Pour tester l’efficacité de notre système proposé, nous avons mené deux expériences: l’une est un test de reconnaissance de formes et l’autre est un test d’entrée de caractères.

6.1. Expérience de reconnaissance de motifs

Tout d’abord, nous avons mené des expériences de classification de motifs pour les deux classes de mouvements oculaires (droite et gauche) et les trois classes de mouvements du visage (clignotement droit, clignotement gauche et morsure). L’intervalle de chaque action est de 3 secondes (illustré à la figure 14). Chaque participant a effectué chaque mouvement oculaire neuf fois. De plus, nous avons testé si notre système proposé pouvait rejeter un clignotement normal. Nous avons effectué le test de rejet de clignotement normal 30 fois. Les participants aux expériences étaient huit mâles en bonne santé qui sont tous les numéros de notre laboratoire dans la vingtaine qui ont donné leur consentement pour participer à cette expérience.

Figure 14

Tâches de base dans l’expérience de reconnaissance de formes.

6.2. Résultats expérimentaux de reconnaissance de formes

Les résultats expérimentaux de reconnaissance de formes sont présentés dans le tableau 1 et la dernière ligne montre l’évaluation des performances (PE) de chaque motif en vertu de la règle des 5 points (corriger pour 5 points, rejeter pour 2 points et manquer pour 0 point). Rejeter signifie que le modèle d’entrée n’a pas réagi. Miss signifie que le modèle d’entrée était une mauvaise réponse. D’après les expériences, la reconnaissance de formes EOG (à droite et à gauche) de notre système proposé est fiable. À partir de ces résultats expérimentaux, notre système proposé montre de bonnes performances dans la reconnaissance des quatre classes (clignotement droit, gauche, clignotement droit et clignotement gauche). Le taux moyen de reconnaissance était de 95,1%, le taux moyen de rejet était de 1,4% et le taux moyen d’absence n’était que de 3,5% et l’EP moyen était de 4,79 sur 5.

Droite Gauche Clignotement droit Gauche j’ai essayé de le faire, mais j’ai essayé de le faire, mais je ne l’ai pas fait.: 1) 9/9 9/9 9/9 4/9 (reject: 5) T.N 9/9 9/9 9/9 7/9 8/9 (reject: 1) M.Y 9/9 8/9 9/9 8/9 4/9 (reject: 5) K.N 9/9 9/9 9/9 9/9 8/9 (reject: 1) M.F 9/9 9/9 9/9 9/9 3/9 (reject: 6) R.K 8/9 9/9 7/9 7/9 9/9 K.M 7/9 (reject: 2) 8/9 (reject: 1) 8/9 9/9 5/9 (reject: 4) T.T 9/9 9/9 9/9 9/9 7/9 (reject: 2) Ave. 94% (reject: 4%) 97% (reject: 1%) 96% 94% 67% (reject: 33%) P.E 5 4.78 4.87 4.80 4.70 4.01

Tableau 1

Résultats expérimentaux de reconnaissance de formes.

Cependant, la reconnaissance des formes de morsure sEMG n’est pas aussi bonne que prévu. L’une des raisons est que certaines personnes ont des problèmes d’irrégularité occlusale qui provoquent une divergence entre leurs joues. Ce type d’actions de morsure était généralement reconnu comme un clignotement droit ou gauche. Une autre raison est que nous avons utilisé une méthode de réglage de seuil pour distinguer le clignotement normal, et le test de rejet du clignotement normal avait un taux de réussite de 97% (232/240). Selon cette méthode, les actions de morsure qui n’ont pas pu passer le seuil seront rejetées de la même manière que le clignotement normal.

6.3. Expérience de saisie de caractères

Ensuite, nous avons mené l’expérience de saisie de caractères en utilisant les quatre classes (right (EOG), left (EOG), right blink (sEMG) et left blink (sEMG)). Le logiciel de saisie de phrases de l’alphabet, Hearty Ladder, est illustré à la figure 15. Nous avons utilisé la méthode de sélection à quatre divisions. Nous avons attribué les quatre modèles comme suit: Right (EOG) est la commande pour sélectionner la zone inférieure droite. Left (EOG) est la commande pour sélectionner la zone inférieure gauche. Right blink (sEMG) est la commande pour sélectionner la zone supérieure droite. Left blink (sEMG) est la commande pour sélectionner la zone supérieure gauche.L’utilisateur a répété le filtrage de quatre motifs jusqu’à ce que le caractère du dernier motif soit sélectionné. L’intervalle de contrôle était de 0,1 s. Nous avons mené des expériences de la tâche d’entrée « miyazaki » (8 caractères : 4 opérations pour 1 caractère) qui est le nom de notre université. Les participants aux expériences étaient neuf hommes en bonne santé dans la vingtaine qui ont donné leur consentement à participer à cette expérience. Les participants expérimentaux comprenaient six personnes expérimentées avec ce système.

Figure 15

Le logiciel de saisie de phrases de l’alphabet pour la tâche « miyazaki ».

6.4. Résultats expérimentaux d’entrée de caractères

Nous avons essayé cinq essais de la tâche d’entrée « miyazaki ». Nous avons compté le nombre d’échecs et la durée jusqu’à la fin de l’entrée. Les résultats expérimentaux sont présentés dans le tableau 2. D’après ces expériences, le temps moyen d’un essai était de 50,0 s. Le temps d’entrée moyen d’un caractère de l’alphabet était d’environ 6,3 s (50 s / 8 caractères) dans notre système proposé. Le temps du participant le plus rapide, K.M, était de 4,5 s (35,8 s / 8 caractères). De plus, si nous considérons les participants M.F, M.S et R.K qui avaient utilisé notre système proposé pendant plus de 100 heures comme étant expérimentés et les 6 autres participants qui n’ont pas utilisé notre système proposé par hasard comme inexpérimentés, le temps moyen des participants expérimentés était de 49.2 s et celle des participants inexpérimentés était de 51,5 s. Le taux d’échec des participants inexpérimentés était également faible. À partir de ces résultats, nous considérons qu’un avantage de notre système proposé est que les utilisateurs n’ont pas besoin de beaucoup de formation.

Temps moyen (sec) SD Taux d’erreur moyen (%) K.I 42,0 3,1 0,0 K.M 35,8 5,0 0.0 R.K 60.2 12.4 3.5 T.T 53.2 13.0 2.5 K.G 61.0 15.5 5.0 T.N 43.2 2.7 0.0 M.F (inexperienced) 68.6 5.5 0.0 M.S (inexperienced) 36.6 5.2 2.0 R.K (inexperienced) 49.4 19.8 0.0 Ave. 50.0 — 1.45

Tableau 2

Résultats expérimentaux d’entrée de caractères.

Nous avons comparé les performances de notre méthode proposée avec la méthode EOG et la méthode sEMG. La méthode EOG utilisait les mouvements de l’œil droit et gauche uniquement comme méthode de sélection à 2 divisions. La méthode sEMG utilisée clignote à droite et clignote à gauche uniquement comme méthode de sélection à 2 divisions. Nous avons essayé les mêmes expériences de cinq essais de la tâche d’entrée « miyazaki » avec les mêmes participants. Ces résultats expérimentaux sont présentés dans le tableau 3. On peut voir que notre méthode proposée a la meilleure performance des trois méthodes. Nous avons calculé le temps nécessaire pour une opération. La méthode EOG était de 1,93 s, la méthode sEMG était de 1,65 s et notre méthode proposée était de 1,56 s. De plus, le taux d’erreurs de la méthode sEMG était inférieur à celui de notre méthode proposée. L’une des raisons les plus concluantes est que le nombre d’opérations (7 opérations pour 1 caractère) est plus important dans la méthode de sélection à 2 divisions que dans la méthode de sélection à 4 divisions.

Comme nous l’avons mentionné dans cette section, 2 ou 4 modèles pourraient être reconnus par notre système proposé. Tous ces modèles pourraient être assignés en tant que fonctions séparées et, compte tenu de l’état des utilisateurs, tous ces modèles pourraient être utilisés par n’importe quelle combinaison d’entre eux. Dans la section suivante, nous discuterons de l’application de notre système proposé pour les personnes gravement handicapées en utilisant un seul modèle.

7. Résultats expérimentaux des Personnes Gravement handicapées

Dans cet article, nous avons appliqué notre méthode proposée aux personnes gravement handicapées (patients atteints de dystrophie musculaire). Nous avons obtenu l’approbation du comité d’éthique de l’Université de Miyazaki. L’expérience de la section 6 avec une opération compliquée causera une grande fatigue aux personnes handicapées, de sorte que les expériences ont été menées de la manière dont un caractère sera entré en un seul clic en utilisant EOG ou sEMG. Un seul motif a été sélectionné parmi les motifs EOG ou sEMG qui pouvaient être facilement utilisés. Dans cette méthode de saisie de caractères, le caractère est automatiquement sélectionné par le logiciel; l’utilisateur peut être sélectionné en cliquant lorsque le caractère cible a été choisi par le logiciel. Dans cette expérience, le traitement par clic est effectué par la reconnaissance de l’activité EOG ou SEMG.

Cette expérience avait les deux sujets. Afin de minimiser les influences de la condition physique des sujets et des environnements, nous avons essayé les mêmes expériences 10 fois à différentes occasions dans différents jours. Les 30 minutes continues d’une expérience ont été utilisées pour tester l’entrée de caractères japonais. Le tableau 4 montre les résultats expérimentaux. D’après le tableau 4, le taux de reconnaissance de la méthode sEMG est de 99,2% et le taux de reconnaissance de la méthode EOG est de 98,0%. Le temps d’entrée était lent d’environ 1 à 2 secondes par rapport aux sujets sains. Par conséquent, les personnes handicapées ont le même résultat que les personnes en bonne santé en un seul clic. De ces résultats, nous pouvons dire que notre approche est efficace chez les personnes gravement handicapées.

8. Conclusions

Dans cette étude, nous avons introduit un dispositif d’interface homme-ordinateur EOG-sEMG conçu pour les patients souffrant de sclérose latérale amyotrophique ou d’autres maladies. Nous utilisons à la fois des canaux croisés et des canaux de lignes parallèles sur la face avec les mêmes 4 électrodes. Ce système pourrait enregistrer les signaux EOG et sEMG en tant que double filetage pour la reconnaissance de formes simultanément. De plus, notre méthode proposée utilisant la combinaison d’éléments CA et CC d’EOG réduit la dérive correspondante et permet un fonctionnement continu dans l’enregistrement des mouvements oculaires. Les résultats expérimentaux ont montré que notre méthode proposée est efficace pour la reconnaissance de quatre formes (droite (EOG), gauche (EOG), clignotement droit (sEMG) et clignotement gauche (sEMG)). En particulier, notre méthode proposée a démontré de bonnes performances pour les expériences d’entrée de caractères. Le taux d’échec n’était que de 1,4%. De plus, les résultats des participants inexpérimentés et expérimentés ont montré très peu de différence. À partir de ces résultats, nous pensons qu’un avantage de notre système proposé est que les utilisateurs n’ont pas besoin de beaucoup de formation.

De plus, nous avons comparé notre méthode proposée avec la méthode EOG et la méthode sEMG. Notre méthode proposée nécessitait le temps le plus court pour la saisie des caractères. Notre interface homme-ordinateur proposée peut être appliquée dans le système EOG, le système sEMG et le système EOG-sEMG. Il est possible d’utiliser notre système pour les patients qui ne peuvent contrôler que leurs mouvements oculaires. Il est également possible d’utiliser uniquement les signaux sEMG avec un taux de réussite élevé jusqu’à ce que l’utilisateur soit à l’aise avec l’appareil. Notre interface homme-ordinateur proposée présente l’avantage de pouvoir être utilisée en fonction de la situation.

Nous espérons pouvoir communiquer avec les patients souffrant de sclérose latérale amyotrophique ou d’autres maladies en utilisant notre système. Dans nos travaux futurs, nous prévoyons de tester de nombreux sujets et des personnes plus gravement handicapées.

Intérêts concurrents

Cette recherche a été financée par SYOWA Co. Ltd.

Remerciements

Cette recherche a été soutenue par la Fondation de Soutien Industriel de la Préfecture de Miyazaki (R&D) et une Subvention pour les Jeunes Scientifiques (B) (23700668) KAKEN. Les auteurs remercient M. Kazuhiko Inami et M. Kazuya Gondou. Ils reconnaissent avec gratitude le travail des membres passés et présents de leur laboratoire.