EOG-sEMG Human Interface for Communication

Abstract

Ziel dieser Studie ist es, Elektrookulogramm- (EOG-)und Oberflächenelektromyogramm- (sEMG-)Signale darzustellen, die als Mensch-Computer-Schnittstelle verwendet werden können. Die Schaffung eines effizienten alternativen Kommunikationskanals ohne offene Sprache und Handbewegungen ist wichtig für die Steigerung der Lebensqualität von Patienten mit Amyotropher Lateralsklerose, Muskeldystrophie oder anderen Krankheiten. In diesem Papier, Wir schlagen ein EOG-sEMG-Mensch-Computer-Schnittstellensystem für die Kommunikation vor, bei der sowohl Kanäle als auch parallele Linienkanäle im Gesicht mit denselben Elektroden verwendet werden. Dieses System könnte EOG- und sEMG-Signale als „Dual-Modalität“ zur Mustererkennung gleichzeitig aufzeichnen. Obwohl bis zu 4 Muster erkannt werden konnten, die sich mit dem Zustand der Patienten befassen, wählen wir nur zwei Klassen (linke und rechte Bewegung) von EOG und zwei Klassen (linkes Blinken und rechtes Blinken) von sEMG, die für Simulations- und Überwachungsaufgaben leicht zu realisieren sind. Aus den Simulationsergebnissen erzielte unser System eine Viermusterklassifizierung mit einer Genauigkeit von 95,1%.

1. Einleitung

Während der Augenbewegungen besteht ein Potential über die Hornhaut und die Netzhaut, und es ist die Grundlage für das Elektrookulogramm (EOG). Das EOG kann durch einen Dipol modelliert und in medizinischen Systemen verwendet werden. Mehrere EOG-basierte Human-Computer-Interface-Studien sind in der Literatur zu finden. Beispielsweise wird ein mit Augenbewegungen gesteuerter Rollstuhl für behinderte und ältere Menschen entwickelt. Die Augenbewegungssignale und die Sensorsignale werden kombiniert, und sowohl Richtung als auch Beschleunigung werden gesteuert. Oberflächenelektromyogrammsignale (sEMGs) werden über der Hautoberfläche detektiert und durch die elektrische Aktivität der Muskelfasern während der Kontraktion erzeugt . Bewegte Muskeln können durch Analyse von sEMGs erkannt werden. Eine der wichtigsten Anwendungen von sEMGs ist die Steuerung künstlicher Beine. Obwohl die Kopfbewegung, die eine natürliche Geste ist, verwendet werden kann, um eine bestimmte Richtung anzuzeigen , können schwerbehinderte Menschen Hals und Kopf nicht bewegen. Viele dieser Menschen können jedoch Gesichtsmuskelbewegungen ausführen. sEMG ist eine Möglichkeit, Gesichtsmuskelaktivitäten zu untersuchen, indem die Aktionspotentiale von kontrahierenden Fasern aufgezeichnet werden. sEMG kann mit Oberflächenelektroden nachgewiesen werden, die einfach anzuwenden und nichtinvasiv sind und keine Gesundheits- und Sicherheitsrisiken für die Benutzer darstellen. Computersysteme können auch unter Verwendung von Gesichts-sEMG-Signalen gesteuert werden. Diese Computersysteme können Gesichtsbewegungen (linkes Blinken, rechtes Blinken und Beißen) mithilfe von sEMG-Sensoren erkennen. Darüber hinaus können EOG-, Elektroenzephalogramm- (EEG) und EMG-Signale in Echtzeit klassifiziert werden und bewegliche Roboter mithilfe eines Klassifikators für künstliche neuronale Netze steuern.

Bei der Untersuchung der Möglichkeit, EOGs für eine Mensch-Computer-Schnittstelle zu verwenden, wird die Beziehung zwischen dem Blickwinkel und einem EOG bestimmt. Eingehende Studien haben ergeben, dass die sich langsam ändernde Grundliniendrift die Schätzung kontinuierlicher EOG-Signale erschwert und diese Drift nur in Gleichstromsignalen (DC) in der Schaltung auftritt. Um dieses Problem zu lösen, schlug unser System zuvor die Verwendung von Wechselstrom (AC) von EOGs vor, um die Grundliniendrift durch Segmentierung des Signals zu reduzieren . In diesen Beiträgen haben wir das Mauszeigersteuerungssystem mit unserer EOGs-Technik vorgestellt. Die Anfangsschwellen der Augenbewegungsklasse (rechtes, linkes und freiwilliges Blinken) werden empirisch für jeden Benutzer individuell bestimmt. Zwei Augenbewegungsklassen (rechts und links) befehlen dieselbe Bewegung des Mauszeigers. In diesen Papieren ist die Augenbewegung der diagonal unteren rechten Richtung ein Befehl der Klickverarbeitung. Darüber hinaus ist das freiwillige Blinken auch ein Befehl zur Klickverarbeitung. Diese Systeme haben jedoch ein Problem, bei dem die Gesichts-sEMG-Signale für EOG-Signale verrauscht werden.

In dieser Studie entwickeln wir ein EOG-sEMG Human Interface System zur Kommunikation. Unser vorgeschlagenes EOG-Gerät hat nicht das Problem von Artefakten durch Augenblinzeln. Wir wenden einen Algorithmus an, der sowohl die dynamische Variation des DC-Elements als auch die Musterklassifizierung des AC-Elements verwendet. Diese Segmentierung des Signals reduziert die Grundliniendrift. Obwohl es eine 3-Elektroden-Methode gab, mit der vertikale und horizontale Komponenten in EOG gemessen werden konnten, die während der EEG-Messung als Rauschen angesehen wurden, verwendet unser EOG-System immer noch Kreuzkanäle, die 4 Elektroden verwenden, um sowohl die Genauigkeit der EOG-Messung zu verbessern als auch den EOG-sEMG „Dual-Modality“ -Prozess gleichzeitig zu realisieren. Darüber hinaus haben die Cross-Channel-EOG-Signale eine ähnliche Leistung wie die Plus-Channel-Methode, die in der EOG-Messung weit verbreitet ist. Darüber hinaus hat die Elektrodenposition des Cross-Channel-EOG-Signalverfahrens eine gute Eigenschaft, dass sEMG auch gleichzeitig effektiv gemessen werden kann. Im Vergleich zu anderen Papieren ist dies ein nützliches Verdienst.

Im Vergleich zu anderen verwandten Forschungen zu Mensch-Computer-Schnittstellen zur Unterstützung von Menschen mit Behinderungen wie Eye-Tracking-Systemen, die Bildverarbeitung verwenden, hat das EOG-sEMG basierend auf unserem Vorschlag Mensch-Computer-Schnittstelle starke Anti-Interferenz-Fähigkeit von der Umgebung wie Lichter und Geräusche. Die Patienten könnten diese Art von Schnittstelle auch ohne Sehkraft verwenden. Insbesondere die ALS-Patienten konnten auch im Endstadium noch ihre Augäpfel und Muskeln um die Augen herum kontrollieren, in denen sie das EOG-sEMG basierend auf unserem Vorschlag verwenden konnten Mensch-Computer-Schnittstelle auch. Obwohl Bildverarbeitungsgeräte weit verbreitet sind, weil sie intuitiv und berechenbarer sind, bietet das EOG-sEMG, das auf unserem Vorschlag Mensch-Computer-Schnittstelle basiert, immer noch eine gute Wahl für Schwerbehinderte.

In diesem Beitrag schlagen wir eine Technik vor, mit der Gesichtsmustererkennung durch Aufzeichnung der EOGs und sEMGs durchgeführt werden kann. Um die Leistung unserer vorgeschlagenen Methode zu beweisen, haben wir Schritt für Schritt 3 verwandte Experimente durchgeführt. Obwohl zunächst bis zu 7 Klassen erkannt werden konnten, die sich mit dem tatsächlichen Zustand der Patienten und den anfänglichen Genauigkeitstests befassen, wählen wir nur zwei Klassen (linke und rechte Bewegung) von EOG und zwei Klassen (linkes Blinken und rechtes Blinken) von sEMG, die für Simulations- und Überwachungsaufgaben leicht zu realisieren sind. Als nächstes führten wir Experimente mit Zeicheneingaben durch, indem wir unser vorgeschlagenes System mit diesen 4 Klassen verwendeten. Die experimentellen Teilnehmer waren gesunde Männer in den Zwanzigern, die sich bereit erklären, ohne Zwang an unseren Experimenten teilzunehmen. Aus diesen Experimenten haben wir gezeigt, dass die Vier-Muster-Erkennung unseres vorgeschlagenen Systems einfach zu erlernen und zu verwenden ist. Darüber hinaus haben wir unsere vorgeschlagene vereinfachte Methode (Software, die Zeicheneingabe mit einem Klick (eine Mustererkennung) durchführen kann) für schwerbehinderte Personen (Muskeldystrophie-Patienten) angewendet.

2. Das Messsystem

2.1. Cross-Channels

Wie in Abbildung 1 (a) gezeigt, wird die Plus-Channel-Methode in der vorherigen Forschung häufig als die konventionellste Methode zur Aufzeichnung von EOG-Signalen verwendet: Die horizontalen Signale wurden von Kanal 1 (CH1) und die vertikalen Signale wurden von Kanal 2 (CH2) aufgezeichnet . In diesem Papier wird zur Verbesserung der Genauigkeit der EOG-Signale eine neue Cross-Channel-Methode vorgeschlagen, wie in Abbildung 1 (b) gezeigt. Die horizontale und die vertikale signale könnte aufgezeichnet werden durch beide kanäle zur gleichen zeit. Es ist viel einfacher, Daten mit doppelten Signalen zu analysieren.

Abbildung 1

Konventionelles Verfahren (a) und das Cross-Channel-Verfahren des EOG (b) .

2.2. Das EOG-sEMG-Messsystem

In diesem Unterabschnitt wird das Design des EOG-EMG-Messsystems vorgeschlagen. Abbildung 2 zeigt das formale Schema für die Erfassung und Analyse der EOG- und sEMG-Signale zur Steuerung und zum Informationsfluss durch das System. Unser vorgeschlagenes System besteht aus vier Komponenten: (1) Verstärker, (2) Filter, (3) A / D-Wandler und (4) Mauszeigersteuerungssystem. Konkret bedeutet dies, dass das System aus fünf Elektroden, einem A/D-Wandler, einem PC und einem Monitor besteht (siehe Abbildung 2). Vier elektroden für die zwei kanäle von sEMG signale sind klebte auf das gesicht, und eine elektrode ist klebte auf der rechten oder linken handgelenk als die boden.

(ein)

(ein)

(ein)
(b)

2.3. Das EOG-sEMG-Sensorgerät

In diesem Unterabschnitt zeigen wir das in dieser Studie verwendete Schnittstellengerät. Abbildung 3 zeigt eine Person, die das Schnittstellengerät trägt. Dieses Schnittstellengerät ähnelt einer Schutzbrille oder Brille und fixiert die Elektroden. Die vom Gerät gemessenen Signale werden über Bluetooth an den PC gesendet. Die gesendeten Daten sind in Abbildung 4 dargestellt. Die gemessenen Signale sind Gleichströme für zwei EOG-Kanäle (2 ch), die CH1 und CH2 sind, und Wechselströme für zwei EOG-Kanäle (CH3 und CH4). In der gleichen zeit, 2 ch signale von sEMG sind auch gemessen, die sind CH5 und CH6. Wir werden die Details der gemessenen Daten im folgenden Abschnitt zeigen.

Abbildung 3

Schnittstellengerät zur Befestigung der Elektroden im Gesicht.

Abbildung 4

Daten vom Schnittstellengerät gesendet. Die Signale sind sEMG 2 ch und EOG 2 ch. Die EOGs messen die AC- und DC-Signale.

3. Das EOG-Aufzeichnungssystem

In diesem Abschnitt stellen wir das EOG-Aufzeichnungssystem vor. Unser vorgeschlagenes EOG-System basiert auf zwei Strömungen: (1) dem Verstärker und dem Tiefpassfilter (DC-Element) und (2) dem Verstärker, dem Tiefpassfilter und dem Hochpassfilter (AC-Element). Nach Aufnahme der Signalamplitude (1000 Mal) und Rauschunterdrückungsmaßnahmen für das Biopotential-Datenerfassungssystem werden vier Arten von Augenbewegungen (rechts, links, oben und unten) genau erkannt und die elektronische Rauschunterdrückung ist ebenfalls erfolgreich. Es ist zu beachten, dass die horizontalen EOG-Signale stärker sind als die vertikalen EOG-Signale. Das liegt daran, dass vertikale Sakkaden langsamer sind als horizontale Sakkaden und abwärts gerichtete Sakkaden am langsamsten sind . Die Abbildungen 5-8 zeigen, dass die vier Augenbewegungen (rechts, links, oben und unten) deutlich unterschiedlich sind. Darüber hinaus sind CH1 und CH2 Gleichstromsignale, die zur Aufzeichnung der kontinuierlichen Bewegungen der Augen verwendet werden können. CH3 und CH4 sind AC-Signale des EOG. Daher reagieren CH3 und CH4 stark nur auf Augenbewegungen.

Abbildung 5

Das EOG signalisiert die Aufnahme von Samples in CH1, CH2, CH3 und CH4 (rechts).

Abbildung 6

EOG signal aufnahme proben in CH1, CH2, CH3, und CH4 (links).

Abbildung 7

EOG signal aufnahme proben in CH1, CH2, CH3, und CH4 (up).

Abbildung 8

EOG signal aufnahme proben in CH1, CH2, CH3, und CH4 (unten).

Da sich die EOG−Signale für alle vier Augenbewegungen ändern, haben wir CH1 + CH2 importiert, das für die vertikalen Signale und CH1 – CH2 für die horizontalen Signale verwendet wird. In den Experimenten baten wir jeden Teilnehmer, seine Augäpfel zu bewegen, um der nächsten Sequenz zu folgen: Mitte-rechts-Mitte-links-Mitte-oben-Mitte-unten-Mitte. Die Ergebnisse dieser beiden neuen Verfahren sind in Abbildung 9 dargestellt.

Abbildung 9

EOG signal aufnahme proben in CH1 + CH2 (oben) und CH1− CH2 (unten).

4. sEMG-Signalaufzeichnung

Abbildung 2 zeigt das formale Schema für die Erfassung und Analyse der sEMG-Signale zur Steuerung und zum Informationsfluss durch das System. Unser System besteht aus diesen vier Komponenten: (1) Oberflächenelektroden, (2) Verstärker, (3) Hochpassfilter und (4) Personal Computer zur sEMG-Signalklassifizierung. Die von den Oberflächenelektroden erfassten sEMG-Signale werden vor der Datenerfassung verstärkt und gefiltert, um Rauschartefakte zu reduzieren und spektrale Komponenten zu verbessern, die die Informationen für die Datenanalyse enthalten. Zwei Kanäle von sEMG-Signalen können verwendet werden, um Gesichtsbewegungen zu erkennen. Um den Gleichspannungspegel und das Rauschen der 60-Hz-Stromleitung zu entfernen, wird der Hochpassfilter verwendet. Die Grenzfrequenz des Hochpassfilters beträgt 66,7 Hz.

Die Aufnahmen in Abbildung 10 zeigen die angewandten Lärmreduzierungsmaßnahmen in unserem System. Infolgedessen unterscheiden sich die Daten der drei sEMG-Klassen (rechtes Blinken, linkes Blinken und Beißen) deutlich. Nach dem Filtern und Verstärken (ungefähr 1000 Mal) werden die sEMG-Signale digitalisiert und dann an den Personal Computer übertragen. Die Abtastfrequenz der Messdaten beträgt 1 kHz auf einem Band von 0 Hz bis 500 Hz.

Abbildung 10

Aktivierungsstufen des zweikanaligen sEMG.

Die sEMG-Signale werden durch die Moving Average Processing verarbeitet. Die gleitende Durchschnittsverarbeitung berechnet den rektifizierten und ungewichteten Mittelwert der vorherigen Datenpunkte. Dann wird der Wert nach der gleitenden Durchschnittsverarbeitung basierend auf dem Schwellenwert als „aktiv“ oder „inaktiv“ bestimmt. Die Schwellenwerte (CH5 und CH6) werden je nach Benutzer eingestellt. Diese Methode ist notwendig, um den Schwellenwert jedes Benutzers festzulegen. Darüber hinaus reagiert dieses System nicht auf das übliche Blinken. Abbildung 11 zeigt ein Diagramm dieses Prozesses.

Abbildung 11

Diagramm des Prozesses. SEMG-Signale werden berechnet, um die gleichgerichteten und gleitenden Durchschnitte zu erhalten. Das Signal wird basierend auf dem Schwellenwert als aktiv oder inaktiv bestimmt.

5. Mustererkennungsalgorithmus

In diesem Abschnitt stellen wir unseren vorgeschlagenen EOG-sEMG-Mustererkennungsalgorithmus vor. Abbildung 12 zeigt den Gesamtablauf unseres vorgeschlagenen Systems. Dieser Prozess besteht aus sich wiederholenden Schritten. Die Mustererkennung besteht aus fünf Klassen: zwei Klassen (linke und rechte Bewegung) für das EOG und die drei Klassen (linkes Blinken, rechtes Blinken und Beißen) für das sEMG.

Abbildung 12

Ablauf des EOG-sEMG-Mustererkennungsalgorithmus.

Wenn die sEMG-Daten nach der Signalverarbeitung einen Schwellenwert überschreiten, wird das Muster der sEMG-Daten nur durch CH1 (rechte blinkähnliche Bewegung) oder CH2 (linke blinkähnliche Bewegung) oder beides (das Biss- oder das starke Blinken) bestimmt. Unser vorgeschlagener Algorithmus initialisiert die DC-Elemente des EOG, nachdem die sEMG-Aktivität abgeschlossen ist. Wenn sich das AC-Element des EOG nicht geändert hat (Augen bewegen sich nicht) und das sEMG nicht aktiv ist, initialisiert unser vorgeschlagener Algorithmus den Referenzwert, den die Augen als Vorderseite betrachten („EOG-Erneuerung“ in Abbildung 12). Mit anderen Worten, unser System stellt fest, dass die Augen nach vorne schauen, da das Element nicht geändert wird. Zu diesem Zeitpunkt wird unser System als Referenzwert der DC-Elemente aktualisiert. Danach verwendet unser System den Betrag der Änderung des Gleichstroms von diesem Referenzwert.

Aus der experimentellen Regel wird der Schwellenwert zwischen aktiv und inaktiv festgelegt. Als nächstes, wenn sich die Augen bewegen, vergleicht unser Algorithmus den sich ändernden Bereich von CH1 + CH2 und CH1 − CH2. Wenn CH1 – CH2 größer ist, führt unser Algorithmus den Bestimmungsprozess des EOG durch. Wenn CH1 + CH2 größer ist, bestimmt unser Algorithmus, dass sich die Augen in vertikaler Richtung bewegt haben, da die EOG-Daten für die vertikale Richtung der Augen den EOG-Daten für das Blinzelmuster ähnlich sind. Darüber hinaus zeigen unsere experimentellen Ergebnisse, dass viele Menschen die Aufwärtsrichtung des Auges nicht leicht kontrollieren können.

Als nächstes stellen wir den EOG-Mustererkennungsalgorithmus vor, ein Beispiel für die Verarbeitung der EOG-Mustererkennung in Abbildung 13. Obwohl Abbildung 9 zeigt, dass alle Augenbewegungen durch Überprüfen der Werte für CH1 + CH2 und CH1 − CH2 ausgeführt werden können, ist der Pattern-Marching-Algorithmus weiterhin erforderlich, um die durch das Driftproblem verursachte Grundlinienverschiebung zu lösen. Die algorithmus schritte von Abbildung 13 sind wie folgt: (1) die DC und AC elemente der EOG überschreiten die schwelle für die richtige richtung. Es wird festgestellt, dass dies die richtige Richtung der Augen ist.(2) Das DC-Element überschreitet weiterhin den Schwellenwert für die richtige Richtung und das AC-Element kehrt zur Grundlinie zurück. Die Richtung der Augen ist weiterhin nach rechts.(3) Das AC-Element ändert sich stark in die negative Richtung, wenn die Augenrichtung in die Mittelposition zurückkehrt.(4) Das AC-Element und das DC-Element kehren zur Grundlinie jedes Elements zurück. Anschließend wird die Baseline aktualisiert.Unser System führt mit diesem Algorithmus die Bestimmung der rechten und linken Augenbewegung durch. Dieser Algorithmus ermöglicht es, die Richtung zu bestimmen. Dies ist ein schwieriger Prozess, wenn nur das AC-Element verwendet wird.

Abbildung 13

Beispiel für die Verarbeitung der EOG-Mustererkennung. Die fett gedruckten Zahlen stellen die Algorithmusschritte dar.

6. Experimente und Ergebnisse

Um die Wirksamkeit unseres vorgeschlagenen Systems zu testen, haben wir zwei Experimente durchgeführt: Eines ist ein Mustererkennungstest und das andere ist ein Zeicheneingabetest.

6.1. Mustererkennungsexperiment

Zunächst führten wir Musterklassifizierungsexperimente für die beiden Augenbewegungsklassen (rechts und links) und die drei Gesichts-sEMG-Klassen (rechts blinzeln, links blinzeln und beißen) durch. Das Intervall jeder Aktion beträgt 3 Sekunden (siehe Abbildung 14). Jeder Teilnehmer führte jede Augenbewegung neun Mal aus. Darüber hinaus haben wir getestet, ob unser vorgeschlagenes System ein normales Blinken ablehnen kann. Wir haben den normalen Blink-Ablehnungstest 30 Mal durchgeführt. Die Teilnehmer der Experimente waren acht gesunde Männer, die alle die Zahlen unseres Labors in ihren Zwanzigern sind, die ihre Zustimmung gaben, an diesem Experiment teilzunehmen.

Abbildung 14

Grundlegende Aufgaben im Mustererkennungsexperiment.

6.2. Experimentelle Ergebnisse der Mustererkennung

Die experimentellen Ergebnisse der Mustererkennung sind in Tabelle 1 dargestellt, und die letzte Zeile zeigt die Leistungsbewertung (PE) jedes Musters gemäß der 5-Punkte-Regel (bei 5 Punkten korrigieren, bei 2 Punkten ablehnen und bei 0 Punkten verfehlen). Ablehnen bedeutet, dass das Eingabemuster nicht reagiert hat. Miss bedeutet, dass das Eingabemuster eine falsche Antwort war. Aus den Experimenten ist die EOG-Mustererkennung (rechts und links) unseres vorgeschlagenen Systems zuverlässig. Aus diesen experimentellen Ergebnissen zeigt unser vorgeschlagenes System eine gute Leistung bei der Erkennung der vier Klassen (rechts, links, rechts blinken und links blinken). Die durchschnittliche Erkennungsrate betrug 95,1%, die durchschnittliche Ausschussrate 1,4% und die durchschnittliche Fehlquote nur 3,5%, und die durchschnittliche PE beträgt 4,79 von 5.

Die sEMG-Bissmustererkennung ist jedoch nicht so gut wie erwartet. Ein Grund dafür ist, dass manche Menschen Probleme mit okklusalen Unregelmäßigkeiten haben, die zu Abweichungen zwischen ihren Wangen führen. Diese Art von Bissaktionen wurde normalerweise als rechtes oder linkes Blinken erkannt. Ein weiterer Grund ist, dass wir eine Schwellenwertabstimmungsmethode zur Unterscheidung des normalen Blinzelns verwendet haben und der normale Blinzelablehnungstest eine Erfolgsrate von 97% (232/240) hatte. Bei dieser Methode werden die Bissaktionen, die den Schwellenwert nicht überschreiten konnten, genauso zurückgewiesen wie das normale Blinken.

6.3. Zeicheneingabeexperiment

Als nächstes führten wir das Zeicheneingabeexperiment mit den vier Klassen (rechts (EOG), links (EOG), rechts blinkend (sEMG) und links blinkend (sEMG)) durch. Die Alphabet-Satzeingabesoftware, die Leiter , ist in Abbildung 15 dargestellt. Wir haben die vierteilige Auswahlmethode verwendet. Wir haben die vier Muster wie folgt zugewiesen: Rechts (EOG) ist der Befehl zur Auswahl des unteren rechten Bereichs. Left (EOG) ist der Befehl zur Auswahl des unteren linken Bereichs. Right Blink (sEMG) ist der Befehl, um den rechten Bereich auszuwählen. Linkes Blinken (sEMG) ist der Befehl zum Auswählen eines höheren linken Bereichs.Der Benutzer wiederholte die Filterung von vier Mustern, bis das Zeichen des letzten Musters ausgewählt wurde. Das Kontrollintervall betrug 0,1 s. Wir führten Experimente mit der Eingabeaufgabe „Miyazaki“ (8 Zeichen: 4 Operationen für 1 Zeichen) durch, die der Name unserer Universität ist. Die Teilnehmer der Experimente waren neun gesunde Männer in den Zwanzigern, die ihre Zustimmung zur Teilnahme an diesem Experiment gaben. Zu den experimentellen Teilnehmern gehörten sechs Personen, die Erfahrung mit diesem System hatten.

Abbildung 15

Die Alphabet-Satzeingabesoftware für die „Miyazaki“ -Aufgabe.

6.4. Experimentelle Ergebnisse der Zeicheneingabe

Wir haben fünf Versuche mit der Eingabeaufgabe „Miyazaki“ durchgeführt. Wir zählten die Anzahl der Fehlschüsse und die Zeitdauer bis zum Ende der Eingabe. Die Versuchsergebnisse sind in Tabelle 2 dargestellt. Aus diesen Experimenten betrug die durchschnittliche Zeit eines Versuchs 50,0 s. Die durchschnittliche Eingabezeit eines Buchstabens des Alphabets betrug in unserem vorgeschlagenen System ungefähr 6,3 s (50 s / 8 Zeichen). Die Zeit des schnellsten Teilnehmers, K.M., betrug 4,5 s (35,8 s / 8 Zeichen). Wenn wir außerdem die Teilnehmer M.F, M.S und R.K, die unser vorgeschlagenes System über 100 h verwendet hatten, als erfahren und die anderen 6 Teilnehmer, die unser vorgeschlagenes System nicht zufällig als unerfahren verwendeten, betrachteten, betrug die durchschnittliche Zeit der erfahrenen Teilnehmer 49.2 s und die der unerfahrenen Teilnehmer betrug 51,5 s. Auch die Missrate der unerfahrenen Teilnehmer war gering. Aus diesen Ergebnissen gehen wir davon aus, dass ein Vorteil unseres vorgeschlagenen Systems darin besteht, dass die Benutzer nicht viel Schulung benötigen.

Wir haben die Leistung unserer vorgeschlagenen Methode mit der EOG-Methode und der sEMG-Methode verglichen. Die EOG-Methode verwendete Bewegungen des rechten und linken Auges nur als 2-teilige Auswahlmethode. Die sEMG methode verwendet rechts blinkt und links blinkt nur als die 2-division auswahl methode. Wir haben die gleichen Experimente von fünf Versuchen der „Miyazaki“ -Eingabeaufgabe mit denselben Teilnehmern durchgeführt. Diese Versuchsergebnisse sind in Tabelle 3 dargestellt. Es ist ersichtlich, dass unsere vorgeschlagene Methode die beste Leistung aller drei Methoden aufweist. Wir haben die für eine Operation erforderliche Zeit berechnet. Die EOG-Methode betrug 1,93 s, die sEMG-Methode 1,65 s und unsere vorgeschlagene Methode 1,56 s. Darüber hinaus war die Fehlrate der sEMG-Methode geringer als die unserer vorgeschlagenen Methode. Einer der schlüssigsten Gründe ist, dass die Anzahl der Operationen (7 Operationen für 1 Zeichen) bei der 2-teiligen Auswahlmethode größer ist als bei der 4-teiligen Auswahlmethode.

Wie wir in diesem Abschnitt erwähnt haben, könnten 2 oder 4 Muster von unserem vorgeschlagenen System erkannt werden. Alle diese Muster könnten als getrennte Funktionen zugewiesen werden, und, Umgang mit dem Zustand der Benutzer, Alle diese Muster könnten durch eine beliebige Kombination von ihnen verwendet werden. Im nächsten Abschnitt werden wir die Anwendung unseres vorgeschlagenen Systems für Schwerbehinderte mit nur 1 Muster diskutieren.

7. Experimentelle Ergebnisse der Schwerbehinderten

In diesem Beitrag haben wir unsere vorgeschlagene Methode für Schwerbehinderte (Muskeldystrophie-Patienten) angewendet. Wir haben die Genehmigung der Ethikkommission der Universität von Miyazaki erhalten. Das Experiment von Abschnitt 6 mit komplizierter Bedienung wird die Menschen mit Behinderungen sehr ermüden, so dass Experimente so durchgeführt wurden, dass ein Zeichen mit einem einzigen Klick mit EOG oder sEMG eingegeben wird. Es wurde nur ein Muster aus EOG- oder sEMG-Mustern ausgewählt, das leicht verwendet werden konnte. Bei dieser Zeicheneingabemethode wird das Zeichen automatisch von der Software ausgewählt; Der Benutzer kann durch Klicken ausgewählt werden, wenn das Zielzeichen von der Software ausgewählt wurde. In diesem Experiment erfolgt die Klickverarbeitung durch die Erkennung von EOG- oder sEMG-Aktivität.

Dieses Experiment hatte die beiden Probanden. Um die Einflüsse der körperlichen Verfassung von Probanden und Umgebungen zu minimieren, haben wir die gleichen Experimente 10 Mal zu verschiedenen Anlässen an verschiedenen Tagen durchgeführt. Die kontinuierlichen 30 Minuten in einem Experiment wurden zum Testen der japanischen Zeicheneingabe verwendet. Tabelle 4 zeigt die Versuchsergebnisse. Aus Tabelle 4 geht hervor, dass die Erkennungsrate der sEMG-Methode 99,2% und die Erkennungsrate der EOG-Methode 98,0% beträgt. Die Eingabezeit war im Vergleich zu gesunden Probanden etwa 1 bis 2 Sekunden lang. Daher haben die behinderten Personen mit einem einzigen Klick das gleiche Ergebnis wie gesunde. Aus diesen Ergebnissen können wir sagen, dass unser Ansatz bei schwerbehinderten Menschen wirksam ist.

8. Schlussfolgerungen

In dieser Studie stellten wir ein EOG-sEMG-Gerät für die Mensch-Computer-Schnittstelle vor, das für Patienten mit Amyotropher Lateralsklerose oder anderen Krankheiten entwickelt wurde. Wir verwenden sowohl Kreuzkanäle als auch parallele Linienkanäle im Gesicht mit denselben 4 Elektroden. Dieses System könnte EOG- und sEMG-Signale als Dual-Threading zur Mustererkennung gleichzeitig aufzeichnen. Darüber hinaus reduziert unser vorgeschlagenes Verfahren unter Verwendung der Kombination von AC- und DC-Elementen von EOG die entsprechende Drift und ermöglicht einen kontinuierlichen Betrieb bei der Aufzeichnung von Augenbewegungen. Die experimentellen Ergebnisse zeigten, dass unsere vorgeschlagene Methode für die Erkennung von vier Mustern (rechts (EOG), links (EOG), rechts (sEMG) und links (sEMG)) wirksam ist. Insbesondere zeigte unsere vorgeschlagene Methode eine gute Leistung für die Zeicheneingabeexperimente. Die Miss-Rate betrug nur 1,4%. Darüber hinaus zeigten die Ergebnisse unerfahrener und erfahrener Teilnehmer einen sehr geringen Unterschied. Aus diesen Ergebnissen geht hervor, dass ein Vorteil unseres vorgeschlagenen Systems darin besteht, dass die Benutzer nicht viel Schulung benötigen.

Darüber hinaus haben wir unsere vorgeschlagene Methode mit der EOG-Methode und der sEMG-Methode verglichen. Unsere vorgeschlagene Methode benötigte die kürzeste Zeit für die Zeicheneingabe. Unsere vorgeschlagene Mensch-Computer-Schnittstelle kann im EOG-System, im sEMG-System und im EOG-sEMG-System angewendet werden. Es ist möglich, unser System für Patienten zu verwenden, die nur ihre Augenbewegungen kontrollieren können. Es ist auch möglich, nur die sEMG-Signale mit einer hohen Erfolgsrate zu verwenden, bis der Benutzer mit dem Gerät vertraut ist. Unsere vorgeschlagene Mensch-Computer-Schnittstelle hat den Vorteil, dass sie situationsabhängig eingesetzt werden kann.

Wir hoffen, mit Patienten, die an Amyotropher Lateralsklerose oder anderen Krankheiten leiden, über unser System kommunizieren zu können. In unserer zukünftigen Arbeit planen wir, viele Probanden und mehr schwerbehinderte Menschen zu testen.

Konkurrierende Interessen

Diese Forschung wurde von SYOWA Co. Ltd.

Danksagung

Diese Forschung wurde von der Miyazaki Prefectural Industrial Support Foundation (R&D) und einem Stipendium für junge Wissenschaftler (B) (23700668) KAKEN unterstützt. Die Autoren danken Herrn Kazuhiko Inami und Herrn Kazuya Gondou. Sie würdigen dankbar die Arbeit früherer und gegenwärtiger Mitglieder ihres Labors.