EOG-sEMG Human Interface for Communication

Streszczenie

celem pracy jest przedstawienie sygnałów elektrookulogramu (EOG) i elektromiogramu powierzchniowego (sEMG), które mogą być wykorzystywane jako interfejs człowiek-komputer. Ustanowienie skutecznego alternatywnego kanału komunikacji bez jawnej mowy i ruchów rąk jest ważne dla poprawy jakości życia pacjentów cierpiących na stwardnienie zanikowe boczne, dystrofię mięśniową lub inne choroby. W niniejszym artykule proponujemy system interfejsu człowiek-komputer EOG-sEMG do komunikacji za pomocą kanałów poprzecznych i równoległych linii na powierzchni za pomocą tych samych elektrod. System ten może rejestrować sygnały EOG i sEMG jako „dual-modality” do rozpoznawania wzorców jednocześnie. Chociaż można było rozpoznać aż 4 wzorce, dotyczące stanu pacjentów, wybieramy tylko dwie klasy (ruch lewy i prawy) EOG oraz dwie klasy (mrugnięcie lewe i prawe) sEMG, które łatwo można zrealizować do zadań symulacyjnych i monitorujących. Na podstawie wyników symulacji nasz system uzyskał klasyfikację czterech wzorów z dokładnością do 95,1%.

1. Wprowadzenie

podczas ruchów gałek ocznych istnieje potencjał w rogówce i siatkówce i jest podstawą do elektrookulogramu (EOG). EOG może być modelowany przez dipol i stosowany w systemach medycznych. W literaturze można znaleźć kilka opartych na EOG badań interfejsu człowiek-komputer. Na przykład wózek inwalidzki sterowany ruchami oczu jest opracowywany dla osób niepełnosprawnych i starszych. Sygnały ruchu oka i sygnały czujnika są połączone, a zarówno kierunek, jak i przyspieszenie są kontrolowane . Sygnały elektromiogramu powierzchniowego (sEMGs) są wykrywane na powierzchni skóry i są generowane przez aktywność elektryczną włókien mięśniowych podczas skurczu . Poruszające się mięśnie można wykryć analizując sEMG. Jednym z ważnych zastosowań sEMGs jest kontrolowanie sztucznych nóg. Chociaż ruch głowy, który jest naturalnym gestem, może być użyty do wskazania określonego kierunku, osoby poważnie niepełnosprawne nie mogą poruszać szyją i głową. Jednak wiele z tych osób może zatrudniać ruch mięśni twarzy. sEMG jest sposobem studiowania aktywności mięśni twarzy poprzez rejestrowanie potencjałów działania z kurczących się włókien. sEMG można wykryć za pomocą elektrod powierzchniowych, które są łatwe w aplikacji i nieinwazyjne oraz nie stanowią zagrożenia dla zdrowia i bezpieczeństwa użytkowników. Systemy komputerowe mogą być również sterowane za pomocą sygnałów sEMG twarzy . Te systemy komputerowe mogą rozpoznawać ruchy twarzy (mruganie w lewo, mruganie w prawo i ugryzienie) za pomocą czujników sEMG. Ponadto sygnały EOG, elektroencefalogram (EEG) i EMG mogą być klasyfikowane w czasie rzeczywistym i mogą sterować ruchomymi robotami za pomocą klasyfikatora sztucznych sieci neuronowych .

badając możliwość zastosowania EOG dla interfejsu człowiek-komputer, określa się zależność między kątem widzenia a EOG. Dogłębne badania wykazały, że powoli zmieniający się dryf bazowy utrudnia oszacowanie ciągłych sygnałów EOG, a dryf ten pojawia się tylko w Sygnałach prądu stałego (DC) w obwodzie. Aby rozwiązać ten problem, nasz system wcześniej zaproponował użycie prądu przemiennego (AC) EOG w celu zmniejszenia dryfu bazowego poprzez segmentację sygnału . W tych artykułach wprowadziliśmy system sterowania kursorem myszy przy użyciu naszej techniki EOGs. Początkowe progi klasy ruchu oczu (prawe, lewe i dobrowolne mruganie) są empirycznie ustalane indywidualnie dla każdego użytkownika. Klasy ruchu dwóch oczu (prawe i lewe) są komendą tego samego ruchu kursora myszy. W tych dokumentach ruch oczu po przekątnej w prawym dolnym kierunku jest poleceniem przetwarzania kliknięć. Ponadto dobrowolne mrugnięcie jest również poleceniem przetwarzania kliknięć. Jednak systemy te mają problem, w którym sygnały sEMG twarzy stają się hałaśliwe dla sygnałów EOG.

w tym badaniu opracowujemy system interfejsu ludzkiego EOG-sEMG do komunikacji. Proponowane przez nas urządzenie EOG nie ma problemu z artefaktami wynikającymi z mrugania okiem. Stosujemy algorytm, który wykorzystuje zarówno dynamiczną zmienność elementu DC, jak i klasyfikację wzoru elementu AC. Ta segmentacja sygnału zmniejsza dryft bazowy. Chociaż istniała metoda 3-elektrodowa, która mogła mierzyć pionowe i poziome komponenty w EOG , co było uważane za hałas podczas pomiaru EEG, nasz system EOG nadal wykorzystuje kanały krzyżowe, które wykorzystują elektrody 4, aby zarówno poprawić dokładność pomiaru EOG, jak i zrealizować jednocześnie proces „dual-modality” EOG-sEMG. Ponadto sygnały wielokanałowe EOG mają podobną wydajność do metody plus-channel, która jest szeroko stosowana w pomiarach EOG. Ponadto pozycja elektrody w wielokanałowej metodzie sygnałów EOG ma dobrą cechę, że sEMG może być również skutecznie mierzony w tym samym czasie. W porównaniu z innymi artykułami jest to przydatna zaleta.

w porównaniu z innymi powiązanymi badaniami na temat interfejsów człowiek-komputer w celu Pomocy Osobom Niepełnosprawnym , takimi jak systemy śledzenia wzroku, które wykorzystują przetwarzanie obrazu, EOG-sEMG oparty na naszej propozycji interfejs człowiek-komputer ma silne zdolności przeciwzakłóceniowe ze środowiska, takie jak światła i hałasy. Pacjenci mogli korzystać z tego typu interfejsu nawet bez wzroku. W szczególności pacjenci z ALS mogli nadal kontrolować swoje gałki oczne i mięśnie wokół oczu, nawet w fazie końcowej, w której mogli korzystać z EOG-sEMG w oparciu o naszą propozycję interfejsu człowiek-komputer. Chociaż urządzenia do przetwarzania obrazu są szeroko stosowane ze względu na intuicyjność i przewidywalność, EOG-sEMG oparty na naszej propozycji interfejs człowiek-komputer nadal zapewnia dobry wybór dla osób poważnie niepełnosprawnych.

w tym artykule proponujemy technikę, która może wykonywać rozpoznawanie wzorców twarzy poprzez rejestrowanie EOGs i sEMGs. Aby udowodnić skuteczność naszej proponowanej metody, próbowaliśmy 3 powiązanych eksperymentów krok po kroku. Na początku, chociaż można było rozpoznać aż 7 klas, zajmujących się rzeczywistym stanem pacjentów i wstępnymi testami dokładności, wybieramy tylko dwie klasy (ruch lewy i prawy) EOG oraz dwie klasy (mrugnięcie lewe i prawe) sEMG, które można łatwo zrealizować w zadaniu symulacyjnym i monitorującym. Następnie przeprowadziliśmy eksperymenty wprowadzania znaków za pomocą proponowanego przez nas systemu z tymi 4 klasami. Uczestnikami eksperymentu byli zdrowi mężczyźni po dwudziestce, którzy zgodzili się dołączyć do naszych eksperymentów bez przymusu. Z tych eksperymentów pokazaliśmy, że rozpoznawanie czterech wzorów naszego proponowanego systemu jest łatwe do nauczenia się i użycia. Ponadto zastosowaliśmy naszą zaproponowaną uproszczoną metodę (oprogramowanie, które może wprowadzać znaki jednym kliknięciem (rozpoznawanie jednego wzoru)) dla osób z ciężkimi upośledzeniami (pacjenci z dystrofią mięśniową).

2. Układ pomiarowy

2.1. Cross-Channels

jak pokazano na fig .1(a), metoda plus-channel jest szeroko stosowana jako najbardziej konwencjonalny sposób rejestracji sygnałów EOG w poprzednich badaniach: sygnały poziome były rejestrowane przez kanał 1 (CH1), a sygnały pionowe były rejestrowane przez kanał 2 (CH2). W niniejszym artykule, w celu poprawy dokładności sygnałów EOG, zaproponowano nową metodę wielokanałową, jak pokazano na rysunku 1 (b). Sygnały poziome i pionowe mogą być rejestrowane przez oba kanały w tym samym czasie. Znacznie łatwiej jest analizować dane za pomocą podwójnych sygnałów.

Rysunek 1
metoda konwencjonalna (a) i metoda wielokanałowa EOG (b) .

2.2. System Pomiarowy EOG-sEMG

w niniejszej podsekcji zaproponowano projekt systemu pomiarowego EOG-EMG. Rysunek 2 przedstawia formalny schemat pozyskiwania i analizy sygnałów EOG i sEMG w celu sterowania i przepływu informacji przez system. Proponowany przez nas system składa się z czterech komponentów: (1) wzmacniacza, (2) filtra, (3) konwertera A/D i (4) systemu sterowania kursorem myszy. W szczególności oznacza to, że system składa się z pięciu elektrod, przetwornika A/D, komputera osobistego i monitora (pokazanego na rysunku 2). Cztery elektrody dla dwóch kanałów sygnałów sEMG są wklejane na twarz, a jedna elektroda jest wklejana na prawym lub lewym nadgarstku jako ziemia.

(a)
(a)
(b)
(b)

(a)
(a)(B)
(b)

rysunek 2
: a) przepływ EOG i B) przepływ sEMG. Przepływ EOG i przepływ sEMG używają tych samych pięciu elektrod.

2.3. Urządzenie wykrywające EOG-sEMG

w tej podsekcji pokazujemy urządzenie interfejsu używane w tym badaniu. Rysunek 3 przedstawia osobę noszącą urządzenie interfejsu. To urządzenie interfejsu przypomina gogle lub okulary, mocujące elektrody. Sygnały mierzone przez urządzenie są wysyłane do komputera za pomocą Bluetooth. Przesłane dane przedstawiono na rysunku 4. Zmierzone sygnały to prądy DC dla dwóch kanałów EOG (2 ch), które są CH1 i CH2, oraz prądy AC dla dwóch kanałów EOG (CH3 i CH4). W tym samym czasie mierzy się również 2 sygnały ch sEMG, którymi są CH5 i CH6. Pokażemy szczegóły zmierzonych danych w poniższej sekcji.

Rysunek 3
urządzenie do mocowania elektrod na twarzy.

Rysunek 4
dane wysyłane z urządzenia interfejsu. Sygnały są sEMG 2 ch i EOG 2 ch. EOG mierzą sygnały AC i DC.

3. System rejestracji EOG

w tej sekcji przedstawimy system rejestracji EOG. Proponowany przez nas system EOG opiera się na dwóch przepływach: (1) wzmacniaczu i filtrze dolnoprzepustowym (element DC) oraz (2) wzmacniaczu, filtrze dolnoprzepustowym i filtrze górnoprzepustowym (element AC). Po zarejestrowaniu amplitudy sygnału (1000 razy) i pomiarach redukcji szumów dla biopotencjalnego systemu akwizycji danych, cztery rodzaje ruchów gałek ocznych (w prawo, w lewo, w górę i w dół) są dokładnie rozpoznawane, a elektroniczna redukcja szumów jest również udana. Należy zauważyć, że poziome sygnały EOG są silniejsze niż pionowe sygnały EOG. Jest tak dlatego, że pionowe są wolniejsze niż poziome, a dolne są najwolniejsze . Rysunki 5-8 pokazują, że cztery ruchy oczu (w prawo, w lewo, w górę i w dół) są wyraźnie różne. Co więcej, CH1 i CH2 są sygnałami DC, które mogą być używane do rejestrowania ciągłych ruchów oczu. CH3 i CH4 są sygnałami AC EOG. Dlatego CH3 i CH4 silnie reagują tylko na ruchy oczu.

Rysunek 5
sygnały EOG rejestrujące próbki w CH1, CH2, CH3 i CH4 (po prawej).

Rysunek 6
próbki sygnału EOG w CH1, CH2, CH3 i CH4 (po lewej).

Rysunek 7
próbki sygnału EOG w CH1, CH2, CH3 i CH4 (do góry).

Rysunek 8
próbki sygnału EOG w CH1, CH2, CH3 i CH4 (w dół).

ponieważ sygnały EOG zmieniają się dla wszystkich czterech ruchów oczu, zaimportowaliśmy CH1 + CH2, który jest używany dla sygnałów pionowych i CH1 − CH2 dla sygnałów poziomych. W eksperymentach poprosiliśmy każdego uczestnika, aby poruszył gałkami ocznymi, aby podążał za następną sekwencją: środek-prawo-środek-lewo-środek-Góra-środek-dół-środek. Wyniki tych dwóch nowych procedur przedstawiono na rysunku 9.

Rysunek 9
próbki sygnału EOG w CH1 + CH2 (w górę) i CH1 − CH2 (w dół).

4. zapis sygnału sEMG

Rysunek 2 przedstawia formalny schemat pozyskiwania i analizy sygnałów sEMG w celu sterowania i przepływu informacji przez system. Nasz system składa się z tych czterech elementów: (1) elektrod powierzchniowych, (2) wzmacniacza, (3) filtra górnoprzepustowego i (4) komputera osobistego do klasyfikacji sygnałów sEMG. Sygnały sEMG wykrywane przez elektrody powierzchniowe są wzmacniane i filtrowane przed pozyskaniem danych w celu zmniejszenia artefaktów szumów i wzmocnienia komponentów spektralnych zawierających informacje do analizy danych. Dwa kanały sygnałów sEMG mogą być używane do rozpoznawania ruchu twarzy. Aby usunąć poziom prądu stałego i szum linii zasilającej 60 Hz, stosuje się filtr górnoprzepustowy. Częstotliwość odcięcia filtra górnoprzepustowego wynosi 66,7 Hz.

nagrania na rysunku 10 pokazują zastosowane środki redukcji szumów w naszym systemie. W rezultacie dane trzech klas sEMG (right blink, left blink i bite) są wyraźnie różne. Po filtrowaniu i wzmacnianiu (około 1000 razy) sygnały sEMG są digitalizowane, a następnie przesyłane do komputera osobistego. Częstotliwość próbkowania danych pomiarowych wynosi 1 KHz w paśmie od 0 Hz do 500 Hz.

Rysunek 10
poziomy aktywacji dwukanałowego sEMG.

sygnały sEMG są przetwarzane przez przetwarzanie średniej ruchomej. Przetwarzanie średniej ruchomej oblicza skorygowaną i nieważoną średnią poprzednich punktów danych. Następnie wartość po przetworzeniu średniej ruchomej jest określana jako „aktywna” lub „nieaktywna” na podstawie progu. Progi (CH5 i CH6) są ustawiane według użytkowników. Ta metoda jest niezbędna do ustawienia wartości progowej każdego użytkownika. Co więcej, system ten nie reaguje na zwykłe mruganie. Rysunek 11 przedstawia schemat tego procesu.

Rysunek 11
schemat procesu. Sygnały SEMG są obliczane w celu uzyskania średnich rektyfikowanych i ruchomych. Sygnał jest określany jako aktywny lub nieaktywny na podstawie progu.

5. Algorytm rozpoznawania wzorców

w tej sekcji przedstawimy nasz proponowany algorytm rozpoznawania wzorców EOG-sEMG. Rysunek 12 pokazuje ogólny przepływ naszego proponowanego systemu. Proces ten składa się z powtarzających się kroków. Rozpoznawanie wzorców składa się z pięciu klas: dwóch klas (lewy i prawy ruch) dla EOG i trzech klas (lewy mrugnięcie, prawy mrugnięcie i bite) dla sEMG.

Rysunek 12
przepływ algorytmu rozpoznawania wzorców EOG-sEMG.

Jeśli dane sEMG po przetworzeniu sygnału przekroczą próg, wzór danych sEMG jest określany tylko przez CH1 (prawy Mrugający ruch) lub tylko CH2 (lewy Mrugający ruch) lub oba (bite lub silne mruganie). Proponowany przez nas algorytm inicjalizuje elementy DC EOG po zakończeniu aktywności sEMG. Ponadto, gdy element AC EOG nie zmienił się (oczy nie poruszają się), a sEMG nie jest aktywny, nasz proponowany algorytm inicjalizuje wartość odniesienia, którą oczy patrzą jako przód („odnowienie EOG” na rysunku 12). Innymi słowy, nasz system określa, że oczy patrzą na przód, ponieważ element AC nie ulega zmianie. W tym czasie nasz system aktualizuje się jako wartość odniesienia elementów DC. Następnie nasz system wykorzystuje ilość zmiany w DC z tej wartości referencyjnej.

z reguły eksperymentalnej ustawia się próg oceny pomiędzy aktywną i nieaktywną. Następnie, gdy poruszają się oczy, nasz algorytm porównuje zmienny zakres CH1 + CH2 i CH1-CH2. Gdy CH1-CH2 jest większy, nasz algorytm wykonuje proces wyznaczania EOG. Gdy CH1 + CH2 jest większy, nasz algorytm określa, że oczy poruszały się w kierunku pionowym, ponieważ dane EOG dla kierunku pionowego oczu są podobne do danych EOG dla wzorca mrugania. Ponadto nasze wyniki eksperymentalne wskazują, że wiele osób nie może łatwo kontrolować kierunku oka w górę.

następnie przedstawiamy algorytm rozpoznawania wzorców EOG, przykład przetwarzania rozpoznawania wzorców EOG pokazanego na rysunku 13. Chociaż Rysunek 9 pokazuje, że wszystkie ruchy oczu mogą przez sprawdzenie wartości CH1 + CH2 i CH1-CH2, algorytm marszu wzorca jest nadal niezbędny do rozwiązania przesunięcia bazowego spowodowanego problemem dryfu. Kroki algorytmu na rysunku 13 są następujące: (1)Elementy DC i AC EOG przekraczają próg dla właściwego kierunku. Ustalono, że jest to właściwy kierunek oczu.(2) element DC nadal przekracza próg dla właściwego kierunku, a element AC powraca do linii podstawowej. Kierunek oczu nadal jest w prawo.(3) element AC znacznie zmienia kierunek ujemny, gdy kierunek oka powraca do pozycji środkowej.(4)element AC i element DC powracają do linii odniesienia każdego elementu. Następnie linia bazowa jest aktualizowana.Nasz system wykonuje wyznaczanie ruchu prawego i lewego oka za pomocą tego algorytmu. Algorytm ten umożliwia wyznaczenie kierunku. Jest to trudny proces przy użyciu tylko elementu AC.

rysunek 13
przykład przetwarzania rozpoznawania wzorców EOG. Pogrubione liczby reprezentują kroki algorytmu.

6. Eksperymenty i wyniki

aby przetestować skuteczność naszego proponowanego systemu, przeprowadziliśmy dwa eksperymenty: jeden to test rozpoznawania wzorców, a drugi to test wprowadzania znaków.

6.1. Eksperyment rozpoznawania wzorców

najpierw przeprowadziliśmy eksperymenty klasyfikacji wzorców dla dwóch klas ruchu oczu (prawo i lewo) oraz trzech klas sEMG twarzy (prawe mrugnięcie, lewe mrugnięcie i ugryzienie). Interwał każdej akcji wynosi 3 sekundy (pokazany na rysunku 14). Każdy z uczestników wykonał każdy ruch oka dziewięć razy. Ponadto przetestowaliśmy, czy proponowany przez nas system może odrzucić normalne mrugnięcie. Przeprowadziliśmy normalny test odrzucenia mrugnięcia 30 razy. Uczestnikami eksperymentów było ośmiu zdrowych mężczyzn, którzy są wszystkimi liczbami naszego laboratorium w wieku dwudziestu lat, którzy wyrazili zgodę na udział w tym eksperymencie.

Rysunek 14
podstawowe zadania w eksperymencie rozpoznawania wzorców.

6.2. Wyniki eksperymentalne w zakresie rozpoznawania wzorców

wyniki eksperymentalne w zakresie rozpoznawania wzorców przedstawiono w tabeli 1, a ostatni wiersz przedstawia ocenę wydajności (PE) każdego wzorca zgodnie z zasadą 5 punktów (popraw 5 punktów, Odrzuć 2 punkty i pomiń 0 punktów). Odrzucenie oznacza, że wzorzec wejściowy nie zareagował. Miss oznacza, że wzorzec wejściowy był błędną odpowiedzią. Z eksperymentów wynika, że rozpoznawanie wzorców EOG (po prawej i lewej) naszego proponowanego systemu jest wiarygodne. Z tych wyników eksperymentalnych, proponowany przez nas system pokazuje dobrą wydajność w rozpoznawaniu czterech klas (prawy, lewy, prawy i lewy mrugnięcie). Średni wskaźnik rozpoznawalności wyniósł 95,1%, średni wskaźnik odrzuceń wynosił 1,4%, a średni wskaźnik miss wynosił tylko 3,5%, a średni wskaźnik PE wynosi 4,79 z 5.

Prawy Lewy prawy left blink bite
K. g 8/9 (Odrzuć: 1) 9/9 9/9 9/9 4/9 (reject: 5)
T.N 9/9 9/9 9/9 7/9 8/9 (reject: 1)
M.Y 9/9 8/9 9/9 8/9 4/9 (reject: 5)
K.N 9/9 9/9 9/9 9/9 8/9 (reject: 1)
M.F 9/9 9/9 9/9 9/9 3/9 (reject: 6)
R.K 8/9 9/9 7/9 7/9 9/9
K.M 7/9 (reject: 2) 8/9 (reject: 1) 8/9 9/9 5/9 (reject: 4)
T.T 9/9 9/9 9/9 9/9 7/9 (reject: 2)
Ave. 94% (reject: 4%) 97% (reject: 1%) 96% 94% 67% (reject: 33%)
P.E 5 4.78 4.87 4.80 4.70 4.01
tabela 1

jednak rozpoznawanie wzorca zgryzu sEMG nie jest tak dobre, jak oczekiwano. Jednym z powodów jest to, że niektórzy ludzie mają problemy z nieregularnością zgryzu, które powodują rozbieżność między ich policzkami. Tego rodzaju działania ugryzień były zwykle rozpoznawane jako prawe lub lewe mrugnięcie. Innym powodem jest to, że użyliśmy metody strojenia progu dla odróżnienia normalnego mrugania, a normalny test odrzucenia mrugania miał wskaźnik sukcesu 97% (232/240). W tej metodzie, akcje bite, które nie mogą przekroczyć progu, zostaną odrzucone tak samo jak normalne mrugnięcie.

6.3. Eksperyment wprowadzania znaków

następnie przeprowadziliśmy eksperyment wprowadzania znaków przy użyciu czterech klas (prawy (EOG), lewy (EOG), prawy (sEMG) i lewy (sEMG)). Program do wprowadzania zdań alfabetu, Hearty Ladder, pokazano na rysunku 15. Użyliśmy metody wyboru czterech dywizji. Przyporządkowaliśmy cztery wzorce w następujący sposób: Right (EOG) jest poleceniem do wybrania prawego dolnego obszaru. Left (EOG) jest poleceniem do wybrania lewego dolnego obszaru. Right blink (sEMG) jest poleceniem do wybrania wyższego prawego obszaru. Left blink (sEMG) jest poleceniem do wybrania wyższego lewego obszaru.Użytkownik powtarzał filtrowanie czterech wzorców, aż do wybrania znaku ostatniego wzorca. Przedział kontrolny wynosił 0,1 s. przeprowadziliśmy eksperymenty zadania wejściowego „miyazaki” (8 znaków: 4 operacje na 1 znak), które jest nazwą naszej uczelni. Uczestnikami eksperymentów było dziewięciu zdrowych mężczyzn w wieku dwudziestu lat, którzy wyrazili zgodę na udział w tym eksperymencie. Uczestnikami eksperymentu było sześć osób doświadczonych z tym systemem.

rysunek 15
oprogramowanie do wprowadzania zdań alfabetu dla zadania „miyazaki”.

6.4. Wprowadzanie znaków wyniki eksperymentalne

próbowaliśmy pięciu prób zadania wprowadzania „miyazaki”. Policzyliśmy liczbę chybień i czas trwania do końca wejścia. Wyniki badań przedstawiono w tabeli 2. Z tych eksperymentów, średni czas jednej próby wynosił 50,0 s. średni czas wprowadzania jednego znaku alfabetu wynosił około 6,3 s (50 s/8 znaków) w naszym proponowanym systemie. Czas najszybszego uczestnika, K. M, wynosił 4,5 s (35,8 s/8 znaków). Ponadto, jeśli uznalibyśmy uczestników MF, MS i Rk, którzy korzystali z naszego proponowanego systemu przez 100 h jako doświadczonych i pozostałych 6 uczestników, którzy nie korzystali z naszego proponowanego systemu przez przypadek jako niedoświadczonych, średni czas doświadczonych uczestników wynosił 49.2 s, a liczba niedoświadczonych uczestników wynosiła 51,5 s. wskaźnik miss niedoświadczonych uczestników był również niski. Na podstawie tych wyników uważamy, że jedną z zalet proponowanego przez nas systemu jest to, że użytkownicy nie potrzebują wielu szkoleń.

średni czas (sek) SD średni wskaźnik miss (%)
K. i 42,0 3,1 0,0
k. m 35,8 5.0 0.0
R.K 60.2 12.4 3.5
T.T 53.2 13.0 2.5
K.G 61.0 15.5 5.0
T.N 43.2 2.7 0.0
M.F (inexperienced) 68.6 5.5 0.0
M.S (inexperienced) 36.6 5.2 2.0
R.K (inexperienced) 49.4 19.8 0.0
Ave. 50.0 1.45
Tabela 2
wprowadzanie znaków wyniki eksperymentalne.

porównaliśmy wydajność naszej proponowanej metody z metodą EOG i metodą sEMG. W metodzie EOG stosowano ruchy prawego i lewego oka tylko jako metodę doboru dwudzielnego. W metodzie sEMG zastosowano mruganie prawe i mruganie lewe tylko jako metodę wyboru 2-dzieleniowego. Próbowaliśmy tych samych eksperymentów z pięciu prób zadania wejściowego „miyazaki” z tymi samymi uczestnikami. Wyniki tych eksperymentów przedstawiono w tabeli 3. Widać, że nasza proponowana metoda ma najlepszą wydajność ze wszystkich trzech metod. Obliczyliśmy czas potrzebny na jedną operację. Metoda EOG wynosiła 1,93 s, metoda sEMG 1,65 s, a nasza proponowana metoda 1,56 s. ponadto wskaźnik miss metody sEMG był mniejszy niż proponowana metoda. Jednym z najbardziej rozstrzygających powodów jest to, że liczba operacji (7 operacji na 1 znak) jest większa w metodzie wyboru 2-dzieleniowego niż w metodzie wyboru 4-dzieleniowego.

Average time (sec) SD Average miss rate (%)
EOG method (2-division) 77.0 8.7 2.06
sEMG method (2-division) 66.0 14.1 0.07
Our method (4-division) 50.0 11.6 1.45
Tabela 3
porównanie wyników eksperymentalnych proponowanej metody z metodą EOG i metodą sEMG.

jak wspomnieliśmy w tej sekcji, 2 lub 4 wzorce mogą zostać rozpoznane przez nasz proponowany system. Wszystkie te wzorce mogą być przypisane jako oddzielne funkcje i, zajmując się stanem użytkowników, wszystkie te wzorce mogą być stosowane przez dowolną ich kombinację. W następnej części omówimy zastosowanie naszego proponowanego systemu dla osób z poważnymi upośledzeniami, używając tylko 1 wzoru.

7. Wyniki doświadczalne osób z poważną niepełnosprawnością

w niniejszej pracy zastosowaliśmy zaproponowaną przez nas metodę leczenia osób z poważną niepełnosprawnością (chorych na dystrofię mięśniową). Uzyskaliśmy aprobatę komisji etyki Uniwersytetu Miyazaki. Eksperyment sekcji 6 ze skomplikowaną operacją spowoduje duże zmęczenie osób niepełnosprawnych, więc eksperymenty przeprowadzono w taki sposób, że jeden znak zostanie wprowadzony jednym kliknięciem za pomocą EOG lub sEMG. Z wzorców EOG lub sEMG wybrano tylko jeden wzór, który można było łatwo wykorzystać. W tej metodzie wprowadzania znaków znak jest automatycznie wybierany przez oprogramowanie; użytkownik może być wybrany, klikając, gdy znak docelowy został wybrany przez oprogramowanie. W tym eksperymencie przetwarzanie kliknięć odbywa się poprzez rozpoznanie aktywności EOG lub sEMG.

ten eksperyment miał dwóch badanych. Aby zminimalizować wpływ kondycji fizycznej badanych i środowisk, próbowaliśmy tych samych eksperymentów 10 razy przy różnych okazjach w różnych dniach. Ciągłe 30 minut w jednym eksperymencie zostało użyte do testowania japońskiego wprowadzania znaków. Tabela 4 przedstawia wyniki eksperymentów. Z tabeli 4 wskaźnik rozpoznawania metody sEMG wynosi 99,2%, a wskaźnik rozpoznawania metody EOG wynosi 98,0%. Czas wprowadzania był powolny około 1 do 2 sekund w porównaniu do zdrowych osób. W związku z tym osoby niepełnosprawne mają taki sam wynik jak osoby zdrowe za pomocą jednego kliknięcia. Na podstawie tych wyników możemy powiedzieć, że nasze podejście jest skuteczne w przypadku osób o znacznym stopniu niepełnosprawności.

średni czas wejścia jednego znaku (sek) (zdrowa osoba) średni czas
metoda EOG (1-click) 16,1 (13,5) 2,0
metoda sEMG (1-Click) 14,6 (13,5) 0.8
Tabela 4
wyniki doświadczalne obu osób niepełnosprawnych.

8. Wnioski

w tym badaniu wprowadziliśmy urządzenie interfejsu człowiek-komputer EOG-sEMG przeznaczone dla pacjentów cierpiących na stwardnienie zanikowe boczne lub inne choroby. Używamy zarówno kanałów poprzecznych, jak i równoległych linii kanałów na twarzy z tymi samymi 4 elektrodami. System ten może rejestrować sygnały EOG i sEMG jako dwuwątkowe do rozpoznawania wzorców jednocześnie. Ponadto proponowana przez nas metoda z wykorzystaniem kombinacji AC i DC elementów EOG zmniejsza odpowiedni dryf i umożliwia ciągłą pracę w rejestracji ruchów gałek ocznych. Wyniki eksperymentów wykazały, że proponowana przez nas metoda jest skuteczna w rozpoznawaniu czterech wzorów (prawy (EOG), lewy (EOG), prawy (sEMG) i lewy (sEMG)). W szczególności nasza proponowana metoda wykazała dobrą wydajność dla eksperymentów wprowadzania znaków. Wskaźnik miss wynosił tylko 1,4%. Ponadto wyniki niedoświadczonych i doświadczonych uczestników wykazały bardzo niewielką różnicę. Na podstawie tych wyników uważamy, że jedną z zalet proponowanego przez nas systemu jest to, że użytkownicy nie potrzebują wielu szkoleń.

ponadto porównaliśmy proponowaną metodę z metodą EOG i metodą sEMG. Proponowana przez nas metoda wymagała najkrótszego czasu wprowadzania znaków. Proponowany przez nas interfejs człowiek-komputer może być stosowany w systemie EOG, systemie sEMG oraz systemie EOG-sEMG. Nasz system jest możliwy dla pacjentów, którzy mogą kontrolować tylko ruchy oczu. Możliwe jest również używanie tylko sygnałów sEMG z wysokim wskaźnikiem sukcesu, dopóki użytkownik nie będzie komfortowo korzystał z urządzenia. Nasz proponowany interfejs człowiek-komputer ma tę zaletę, że może być używany w zależności od sytuacji.

mamy nadzieję, że będziemy w stanie komunikować się z pacjentami cierpiącymi na stwardnienie zanikowe boczne lub inne choroby za pomocą naszego systemu. W naszej przyszłej pracy planujemy przetestować wiele przedmiotów i bardziej dotkniętych osób niepełnosprawnych.

konkurencyjne zainteresowania

badania sfinansowała firma SYOWA Sp. z o. o. Ltd.

podziękowania

badania te były wspierane przez Miyazaki Prefectural Industrial Support Foundation (R&D) oraz Grant-Aid for Young Scientists (B) (23700668) KAKEN. Autorzy są wdzięczni panu Kazuhiko Inami i Panu Kazuya Gondou. Z wdzięcznością uznają pracę dawnych i obecnych członków ich laboratorium.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.