EOG-sEMG Human Interface for Communication

Abstract

Lo scopo di questo studio è quello di presentare i segnali elettrooculogram (EOG) e surface electromyogram (sEMG) che possono essere utilizzati come interfaccia uomo-computer. Stabilire un canale alternativo efficiente per la comunicazione senza discorsi espliciti e movimenti delle mani è importante per aumentare la qualità della vita dei pazienti affetti da sclerosi laterale amiotrofica, distrofia muscolare o altre malattie. In questo articolo, proponiamo un sistema di interfaccia uomo-computer EOG-sEMG per la comunicazione utilizzando sia canali trasversali che linee parallele canali sul viso con gli stessi elettrodi. Questo sistema potrebbe registrare segnali EOG e sEMG come” dual-modalità ” per il riconoscimento di pattern contemporaneamente. Anche se fino a 4 modelli potrebbero essere riconosciuti, occupandosi dello stato dei pazienti, scegliamo solo due classi (movimento sinistro e destro) di EOG e due classi (blink sinistro e blink destro) di sEMG che sono facilmente realizzabili per attività di simulazione e monitoraggio. Dai risultati della simulazione, il nostro sistema ha ottenuto una classificazione a quattro pattern con una precisione del 95,1%.

1. Introduzione

Durante i movimenti oculari, esiste un potenziale attraverso la cornea e la retina, ed è la base per l’elettrooculogramma (EOG). L’EOG può essere modellato da un dipolo e utilizzato in sistemi medici. Diversi studi di interfaccia uomo-computer basati su EOG si trovano in letteratura. Ad esempio, una sedia a rotelle controllata con movimenti oculari è in fase di sviluppo per disabili e anziani. I segnali di movimento degli occhi e i segnali del sensore sono combinati e sia la direzione che l’accelerazione sono controllate . I segnali dell’elettromiogramma di superficie (sEMGs) sono rilevati sulla superficie della pelle e sono generati dall’attività elettrica delle fibre muscolari durante la contrazione . I muscoli in movimento possono essere rilevati analizzando sEMGs. Una delle applicazioni importanti di sEMGs sta controllando le gambe artificiali. Sebbene il movimento della testa, che è un gesto naturale, possa essere usato per indicare una certa direzione, le persone gravemente disabili non possono muovere il collo e la testa. Tuttavia, molte di queste persone possono impiegare il movimento muscolare facciale. sEMG è un modo di studiare le attività muscolari facciali registrando i potenziali d’azione delle fibre contraenti. sEMG può essere rilevato con elettrodi di superficie, che sono facili da applicare e non invasivi e non pongono rischi per la salute e la sicurezza per gli utenti. I sistemi informatici possono anche essere controllati utilizzando segnali SEMG faccia . Questi sistemi informatici possono riconoscere il movimento facciale (lampeggio sinistro, lampeggio destro e morso) utilizzando i sensori sEMG. Inoltre, i segnali EOG, elettroencefalogramma (EEG) e EMG possono essere classificati in tempo reale e possono controllare robot mobili utilizzando un classificatore di rete neurale artificiale .

Studiando la possibilità di impiegare EOG per un’interfaccia uomo-computer, viene determinata la relazione tra l’angolo di vista e un EOG. Studi approfonditi hanno scoperto che la deriva della linea di base che cambia lentamente rende difficile stimare i segnali EOG continui, e questa deriva appare solo nei segnali in corrente continua (DC) nel circuito. Per superare questo problema, il nostro sistema ha precedentemente proposto l’uso della corrente alternata (AC) di EOGs per ridurre la deriva di base mediante segmentazione del segnale . In questi documenti, abbiamo introdotto il sistema di controllo del cursore del mouse utilizzando la nostra tecnica EOGs. Le soglie iniziali della classe di movimento degli occhi (destra, sinistra e lampeggio volontario) sono determinate empiricamente individualmente per ciascun utente. Due classi di movimento occhi (destra e sinistra) sono comando dello stesso movimento del cursore del mouse. In questi documenti, il movimento degli occhi della direzione in diagonale in basso a destra è un comando di elaborazione dei clic. Inoltre, il blink volontario è anche un comando di elaborazione dei clic. Tuttavia, questi sistemi hanno un problema in cui i segnali SEMG faccia diventano rumorosi per i segnali EOG.

In questo studio, stiamo sviluppando un sistema di interfaccia umana EOG-sEMG per la comunicazione. Il nostro dispositivo EOG proposto non ha il problema di artefatti da lampeggio degli occhi. Applichiamo un algoritmo che utilizza sia la variazione dinamica dell’elemento DC che la classificazione del modello dell’elemento AC. Questa segmentazione del segnale riduce la deriva di base. Sebbene esistesse un metodo a 3 elettrodi in grado di misurare componenti verticali e orizzontali in EOG che è stato considerato come il rumore durante la misurazione EEG , il nostro sistema EOG utilizza ancora canali incrociati che utilizzano elettrodi 4 per migliorare l’accuratezza della misurazione EOG e realizzare simultaneamente il processo di “doppia modalità” EOG-sEMG. Inoltre, i segnali EOG cross-channel hanno prestazioni simili al metodo plus-channel che è ampiamente utilizzato nella misurazione EOG. Inoltre, la posizione dell’elettrodo di cross-channel EOG segnali metodo ha una buona caratteristica che sEMG può anche essere efficacemente misurata allo stesso tempo. In confronto ad altri documenti , questo è un merito utile.

Rispetto ad altre ricerche correlate sulle interfacce uomo-computer per aiutare le persone con disabilità come i sistemi di tracciamento oculare , che utilizzano l’elaborazione delle immagini, l’interfaccia uomo-computer basata sulla nostra proposta ha una forte capacità anti-interferenza dall’ambiente come luci e rumori. I pazienti potrebbero utilizzare questo tipo di interfaccia anche senza vista. In particolare, i pazienti affetti da SLA potrebbero ancora controllare i loro bulbi oculari e muscoli intorno agli occhi anche in fase terminale, in cui potrebbero utilizzare l’EOG-sEMG basato sulla nostra interfaccia uomo-computer proposta anche. Anche se i dispositivi di elaborazione delle immagini sono ampiamente utilizzati perché sono intuitivi e più prevedibili, l’EOG-sEMG basato sulla nostra proposta interfaccia uomo-computer offre ancora una buona scelta per le persone gravemente disabili.

In questo articolo, proponiamo una tecnica in grado di eseguire il riconoscimento del pattern facciale registrando gli EOG e SEMG. Al fine di dimostrare le prestazioni del nostro metodo proposto, abbiamo provato 3 esperimenti correlati passo dopo passo. In un primo momento, anche se si potevano riconoscere ben 7 classi, trattando lo stato reale dei pazienti e i test di accuratezza iniziali, scegliamo solo due classi (movimento sinistro e destro) di EOG e due classi (blink sinistro e blink destro) di sEMG che sono facilmente realizzabili per attività di simulazione e monitoraggio. Successivamente, abbiamo effettuato esperimenti di input di caratteri utilizzando il nostro sistema proposto con quelle 4 classi. I partecipanti sperimentali erano uomini sani ventenni che accettano di unirsi ai nostri esperimenti senza coercizione. Da questi esperimenti, abbiamo dimostrato che il riconoscimento a quattro pattern del nostro sistema proposto è facile da imparare e da usare. Inoltre, abbiamo applicato il nostro metodo semplificato proposto (software che può fare l’input dei caratteri con un clic (un riconoscimento del modello)) per le persone gravemente disabili (pazienti con distrofia muscolare).

2. Il sistema di misurazione

2.1. Cross-Channels

Come mostrato nella Figura 1(a), il metodo plus-channel è ampiamente utilizzato come il modo più convenzionale per la registrazione dei segnali EOG nella ricerca precedente: i segnali orizzontali sono stati registrati dal Canale 1 (CH1) e i segnali verticali sono stati registrati dal canale 2 (CH2) . In questo documento, per migliorare l’accuratezza dei segnali EOG, viene proposto un nuovo metodo cross-channel come mostrato nella Figura 1(b). I segnali orizzontale e verticale potrebbero essere registrati da entrambi i canali allo stesso tempo. È molto più facile analizzare i dati utilizzando doppi segnali.

Figura 1
Metodo convenzionale (a) e metodo cross-channel dell’EOG (b) .

2.2. Il sistema di misura EOG-sEMG

In questa sottosezione viene proposto il progetto del sistema di misura EOG-EMG. La figura 2 mostra lo schema formale per l’acquisizione e l’analisi dei segnali EOG e sEMG per il controllo e il flusso di informazioni attraverso il sistema. Il nostro sistema proposto ha quattro componenti: (1) amplificatore, (2) filtro, (3) convertitore A/D e (4) sistema di controllo del cursore del mouse. In particolare, questo significa che il sistema è costituito da cinque elettrodi, un convertitore A/D, un personal computer e un monitor (mostrato in Figura 2). Quattro elettrodi per i due canali dei segnali sEMG vengono incollati sul viso e un elettrodo viene incollato sul polso destro o sinistro come terreno.

a)
a)
b)
(b)

a)
(a)b)
(b)

Figura 2
Proposta di EOG-sEMG interfaccia umana di sistema: a) Flusso EOG e b) Flusso sEMG. Il flusso EOG e il flusso sEMG utilizzano gli stessi cinque elettrodi.

2.3. Il dispositivo di rilevamento EOG-sEMG

In questa sottosezione, mostriamo il dispositivo di interfaccia utilizzato in questo studio. Figura 3 mostra una persona che indossa il dispositivo di interfaccia. Questo dispositivo di interfaccia assomiglia a occhiali o occhiali, fissando gli elettrodi. I segnali misurati dal dispositivo vengono inviati al PC tramite Bluetooth. I dati inviati sono mostrati in Figura 4. I segnali misurati sono correnti DC per due canali EOG (2 ch), che sono CH1 e CH2, e correnti AC per due canali EOG (CH3 e CH4). Allo stesso tempo, vengono misurati anche 2 segnali ch di sEMG, che sono CH5 e CH6. Mostreremo i dettagli dei dati misurati nella sezione seguente.

Figura 3
Dispositivo di interfaccia per fissare gli elettrodi sul viso.

Figura 4
Dati inviati dal dispositivo di interfaccia. I segnali sono sEMG 2 ch e EOG 2 ch. Gli EOG misurano i segnali AC e DC.

3. Il sistema di registrazione EOG

In questa sezione, introdurremo il sistema di registrazione EOG. Il nostro sistema EOG proposto si basa su due flussi: (1) l’amplificatore e il filtro passa-basso (elemento DC) e (2) l’amplificatore, il filtro passa-basso e il filtro passa-alto (elemento AC). Dopo aver registrato l’ampiezza del segnale (1000 volte) e misure di riduzione del rumore per il sistema di acquisizione dati biopotenziale, quattro tipi di movimenti oculari (destra, sinistra, su e giù) sono riconosciuti con precisione e la riduzione del rumore elettronico è anche successo. Va notato che i segnali EOG orizzontali sono più forti dei segnali EOG verticali. Questo perché le saccadi verticali sono più lente delle saccadi orizzontali e le saccadi verso il basso sono le più lente . Le figure 5-8 mostrano che i quattro movimenti oculari (destra, sinistra, su e giù) sono chiaramente diversi. Inoltre, CH1 e CH2 sono segnali DC, che possono essere utilizzati per registrare i movimenti continui degli occhi. CH3 e CH4 sono segnali AC dell’EOG. Pertanto, CH3 e CH4 reagiscono fortemente solo ai movimenti oculari.

Figura 5
L’EOG segnala la registrazione di campioni in CH1, CH2, CH3 e CH4 (a destra).

Figura 6
Campioni di registrazione del segnale EOG in CH1, CH2, CH3 e CH4 (a sinistra).

Figura 7
Campioni di registrazione del segnale EOG in CH1, CH2, CH3 e CH4 (up).

Figura 8
Campioni di registrazione del segnale EOG in CH1, CH2, CH3 e CH4 (in basso).

Poiché i segnali EOG cambiano per tutti e quattro i movimenti oculari, abbiamo importato CH1 + CH2, che viene utilizzato per i segnali verticali e CH1 − CH2 per i segnali orizzontali. Negli esperimenti, abbiamo chiesto a ciascun partecipante di spostare i suoi bulbi oculari per seguire la sequenza successiva: centro-destra-centro-sinistra-centro-alto-centro-basso-centro. I risultati di queste due nuove procedure sono mostrati nella figura 9.

Figura 9
EOG signal recording samples in CH1 + CH2 (upside) e CH1 − CH2 (downside).

4. sEMG Signal Recording

La figura 2 mostra lo schema formale per l’acquisizione e l’analisi dei segnali sEMG per il controllo e il flusso di informazioni attraverso il sistema. Il nostro sistema è costituito da questi quattro componenti: (1) elettrodi di superficie, (2) amplificatore, (3) filtro passa-alto e (4) personal computer per la classificazione del segnale sEMG. I segnali sEMG rilevati dagli elettrodi di superficie vengono amplificati e filtrati prima dell’acquisizione dei dati per ridurre gli artefatti di rumore e migliorare i componenti spettrali che contengono le informazioni per l’analisi dei dati. Due canali di segnali sEMG possono essere utilizzati per riconoscere il movimento del viso. Per rimuovere il livello DC e il rumore della linea elettrica a 60 Hz, viene utilizzato il filtro passa-alto. La frequenza di taglio del filtro passa-alto è 66,7 Hz.

Le registrazioni in Figura 10 mostrano le misure di riduzione del rumore applicate nel nostro sistema. Di conseguenza, i dati delle tre classi sEMG (lampeggio destro, lampeggio sinistro e morso) sono chiaramente diversi. Dopo il filtraggio e l’amplificazione (circa 1000 volte), i segnali sEMG vengono digitalizzati e quindi trasferiti al personal computer. La frequenza di campionamento dei dati di misurazione è di 1 kHz su una banda da 0 Hz a 500 Hz.

Figura 10
Livelli di attivazione di sEMG a due canali.

I segnali sEMG vengono elaborati dall’elaborazione media mobile. L’elaborazione della media mobile calcola la media rettificata e non ponderata dei punti dati precedenti. Quindi, il valore dopo l’elaborazione della media mobile viene determinato come “attivo” o “inattivo” in base alla soglia. Le soglie (CH5 e CH6) sono impostate in base agli utenti. Questo metodo è necessario per impostare il valore di soglia di ciascun utente. Inoltre, questo sistema non reagisce al solito battito di ciglia. La figura 11 mostra un diagramma di questo processo.

Figura 11
Diagramma di processo. I segnali SEMG vengono calcolati per ottenere le medie rettificate e mobili. Il segnale è determinato come attivo o inattivo in base alla soglia.

5. Algoritmo di riconoscimento pattern

In questa sezione, introdurremo il nostro algoritmo di riconoscimento pattern EOG-sEMG proposto. La figura 12 mostra il flusso complessivo del nostro sistema proposto. Questo processo consiste nel ripetere i passaggi. Il pattern recognition consiste di cinque classi: due classi (movimento sinistro e destro) per l’EOG e le tre classi (lampeggio sinistro, lampeggio destro e morso) per il sEMG.

Figura 12
Flusso dell’algoritmo di riconoscimento dei pattern EOG-sEMG.

Se i dati sEMG dopo l’elaborazione del segnale superano una soglia, il modello dei dati sEMG è determinato solo da CH1 (movimento a destra blink-like) o CH2 solo (movimento a sinistra blink-like) o entrambi (il morso o forte blink). Il nostro algoritmo proposto inizializza gli elementi DC dell’EOG dopo che l’attività sEMG è stata completata. Inoltre, quando l’elemento AC dell’EOG non è cambiato (gli occhi non si muovono) e il sEMG non è attivo, il nostro algoritmo proposto inizializza il valore di riferimento che gli occhi stanno guardando come fronte (“Rinnovamento EOG” in Figura 12). In altre parole, il nostro sistema determina che gli occhi stanno guardando la parte anteriore, perché l’elemento AC non viene modificato. A quel tempo, il nostro sistema si aggiorna come valore di riferimento degli elementi DC. Successivamente, il nostro sistema utilizza la quantità di cambiamento in DC da questo valore di riferimento.

Dalla regola sperimentale, viene impostata la soglia di giudizio tra attivo e inattivo. Successivamente, quando gli occhi si muovono, il nostro algoritmo confronta la gamma mutevole di CH1 + CH2 e CH1-CH2. Quando CH1-CH2 è più grande, il nostro algoritmo esegue il processo di determinazione dell’EOG. Quando CH1 + CH2 è più grande, il nostro algoritmo determina che gli occhi si sono spostati nella direzione verticale, perché i dati EOG per la direzione verticale degli occhi sono simili ai dati EOG per il modello di lampeggio. Inoltre, i nostri risultati sperimentali indicano che molte persone non possono facilmente controllare la direzione verso l’alto dell’occhio.

Successivamente, introduciamo l’algoritmo EOG pattern recognition, un esempio di elaborazione EOG pattern recognition mostrato in Figura 13. Anche se la figura 9 mostra che tutti i movimenti degli occhi potrebbero controllando i valori per CH1 + CH2 e CH1-CH2, l’algoritmo di marcia del modello è ancora necessario per risolvere lo spostamento di base causato dal problema della deriva. I passaggi dell’algoritmo di Figura 13 sono i seguenti: (1) Gli elementi DC e AC dell’EOG superano la soglia per la giusta direzione. È determinato che questa è la giusta direzione degli occhi.(2) L’elemento DC continua a superare la soglia per la giusta direzione e l’elemento AC ritorna alla linea di base. La direzione degli occhi continua ad essere a destra.(3) L’elemento AC cambia notevolmente nella direzione negativa quando la direzione dell’occhio ritorna alla posizione centrale.(4) L’elemento AC e l’elemento DC ritornano alla linea di base di ciascun elemento. Quindi, la linea di base viene aggiornata.Il nostro sistema esegue la determinazione del movimento destro e sinistro degli occhi utilizzando questo algoritmo. Questo algoritmo consente di determinare la direzione. Questo è un processo difficile quando si utilizza solo l’elemento AC.

Figura 13
Esempio di elaborazione EOG pattern recognition. I numeri in grassetto rappresentano i passaggi dell’algoritmo.

6. Esperimenti e risultati

Per testare l’efficacia del nostro sistema proposto, abbiamo condotto due esperimenti: uno è un test di riconoscimento di pattern e l’altro è un test di input di caratteri.

6.1. Esperimento di riconoscimento di pattern

In primo luogo, abbiamo condotto esperimenti di classificazione di pattern per le due classi di movimento oculare (destra e sinistra) e le tre classi SEMG facciali (lampeggio destro, lampeggio sinistro e morso). L’intervallo di ciascuna azione è di 3 secondi (mostrato in Figura 14). Ogni partecipante ha eseguito ogni movimento degli occhi nove volte. Inoltre, abbiamo testato se il nostro sistema proposto poteva rifiutare un normale battito di ciglia. Abbiamo eseguito il normale test di rigetto dei lampeggi 30 volte. I partecipanti agli esperimenti erano otto maschi sani che sono tutti i numeri del nostro laboratorio sui vent’anni che hanno dato il loro consenso a partecipare a questo esperimento.

Figura 14
Compiti di base nell’esperimento di pattern recognition.

6.2. Risultati sperimentali di Pattern Recognition

I risultati sperimentali di pattern recognition sono mostrati nella Tabella 1 e l’ultima riga mostra la valutazione delle prestazioni (PE) di ciascun pattern sotto la regola dei 5 punti (correggere per 5 punti, rifiutare per 2 punti e perdere per 0 punti). Rifiuta significa che il modello di input non ha reagito. Miss significa che il modello di input era risposta sbagliata. Dagli esperimenti, il riconoscimento del pattern EOG (destra e sinistra) del nostro sistema proposto è affidabile. Da questi risultati sperimentali, il nostro sistema proposto mostra buone prestazioni nel riconoscimento delle quattro classi (right, left, right blink e left blink). Il tasso medio di riconoscimento era del 95,1%, il tasso medio di rifiuto era dell ‘ 1,4% e il tasso medio di miss era solo del 3,5% e il PE medio era 4,79 di 5.

Destra Sinistra Diritto blink Sinistra lampeggia Morso
K. G 8/9 (rifiutare: 1) 9/9 9/9 9/9 4/9 (reject: 5)
T.N 9/9 9/9 9/9 7/9 8/9 (reject: 1)
M.Y 9/9 8/9 9/9 8/9 4/9 (reject: 5)
K.N 9/9 9/9 9/9 9/9 8/9 (reject: 1)
M.F 9/9 9/9 9/9 9/9 3/9 (reject: 6)
R.K 8/9 9/9 7/9 7/9 9/9
K.M 7/9 (reject: 2) 8/9 (reject: 1) 8/9 9/9 5/9 (reject: 4)
T.T 9/9 9/9 9/9 9/9 7/9 (reject: 2)
Ave. 94% (reject: 4%) 97% (reject: 1%) 96% 94% 67% (reject: 33%)
P.E 5 4.78 4.87 4.80 4.70 4.01
Tabella 1
Pattern recognition risultati sperimentali.

Tuttavia, il riconoscimento del pattern di morso sEMG non è buono come previsto. Una ragione è che alcune persone hanno problemi di irregolarità occlusale che causano divergenza tra le loro guance. Questo tipo di azioni di morso era solitamente riconosciuto come lampeggio destro o sinistro. Un altro motivo è che abbiamo usato un metodo di ottimizzazione della soglia per distinguere il normale blink, e il test di reiezione del normale blink ha avuto un tasso di successo del 97% (232/240). Con questo metodo, le azioni di morso che non possono superare la soglia saranno respinte come il normale battito di ciglia.

6.3. Esperimento di input di caratteri

Successivamente, abbiamo condotto l’esperimento di input di caratteri utilizzando le quattro classi (right (EOG), left (EOG), right blink (sEMG) e left blink (sEMG)). Il software alphabet sentence input, Hearty Ladder, è mostrato in Figura 15. Abbiamo usato il metodo di selezione a quattro divisioni. Abbiamo assegnato i quattro modelli come segue: Destra (EOG) è il comando per selezionare l’area in basso a destra. Left (EOG) è il comando per selezionare l’area in basso a sinistra. Right blink (sEMG) è il comando per selezionare l’area più in alto a destra. Left blink (sEMG) è il comando per selezionare l’area in alto a sinistra.L’utente ha ripetuto il filtraggio di quattro modelli fino a selezionare il carattere dell’ultimo modello. L’intervallo di controllo era 0.1 s. Abbiamo condotto esperimenti del compito di input “miyazaki” (8 caratteri: 4 operazioni per 1 carattere) che è il nome della nostra università. I partecipanti agli esperimenti erano nove maschi sani ventenni che hanno dato il loro consenso a partecipare a questo esperimento. I partecipanti sperimentali includevano sei persone esperte con questo sistema.

Figura 15
Il software di input della frase dell’alfabeto per l’attività “miyazaki”.

6.4. Input di caratteri Risultati sperimentali

Abbiamo provato cinque prove del compito di input” miyazaki”. Abbiamo contato il numero di miss e la durata del tempo fino alla fine dell’input. I risultati sperimentali sono riportati nella Tabella 2. Da questi esperimenti, il tempo medio di una prova era di 50,0 s. Il tempo medio di input di un carattere dell’alfabeto era di circa 6,3 s (50 s/8 caratteri) nel nostro sistema proposto. Il tempo del partecipante più veloce, K. M, era 4.5 s (35.8 s/8 caratteri). Inoltre, se abbiamo considerato i partecipanti M. F, MS e R. K che avevano utilizzato il nostro sistema proposto su 100 h come esperti e gli altri partecipanti 6 che non hanno utilizzato il nostro sistema proposto per caso come inesperti, il tempo medio dei partecipanti esperti era 49.2 s e quello dei partecipanti inesperti era 51.5 s. Anche il tasso di miss dei partecipanti inesperti era basso. Da questi risultati, riteniamo che uno dei vantaggi del nostro sistema proposto sia che gli utenti non hanno bisogno di molta formazione.

tempo Medio (sec) SD Media perdere tasso (%)
K. I 42.0 3.1 0.0
K. M 35.8 5.0 0.0
R.K 60.2 12.4 3.5
T.T 53.2 13.0 2.5
K.G 61.0 15.5 5.0
T.N 43.2 2.7 0.0
M.F (inexperienced) 68.6 5.5 0.0
M.S (inexperienced) 36.6 5.2 2.0
R.K (inexperienced) 49.4 19.8 0.0
Ave. 50.0 1.45
Tabella 2
l’input di Caratteri risultati sperimentali.

Abbiamo confrontato le prestazioni del nostro metodo proposto con il metodo EOG e il metodo sEMG. Il metodo EOG ha utilizzato i movimenti dell’occhio destro e sinistro solo come metodo di selezione a 2 divisioni. Il metodo sEMG usato lampeggia a destra e lampeggia a sinistra solo come metodo di selezione a 2 divisioni. Abbiamo provato gli stessi esperimenti di cinque prove del compito di input “miyazaki” con gli stessi partecipanti. Questi risultati sperimentali sono riportati nella Tabella 3. Si può vedere che il nostro metodo proposto ha le migliori prestazioni di tutti e tre i metodi. Abbiamo calcolato il tempo necessario per un’operazione. Il metodo EOG era 1.93 s, il metodo sEMG era 1.65 s e il nostro metodo proposto era 1.56 s. Inoltre, il tasso di miss del metodo sEMG era inferiore a quello del nostro metodo proposto. Uno dei motivi più conclusivi è che il numero di operazioni (7 operazioni per 1 carattere) è maggiore nel metodo di selezione a 2 divisioni rispetto al metodo di selezione a 4 divisioni.

Average time (sec) SD Average miss rate (%)
EOG method (2-division) 77.0 8.7 2.06
sEMG method (2-division) 66.0 14.1 0.07
Our method (4-division) 50.0 11.6 1.45
Tabella 3
Confronto dei risultati sperimentali del nostro metodo proposto con EOG metodo e sEMG metodo.

Come abbiamo accennato in questa sezione, 2 o 4 modelli potrebbero essere riconosciuti dal nostro sistema proposto. Tutti questi modelli potrebbero essere assegnati come funzioni separate e, occupandosi dello stato degli utenti, tutti questi modelli potrebbero essere impiegati da qualsiasi combinazione di essi. Nella prossima sezione, discuteremo l’applicazione del nostro sistema proposto per le persone gravemente handicappate utilizzando solo 1 modello.

7. Risultati sperimentali delle persone gravemente disabili

In questo articolo, abbiamo applicato il nostro metodo proposto per le persone gravemente disabili (pazienti con distrofia muscolare). Abbiamo ottenuto l’approvazione del comitato etico dell’Università di Miyazaki. L’esperimento della Sezione 6 con operazioni complicate causerà grande affaticamento alle persone con disabilità, quindi gli esperimenti sono stati effettuati nel modo in cui un personaggio verrà inserito con un solo clic usando EOG o sEMG. Solo un modello è stato selezionato dai modelli EOG o sEMG che potrebbero essere facilmente utilizzati. In questo metodo di immissione dei caratteri, il carattere viene selezionato automaticamente dal software; l’utente può essere selezionato facendo clic quando il carattere di destinazione è stato scelto dal software. In questo esperimento, l’elaborazione dei clic viene eseguita dal riconoscimento dell’attività EOG o sEMG.

Questo esperimento ha avuto i due soggetti. Al fine di ridurre al minimo le influenze della condizione fisica dei soggetti e degli ambienti, abbiamo provato gli stessi esperimenti 10 volte in diverse occasioni in giorni diversi. I 30 minuti continui in un esperimento sono stati utilizzati per testare l’input di caratteri giapponesi. La tabella 4 mostra i risultati sperimentali. Dalla tabella 4, il tasso di riconoscimento del metodo sEMG è del 99,2% e il tasso di riconoscimento del metodo EOG è del 98,0%. Il tempo di input è stato lento di circa 1-2 secondi rispetto ai soggetti sani. Pertanto, le persone handicappate hanno lo stesso risultato di quelle sane usando un solo clic. Da questi risultati, possiamo dire che il nostro approccio è efficace nelle persone gravemente disabili.

tempo Medio di un carattere di input (sec) (persona sana) Media perdere tasso (%)
EOG metodo (1 click) 16.1 (13.5) 2.0
sEMG metodo (1 click) 14.6 (13.5) 0.8
Tabella 4
I risultati sperimentali dei due portatori di handicap.

8. Conclusioni

In questo studio, abbiamo introdotto un dispositivo di interfaccia uomo-computer EOG-sEMG progettato per i pazienti affetti da sclerosi laterale amiotrofica o altre malattie. Usiamo sia canali trasversali che linee parallele canali sul viso con gli stessi 4 elettrodi. Questo sistema potrebbe registrare segnali EOG e sEMG come dual-threading per il riconoscimento di pattern contemporaneamente. Inoltre, il nostro metodo proposto utilizzando la combinazione di elementi AC e DC di EOG riduce la deriva corrispondente e consente un funzionamento continuo nella registrazione dei movimenti oculari. I risultati sperimentali hanno mostrato che il nostro metodo proposto è efficace per il riconoscimento di quattro pattern (right (EOG), left (EOG), right blink (sEMG) e left blink (sEMG)). In particolare, il nostro metodo proposto ha dimostrato buone prestazioni per gli esperimenti di input dei caratteri. Il tasso di miss era solo 1.4%. Inoltre, i risultati di partecipanti inesperti ed esperti hanno mostrato pochissima differenza. Da questi risultati, pensiamo che uno dei vantaggi del nostro sistema proposto sia che gli utenti non hanno bisogno di molta formazione.

Inoltre, abbiamo confrontato il nostro metodo proposto con il metodo EOG e il metodo sEMG. Il nostro metodo proposto richiedeva il tempo più breve per l’input dei caratteri. La nostra interfaccia uomo-computer proposta può essere applicata nel sistema EOG, nel sistema sEMG e nel sistema EOG-sEMG. È possibile utilizzare il nostro sistema per i pazienti che possono controllare solo i loro movimenti oculari. È anche possibile utilizzare solo i segnali sEMG con un alto tasso di successo fino a quando l’utente non è a suo agio nell’utilizzo del dispositivo. La nostra interfaccia uomo-computer proposta ha il vantaggio di poter essere utilizzata a seconda della situazione.

Speriamo di essere in grado di comunicare con i pazienti affetti da sclerosi laterale amiotrofica o altre malattie utilizzando il nostro sistema. Nel nostro lavoro futuro, abbiamo in programma di testare molti soggetti e persone con disabilità più gravi.

Interessi concorrenti

Questa ricerca è stata finanziata da SYOWA Co. Ltd.

Riconoscimenti

Questa ricerca è stata sostenuta dalla Miyazaki Prefectural Industrial Support Foundation (R&D) e da una sovvenzione-Aiuto per giovani scienziati (B) (23700668) KAKEN. Gli autori sono grati al signor Kazuhiko Inami e al signor Kazuya Gondou. Riconoscono con gratitudine il lavoro dei membri passati e presenti del loro laboratorio.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.