Abstract
本研究の目的は、人間とコンピュータのインターフェイスとして使用できるelectrooculogram（EOG）と表面筋電図（sEMG）信号を提示することです。 筋萎縮性側索硬化症、筋ジストロフィー、または他の病気に苦しんでいる患者の生活の質を高めるためには、あからさまなスピーチや手の動きなしでコミュ 本論文では，同じ電極を持つ面上のクロスチャネルと平行線チャネルの両方を用いた通信のためのＥＯＧ-ｓｅｍｇヒューマンコンピュータインタフェースシステムを提案した。 このシステムは，パターン認識のための”デュアルモダリティ”としてＥＯＧとｓｅｍｇ信号を同時に記録することができた。 患者の状態に対処するために、4つのパターンを認識することができますが、シミュレーションとモニタリングタスクのために容易に実現できるEOGの二つのクラス（左と右の動き）とsEMGの二つのクラス（左の点滅と右の点滅）のみを選択します。 シミュレーション結果から、私たちのシステムは95.1％の精度で四パターン分類を達成しました。
1. はじめに
眼球運動中には、角膜と網膜に電位が存在し、それが電気眼球図（EOG）の基礎となります。 EOGは双極子によってモデル化され、医療システムで使用することができます。 いくつかのＥＯＧベースのヒューマンコンピュータインタフェース研究が文献に見出されている。 例えば、目の動きで制御された車椅子は、障害者や高齢者のために開発されています。 眼球運動信号とセンサ信号が結合され、方向と加速度の両方が制御される。 表面筋電図信号（ＳＥＭＧ）は、皮膚表面上で検出され、収縮中の筋線維の電気的活動によって生成される。 動く筋肉はsEMGsの分析によって検出することができる。 Ｓｅｍｇｓの重要な応用の一つは人工脚を制御することである。 自然なジェスチャーである頭の動きは、特定の方向を示すために使用することができますが、真剣に障害のある人は首と頭を動かすことはできません。 しかし、これらの人々の多くは、顔の筋肉の動きを採用することができます。 ＳＥＭＧは、収縮する繊維からの活動電位を記録することによって顔の筋肉活動を研究する方法である。 sEMGは、適用が容易で非侵襲的であり、ユーザーに健康と安全のリスクをもたらさない表面電極で検出することができます。 計算機システムはまた表面sEMG信号の使用によって制御することができる。 これらのコンピュータシステムは，ｓｅｍｇセンサを用いて顔の動き（左瞬き，右瞬き，咬合）を認識することができる。 さらに，ｅｏｇ，脳波（ＥＥＧ），ＥＭＧ信号をリアルタイムに分類し，人工ニューラルネットワーク分類器を用いて可動ロボットを制御することができる。
ヒューマンコンピュータインタフェースにEogを採用する可能性を調査し、視力角とEOGの関係を決定します。 詳細な研究では、ゆっくりと変化するベースラインドリフトにより、連続的なEOG信号を推定することが困難になり、このドリフトは回路内の直流（DC）信号 この問題を克服するために，このシステムは信号のセグメンテーションによってベースラインドリフトを低減するためにｅｏｇの交流（Ａ Ｃ）の使用を提案した。 これらの論文では，Ｅｏｇｓ技術を用いたマウスカーソル制御システムを紹介した。 目の動きクラス（右、左、および自発的な点滅）の初期閾値は、各ユーザについて経験的に個別に決定される。 二つの目の動きクラス（右と左）は、マウスカーソルの同じ動きのコマンドです。 これらの論文では，斜め右下方向の目の動きがクリック処理のコマンドである。 また、任意の点滅はクリック処理のコマンドでもあります。 しかし、これらのシステムは、ｅｏｇ信号に対してｆａｅｓ ＳＥＭＧ信号がノイズになるという問題を有している。本研究では，通信のためのＥＯＧ-ｓｅｍｇヒューマンインタフェースシステムを開発している。 提案したＥＯＧ装置は，目の点滅によるアーティファクトの問題を持たない。 直流要素の動的変動と交流要素のパターン分類の両方を使用するアルゴリズムを適用した。 この信号のセグメント化により、ベースラインドリフトが低減されます。 脳波測定時のノイズと考えられていたEOGの垂直成分と水平成分を測定できる3電極法がありましたが、私たちのEOGシステムは、4電極を使用するクロスチャネルを使用して、EOG測定の精度を向上させ、EOG-sEMG”デュアルモダリティ”プロセスを同時に実現しています。 さらに、クロスチャネルEOG信号は、EOG測定で広く使用されているプラスチャネル法と同様の性能を有する。 また、クロスチャネルＥＯＧ信号法の電極位置は、ｓｅｍｇも同時に効果的に測定できるという優れた特徴を有する。 他の論文と比較して、これは有用なメリットです。
画像処理を用いたアイトラッキングシステムなどの障害を持つ人々を支援するためのヒューマンコンピュータインタフェースに関する他の関連研究と比較して、私たちの提案に基づくEOG-sEMGは、光や騒音などの環境からの強い干渉防止能力を持っています。 患者は視力なしでこのタイプのインターフェイスを使用できます。 特に，ＡＬＳ患者は終末期においても眼球や眼周囲の筋肉を制御することができ，提案したヒューマンコンピュータインタフェースに基づいてＥＯＧ-ｓｅｍｇを使用することができた。 画像処理装置は直感的で予測可能であるために広く使用されているが，提案したヒューマンコンピュータインタフェースに基づくＥＯＧ-ｓｅｍｇは依然として重度の障害者に良い選択を提供する。本稿では，Ｅｏｇｓとｓｅｍｇｓを記録することにより顔パターン認識を行うことができる技術を提案した。 提案した方法の性能を証明するために、3つの関連実験を段階的に試みました。 最初は7つのクラスを認識することができましたが、患者の実際の状態と初期の精度テストを扱って、EOGの二つのクラス（左と右の動き）とsEMGの二つのクラス（左点滅と右点滅）を選択するだけで、シミュレーションとモニタリングタスクのために容易に実現できるようになりました。 次に、これら4つのクラスを持つ提案したシステムを用いて、文字入力の実験を行った。 実験参加者は、強制なしで私たちの実験に参加することに同意する20代の健康な男性でした。 これらの実験から，提案したシステムの四パターン認識は学習しやすく使いやすいことを示した。 さらに，提案した簡易法（ワンクリックで文字入力ができるソフトウェア（ワンパターン認識））を重症心身障害者（筋ジストロフィー患者）に適用した。
2. 測定システム
2.1。 クロスチャネル
図1(a)に示すように、従来のEOG信号の記録方法としては、水平信号をチャネル1(CH1)で記録し、垂直信号をチャネル2(CH2)で記録し 本稿では、EOG信号の精度を向上させるために、図1(b)に示すような新しいクロスチャネル法を提案します。 横および縦信号は両方のチャネルによって同時に記録できます。 二重信号を使用してデータを解析する方がはるかに簡単です。
2.2. EOG-sEMG測定システム
このサブセクションでは、EOG-EMG測定システムの設計が提案されています。 図2は、システムを介した情報の制御とフローのためのEOG信号とsEMG信号の取得と解析のための形式的なスキームを示しています。 提案したシステムは、(1)アンプ、(2)フィルタ、(3)A/Dコンバータ、(4)マウスカーソル制御システムの四つのコンポーネントを持っています。 具体的には、このシステムは5つの電極、A/D変換器、パソコン、モニター(図2)で構成されていることを意味します。 SEMG信号の2つのチャネルのための4つの電極は表面で貼られ、1つの電極は地面として右か左の手首で貼られます。div>
(a)
(b)
(a)
(a)
(a)
(a)
(a)
(a)
(b)(b)
2.3. EOG-sEMGセンシングデバイス
このサブセクションでは、この研究で使用されるインターフェイスデバイスを示します。 図3は、インタフェースデバイスを装着した人を示しています。 このインターフェイスデバイスは、ゴーグルや眼鏡に似ており、電極を固定します。 デバイスによって測定された信号は、Bluetoothを使用してPCに送信されます。 送信されたデータを図4に示します。 測定された信号は、CH1とCH2の2つのEOGチャネル（2ch）のDC電流と、2つのEOGチャネル（CH3とCH4）のAC電流です。 同時に、Ｃ Ｈ５およびＣ Ｈ６であるＳＥＭＧの２ｃ Ｈ信号も測定される。 測定データの詳細については、以下のセクションで説明します。
3. EOG記録システム
このセクションでは、EOG記録システムを紹介します。 提案したEOGシステムは、(1)アンプとローパスフィルタ(DC素子)と(2)アンプ、ローパスフィルタ、およびハイパスフィルタ(AC素子)の二つの流れに基づいています。 生体電位データ収集システムの信号振幅（1000倍）とノイズリダクション対策を記録した後、四種類の眼球運動（右、左、上、下）を正確に認識し、電子ノイズリダクション なお、水平方向のＥＯＧ信号は垂直方向のＥＯＧ信号よりも強いものである。 これは、垂直サッケードが水平サッケードよりも遅く、下向きサッケードが最も遅いためです。 図5-8は、四つの眼球運動（右、左、上、下）が明らかに異なっていることを示しています。 さらに、CH1およびCH2は目の連続的な動きを記録するために使用することができるDC信号です。 Ｃ Ｈ３およびＣ Ｈ４はＥＯＧのＡ Ｃ信号である。 したがって、CH3およびCH4は眼球運動のみに強く反応する。
4. sEMG信号記録
図2は、システムを介した情報の制御と流れのためのsEMG信号の取得と分析のための正式なスキームを示しています。 このシステムは、(1)表面電極、(2)アンプ、(3)ハイパスフィルタ、(4)sEMG信号分類用のパーソナルコンピュータから構成されています。 表面電極によって検出されたＳＥＭＧ信号は、データ収集の前に増幅され、フィルタ処理されて、ノイズアーチファクトを低減し、データ解析のための情報を含むス 顔の動きを認識するためにsEMG信号の2つのチャネルを使用することができます。 60Hz電力線のDCレベルとノイズを除去するために、ハイパスフィルタが使用されます。 ハイパスフィルタのカットオフ周波数は66.7Hzです。
図10の記録は、当社のシステムに適用されたノイズ低減対策を示しています。 その結果、3つのsEMGクラス（right blink、left blink、およびbite）のデータは明らかに異なります。 フィルタリングと増幅（約1000回）の後、sEMG信号はデジタル化され、パーソナルコンピュータに転送されます。 測定データのサンプリング周波数は、0Hz～500Hzの帯域で1KHzです。
sEMG信号は移動平均処理によって処理されます。 移動平均処理では、前のデータポイントの補正平均と重み付けされていない平均が計算されます。 そして、移動平均処理後の値は、閾値に基づいて”アクティブ”または”非アクティブ”と判定される。 しきい値（CH5およびCH6）は、ユーザーに応じて設定されます。 この方法は、各ユーザーのしきい値を設定するために必要です。 さらに、このシステムは通常の点滅に反応しません。 図11は、このプロセスの図を示しています。
5. パターン認識アルゴリズム
このセクションでは、提案されたEOG-sEMGパターン認識アルゴリズムを紹介します。 図12は、提案したシステムの全体的な流れを示しています。 このプロセスは、繰り返しの手順で構成されています。 パターン認識は、EOGのための二つのクラス（左と右の動き）とsEMGのための三つのクラス（左の点滅、右の点滅、および咬合）の五つのクラスで構成されています。
実験ルールから、アクティブと非アクティブの間の判定閾値が設定されています。 次に、目が動くとき、私たちのアルゴリズムはCH1+CH2とCH1−CH2の変化範囲を比較します。 CH1-CH2が大きい場合、私たちのアルゴリズムはEOGの決定プロセスを実行します。 CH1+CH2が大きい場合、私たちのアルゴリズムは、目の垂直方向のEOGデータが点滅パターンのEOGデータに似ているため、目が垂直方向に移動したと判断します。 さらに，我々の実験結果は，多くの人々が目の上方向を容易に制御できないことを示している。
次に、EOGパターン認識アルゴリズム、図13に示すEOGパターン認識処理の例を紹介します。 図9は、すべての目の動きがCH1+CH2とCH1−CH2の値をチェックすることによって可能であることを示していますが、ドリフト問題によるベースライ 図13のアルゴリズムステップは次のとおりです。(1)EOGのDC要素とAC要素が正しい方向のしきい値を超えています。 これが目の正しい方向であると判断されます。（2）DCの要素は正しい方向のための境界を超過し続け、AC要素はベースラインに戻ります。 目の方向は引き続き右にあります。(3)目の方向が中心位置に戻ると、AC素子は負の方向に大きく変化します。(4)AC要素とDC要素は、各要素のベースラインに戻ります。 その後、ベースラインが更新されます。本システムは，このアルゴリズムを用いて目の左右の動きの決定を行う。 このアルゴリズムは方向を決定することを可能にする。 AC素子のみを使用する場合、これは困難なプロセスです。
6. 実験と結果
私たちの提案したシステムの有効性をテストするために、我々は二つの実験を行った：一つはパターン認識テストであり、他は文字入力テス
6.1. パターン認識実験
まず、二つの眼球運動クラス（右と左）と三つの顔sEMGクラス（右点滅、左点滅、咬合）のパターン分類実験を行いました。 各アクションの間隔は3秒です(図14を参照)。 各参加者は、それぞれの眼球運動を九回行った。 さらに，提案したシステムが正常な瞬きを拒否できるかどうかを試験した。 通常のまばたき除去試験を30回実施しました。 実験の参加者は、この実験に参加することに同意した二十代の私たちの研究室のすべての番号である八人の健康な男性でした。
6.2。 パターン認識実験結果
パターン認識実験結果を表1に示し、最後の行は各パターンの性能評価（PE）を5点ルール（5点に対して正しい、2点に対して棄却、0点に対してミス）で示している。 Rejectは、入力パターンが反応しなかったことを意味します。 ミスは、入力パターンが間違った応答であったことを意味します。 実験から，提案したシステムのＥＯＧパターン認識（左右）は信頼できる。 これらの実験結果から，提案したシステムは四つのクラス（右，左，右点滅，左点滅）の認識において良好な性能を示した。 平均認識率は95.1％であり、平均拒否率は1.4％であり、平均ミス率はわずか3.5％であり、平均PEは4.79の5であった。tr>
: 1)
6.3. 文字入力実験
次に、四つのクラス（右（EOG）、左（EOG）、右点滅（sEMG）、左点滅（sEMG））を用いて文字入力実験を行った。 アルファベット文入力ソフトウェア”Hearty Ladder”を図15に示します。 四分割選択法を用いた。 右（EOG）は、右下の領域を選択するコマンドです。 Left(EOG)は、左下の領域を選択するコマンドです。 右点滅（sEMG）は、より高い右の領域を選択するコマンドです。 左点滅（sEMG）は、より高い左の領域を選択するコマンドです。最後のパターンの文字が選択されるまで、ユーザーは四つのパターンのフィルタリングを繰り返しました。 制御間隔は0.1秒であり、本学の名前である”宮崎”入力タスク（8文字：4文字に対して1文字）の実験を行った。 実験の参加者は、この実験に参加することに同意した20代の9人の健康な男性でした。 実験参加者には、このシステムを経験した六人が含まれていました。
6.4. 文字入力実験結果
“宮崎”入力タスクの五つの試行を試みました。 ミスの数と入力が終了するまでの時間を数えました。 実験結果を表２に示す。 これらの実験から、一つの試行の平均時間は50.0秒であり、アルファベットの一文字の平均入力時間は約6.3秒（50秒/8文字）であった。 最速の参加者、K.Mの時間は4.5秒（35.8秒/8文字）でした。 また、提案したシステムを100時間以上使用していた参加者M.f、M.S、R.Kを経験者とみなし、提案したシステムを使用していない他の6人を経験の浅いと考えた場合、経験豊富な参加者の平均時間は49人であった。2秒、未経験の参加者のそれは51.5秒であった。 これらの結果から，提案したシステムの利点の一つは，ユーザが多くの訓練を必要としないことであると考えた。tr>
|
||||||||||||||||||||||||||||
このセクションで述べたように、提案されたシステムでは2つまたは4つのパターンを認識できます。 これらのパターンはすべて別々の関数として割り当てることができ、ユーザーの状態を扱うことができ、これらのパターンはすべてそれらの任意の組み合 次のセクションでは、1つのパターンのみを使用して、私たちが提案したシステムの重度障害者への適用について議論します。
7. 重度障害者の実験結果
本稿では、重度障害者（筋ジストロフィー患者）のための私たちの提案した方法を適用しました。 宮崎大学倫理委員会の承認を得ています。 複雑な操作を伴うセクション6の実験は、障害を持つ人々に大きな疲労を引き起こすので、EOGまたはsEMGを使用してワンクリックで文字を入力する方法で実験が行われた。 容易に使用できるＥＯＧまたはｓｅｍｇパターンから一つのパターンのみを選択した。 この文字入力方法では、ソフトウェアによって文字が自動的に選択され、対象の文字がソフトウェアによって選択されたときにクリックすることでユーザーが選択することができます。 この実験では，クリック処理はＥＯＧまたはｓｅｍｇ活性の認識によって行われる。
この実験には二つの被験者がいました。 被験者や環境の体調の影響を最小限に抑えるために、異なる日に異なる機会に10回同じ実験を試みました。 一つの実験で連続した30分は、日本語の文字入力をテストするために使用されました。 実験結果を表4に示す。 表4から、sEMG法の認識率は99.2%、EOG法の認識率は98.0%である。 入力時間は健常者に比べて約1-2秒遅かった。 したがって、障害者は、シングルクリックを使用して健康なものと同じ結果を持っています。 これらの結果から，このアプローチは重度障害者に有効であると言える。tr>
8. 結論
本研究では、筋萎縮性側索硬化症または他の病気に罹患している患者のために設計されたEOG-sEMGヒューマンコンピュータインタフェースデバイスを 私達は同じ4つの電極が付いている表面の交差チャネルそして平行ラインチャネル両方を使用します。 このシステムは，パターン認識のためのデュアルスレッドとしてＥＯＧとｓｅｍｇ信号を同時に記録できた。 さらに，ＥＯＧの交流素子と直流素子の組み合わせを用いた提案した方法は，対応するドリフトを低減し，眼球運動の記録における連続操作を可能にする。 実験の結果，提案した方法は四パターン認識（右（ＥＯＧ），左（ＥＯＧ），右点滅（ｓｅｍｇ），左点滅（ｓｅｍｇ））に有効であることを示した。 特に，提案した方法は文字入力実験に対して良好な性能を示した。 ミス率はわずか1.4％でした。 さらに、経験の浅い経験豊富な参加者の結果はほとんど差を示さなかった。 これらの結果から，提案したシステムの利点の一つは，ユーザが多くのトレーニングを必要としないことであると考えた。さらに，提案した方法をＥＯＧ法およびｓｅｍｇ法と比較した。 提案した方法は，文字入力に最短時間を必要とした。 提案したヒューマンコンピュータインタフェースは，ＥＯＧシステム，ｓｅｍｇシステム，ＥＯＧ-ｓｅｍｇシステムに適用できる。 目の動きだけを制御できる患者には、私たちのシステムを使用することができます。 ユーザーが装置を使用して快適であるまで高い成功率のsEMG信号だけ使用することもまた可能である。 提案したヒューマンコンピュータインタフェースは，状況に応じて使用できるという利点を有する。私たちは、筋萎縮性側索硬化症や他の病気に苦しんでいる患者と私たちのシステムを使用して通信できるようにしたいと考えています。
私たちの将来の仕事では、私たちは多くの被験者とより深刻な障害者をテストする予定です。
競合する利益
この研究は、昭和株式会社によって資金提供されました。 (株)
謝辞
本研究は、宮崎県産業支援財団（R&D）および若手科学者のための助成金（B）（23700668）KAKENによって支援されました。 著者は稲見和彦氏と権藤和也氏に感謝しています。 彼らは感謝して彼らの研究室の過去と現在のメンバーの仕事を認めています。