手話を言葉・テキストに”翻訳”するARアプリ登場...聾唖の両親を持つ学生が開発

ニューヨーク大学タンドン工科校の学生らが手話言語を一般向けのテクストへと変換する翻訳アプリ「拡張現実サインランゲージ（Augmented Reality Sign Language）」を開発した。

聾唖者がアプリに向かってサインを送ると、アプリ内のアルゴリズムがそのサインを解析し、一般にも理解できる言葉へと変換。一方、健常者がアプリに話しかけると、手話言語や聾唖者向けのテクストへと翻訳される。こうしてアプリを通じて、聾唖者、健常者間の相互コミュニケーションが実現される。

手話翻訳アプリの開発のきっかけとなったのが、香港からニューヨークへと移住した聾唖者の両親を持つ修士課程の学生による提案だ。その学生の両親はアメリカ手話に関する理解がなかったという。今年初めに実施した聾唖者を対象としたインタビュー調査では、聾唖者がモバイル環境にアクセスする機会の乏しさ、なによりデジタル技術を介した人間世界のシミュレーションを聾唖者自身が望んでいるという実態を思い知らされ、手話翻訳アプリの開発を決意した。

聾唖者の第一言語は手話である。聾唖者にとって手話は話し言葉よりも理解しやすい言語であるという考えに則りつつ、手話翻訳アプリの開発に携わった。

開発メンバーのひとりは、「聾唖者が何か言おうとする時、誰かに頼らざるを得ない。我々が開発したアプリがユーザーである聾唖者の自立を支えるツールになればと思う」と同大学の学生新聞の取材に対してコメントした。

手話は万国共通ではない。同じ英語でもイギリス英語とアメリカ英語とでは異なるように、イギリス手話とアメリカ手話は全く別の言語である。そのうえ中国手話、日本手話もあり、それぞれが独自の言語体系を有している。

「拡張現実サインランゲージ」は単に手話言語から話し言葉に変換するだけでなく、各国の手話言語間の翻訳にも対応している。

モバイル技術の進展とともに機械翻訳の技術は日々進歩し、未知の言語の翻訳が即座に手に入る時代へと突入した。最新のニューラル機械翻訳モデルでは従来のルールベース機械翻訳に比べ高精度な翻訳を実現できるようになったとはいえ、100パーセント正確な翻訳は不可能である。もしかすると誤訳や訳抜けがあるかもしれない。その点を留意の上で、手話翻訳アプリを活用する必要がある。

Photo by youtube