印エンジニアがアマゾン・アレクサに手話言語を追加するプロジェクト立ち上げ

Photo by twitter

明日の天気を尋ねたり、欲しいものを買い物リストに入れたり、あるいはドルを円で換算したりと、様々な場面で大活躍のアマゾンエコー。ただ、手話言語に対応しておらず、聾唖者にとって使い勝手の良いツールと言えない。

そんななか、インドのソフトウェア開発者アビシェーク・シン(Abhishek Singh)氏は、アレクサに手話言語を追加すべくプロジェクトを立ち上げ、只今続行中だ。

シン氏はグーグルのディープラーニングライブラリ「TensorFlow.js」を活用し、手話言語を理解するようコンピュータに教え込むことで独自の音声合成システムを構築することに成功した。ノートパソコンに搭載されたウェブカメラや音声合成システムを介してアメリカ手話を音声に翻訳。そして、その音声に対してアレクサが反応する。アレクサが音声に反応すると、その旨がコンピュータの画面に表示される。

「現時点では手話を認識する程度である。さらに語彙を登録するのは比較的容易であり、近日中にコードをオープンソース化したいと思っている」(アビシェーク・シン氏)

マイクロソフト・リサーチ・アジアは「Xbox 360 Kinect」を用いて中国手話をテクストに変換する手法を、またエヌビディアはアメリカ手話を英語に翻訳するメッセージアプリを生み出している。

大澤法子

記者:大澤法子


翻訳者・ライター。1983年、愛媛県生まれ。文学修士(言語学)。関心分野は認知言語学、言語処理。医療・介護分野におけるコミュニケーションに疑問を抱いており、ヘルスケアメディアを中心に活動中。人間同士のミスコミュニケーションに対するソリューションの担い手として、ロボット・VRなどがどのような役割を果たし得るかを中心に追及。

https://roboteer-tokyo.com/about