明日の天気を尋ねたり、欲しいものを買い物リストに入れたり、あるいはドルを円で換算したりと、様々な場面で大活躍のアマゾンエコー。ただ、手話言語に対応しておらず、聾唖者にとって使い勝手の良いツールと言えない。
そんななか、インドのソフトウェア開発者アビシェーク・シン（Abhishek Singh）氏は、アレクサに手話言語を追加すべくプロジェクトを立ち上げ、只今続行中だ。
シン氏はグーグルのディープラーニングライブラリ「TensorFlow.js」を活用し、手話言語を理解するようコンピュータに教え込むことで独自の音声合成システムを構築することに成功した。ノートパソコンに搭載されたウェブカメラや音声合成システムを介してアメリカ手話を音声に翻訳。そして、その音声に対してアレクサが反応する。アレクサが音声に反応すると、その旨がコンピュータの画面に表示される。
「現時点では手話を認識する程度である。さらに語彙を登録するのは比較的容易であり、近日中にコードをオープンソース化したいと思っている」（アビシェーク・シン氏）
マイクロソフト・リサーチ・アジアは「Xbox 360 Kinect」を用いて中国手話をテクストに変換する手法を、またエヌビディアはアメリカ手話を英語に翻訳するメッセージアプリを生み出している。
Photo by twitter
