三菱電機株式会社、しゃべった言葉を指で好きな場所に表示する「しゃべり描きUI」を出展

108

三菱電機株式会社、しゃべった言葉を指で好きな場所に表示する「しゃべり描きUI」を出展

CEATECアワード2016でグランプリ（暮らしと家でつながるイノベーション部門）を受賞したのは、三菱電機の「しゃべり描きUI」だ。UIとしては、発話した音声を文字認識してテキストを指でなぞった箇所に表示するというものだ。単純だが、コミュニケーションの幅を広げてくれる新しいUIだ。

三菱電機ブース

指でなぞるUIがコミュニケーションの幅を広げる

音声認識、テキスト変換、タッチスクリーン、グラフィカルな文字表示。どれも新しい技術ではないが、新しい発想によりこれらを組み合わせて実現したのが「しゃべり描きUI」だ。

三菱電機ではデモ用に、このUI（ユーザーインターフェイス）のフロントエンドアプリケーションとして、コミュニケーションタブレットを展示している。機能は音声入力が可能なグラフィックツールといったところだ。音声入力した内容をそのままタブレットの画面に表示するのではなく、そのあと指でなぞったラインに沿って、認識されたテキストを表示する。

例えば聴覚障害者と会話するとき、筆談やタブレットを使ったものより表現力が増し、意思伝達が双方にとってスムースになる。画面で地図や図面などを表示させながら、その内容について議論するとき、「ここです」のような簡単な発話と画面上の指差しで位置を指定できる。障害者は手話を見たり唇を読んだりする必要がなく、健常者と画面を使った自然な会話ができるというわけだ。

指でなぞってテキストを表示するという新しいUI

教育や親子での新しいコミュニケーションへの応用

地図画像をみながら、手書き、しゃべり描きUIが混在したアプリで、会話の幅を広げる

アプリ連携やAPI利用を見据え事業化をめざす

翻訳機能と組み合わせれば、外国人とのコミュニケーションにも応用可能だ。しかも片方、または両方が障害者だったとしても問題ない。お互いの言語で発話し、それを指で表示させるだけだ。

病院などでは、高齢者、外国人との問診、診察にも使えるだろう。画面を二分割して対面表示にすれば、通訳・対話パッドのようなデバイスも簡単に実現できる。デモアプリは、このようなさまざまな機能が実装されていたが、どれも、入力した音声を指で任意の形でテキスト表示させる、というUIをベースにコミュニケーション方法の幅を広げてくれるものだ。

三菱電機では、開発のキーとなっているのはUI部分であり、アプリケーションは用途によっていろいろな形が考えられるとする。WordやPowerPointのような汎用オフィスツール、チャットツール、あるいは漢字変換のような入力フロントエンドに組み込んだり、API経由での利用も考えたいとしている。

現在、大学などと事業化に向けた話を始めているといい、2020年には正式な事業をスタートさせたいとしている。

翻訳機能もついた対面型画面の例