記事のポイント
- リコーが聴覚障がい者向けコミュニケーションサービス「ペコ」を開発
- 会話を音声認識で見える化し、誤認識を簡単に修正できるサービスだ
- 「ペコ」の開発者に誕生のきっかけなどについて聞いた
社内技術発表会での会話からヒントを得て、会話を音声認識で見える化し、誤認識を簡単に修正できる「聴覚障がい者向けコミュニケーションサービス Pekoe（ペコ）」。開発したリコーはOA機器メーカーからデジタルサービスの会社への変革を進めています。NPO法人インフォメーションギャップバスターの伊藤芳浩理事長が、「Pekoe」のチームリーダー、岩田佳子さんに「Pekoe」の誕生のきっかけなどについて話を聞きました。
■会話を電子ホワイトボートに表示
――岩田さんの仕事のキャリアと「Pekoe（ペコ）」を開発した契機について教えてください。
2002年にリコーに入社し複合機の操作パネルに表示する画面の開発をしていました。2012年からは、新しいプロジェクトのチームに移動し、ビデオ会議システムや電子ホワイトボードを作る仕事に携わりました。
2016年には、発話した内容を文字へ変換し、電子ホワイトボードへ表示させる技術の開発に携わりました。この技術を社内の技術発表会で展示したところ、聞こえにくい人たちが使えば便利だというアイデアを手話通訳の手配をした経験がある社員からもらいました。
このシステムを使ってみた聞こえにくい人たちは、前はわからなかった会議の話もわかるようになり、議論にも参加できるようになったと言ってくれました。そこで、このように困っている人が他にもいるかもしれないと思い、この技術で新しい事業を始めることにしたのです。
――「Pekoe」の開発の経緯を教えてください。
先ほどもお話した通り、「Pekoe」は、もともと音声認識機能を備えた電子ホワイトボードから始まりました。最初は電子ホワイトボード専用でしたが、すぐにノートパソコンでも使えるように改良しました。
パソコン対応になってからは、多くの人が使い始め、さまざまな要望が届きました。これらのフィードバックを元に、私たちは機能を少しずつ追加していきました。そして、2020年、事業共創を目指す社内外統合型のアクセラレータープログラム「TRIBUS(トライバス *1)」に参加することで、Pekoeの開発を加速して進めることができました。
(*1) 社内外からイノベーターを募り、リコーのリソースを活用し、社会の広い分野での課題解決を目指すプログラム。
――「Pekoe」の開発は、どのように行われましたか。
私たちは、「Pekoe」に実装する機能として、会議で話された内容を文字に起こし、その文字をすぐに見たり直したりできるようにするものを作りました。
この機能は、複数の人が同時に使えるように、リアルタイムで情報を共有する必要がありました。そこで、Amazon Web ServiceのAppSyncというサービスを使いました。AppSyncは、データのやり取りをリアルタイムで簡単にできるようにするサービスです。
開発の初期段階では、私たちのチームには聞こえる人しかいなかったため、実際に困っている人たちがどんな問題を持っているかを理解するのが難しかったです。そこで、マイクやスピーカーをオフにしてリモート会議に参加するという方法で、実際に困っている人たちの立場を体験しました。
この体験を通して、私たちは彼らが直面する問題により近づき、開発している機能の質を高めることができました。
■ユーザーにやさしいデザインと処理スピードの両立
――「Pekoe」を開発する上で、苦労したところはどんな点ですか。
開発の中で苦労したところは、情報を速く、そして見やすく表示する方法を見つけることでした。最初の案では、文字が表示されている間、その枠が大きくなったり小さくなったりするデザインでした。しかし、聴覚障害を持つチームメンバーから、文字を長時間追っていると目が疲れてしまうという意見をもらいました。このとき初めて私たちのデザインに問題があることに気づきました。
そこで、表示する文字の行数をどれくらいにするか、試作品を作って意見を聞くことにしました。結果、文字の行数は3行が最も読みやすいということになりました。その後、別の会社の当事者からは、表示枠の大きさを自分で調整できるようにしてほしいという要望があり、それにも対応しました。
――「Pekoe」における技術的革新点は何か教えてください。
「Pekoe」は、聞こえにくい人だけでなく聞こえる人も便利に利用できる多様な機能を搭載しています。誤変換を迅速に修正できるユーザーエクスペリエンス（UX）、文字起こしの不明点を指摘できる機能、そしてテキストを発話する機能（公開準備中）、外部装置なしでリモート会議の音声を高精度に文字起こしする機能、リアクション機能などです。
誤変換を迅速に修正可能なユーザーエクスペリエンス（UX）は、テキスト枠をタッチするだけで即座に修正可能で、枠外をタッチすることで確定できるため、操作は2ステップで完了します。
一般的な文字起こしアプリは4ステップかかるところが多いので、それと比べると簡単に早く操作を完了することができます。このようにユーザーフレンドリーなアプローチにより、より効率的で理解しやすいコミュニケーションを支援しています。
文字起こしの不明点を指摘できる機能は、社内実践の際に聴覚障害を持つ社員から、発言の変換結果が不明瞭な場合に「わからない」と気軽に伝えられる機能が欲しいとの要望があり、追加しました。
聞こえる人は音と文字の両方でコミュニケーションを取れますが、聞こえにくい人は文字情報のみに依存しているため、変換誤りによる理解の難しさを改善する必要がありました。指摘した不明点はピンク色で目立つように表示されます。
■聴覚障害者、能力を発揮できる機会に制限も
――「Pekoe」が音声認識技術を通して目指している理想の社会像はどのようなものですか。
社内外での聴覚障害者とのコミュニケーションを通じて、聴覚障害があるために営業職を断念している人々の話を聞き、彼らが自分の能力を発揮できる機会に制限がある現状に衝撃を受けました。これまで、聴覚障害者は基本的に指示を受けて業務をこなすことが多く、自ら積極的に動くことが難しい環境にあったのだと。
しかし、職場の仲間が少し協力するだけで、聴覚障害者も正確な情報をタイムリーに受け取り、その場で理解し、発言することが可能になります。そうすればさらなるスキルアップや、積極的な活動への意欲につながると考えています。
いつでもどこでも音声情報を取得できるようにすることで、聴覚障害者が抱える不安を取り除き、自信を持って自らの意見を発信できるように支援することができるのではと思います。やりたい仕事や挑戦したいことへの一歩を踏み出せる力が湧いてくる、そんな世界を作りたいと考えています。
■音声情報を視覚化し、職場の人間関係深まる
――「Pekoe」を使用した方の感想について教えてください。
社内の聞こえにくい人からは、音声情報を視覚化することで「音のある世界が見える」ようになり、会議内容だけでなく、前後の雑談も理解できるようになったとの声を聞きました。趣味や家族のことなど、同僚のプライベートについても知る機会が増え、コミュニケーションが容易になったとのことです。
例えば、同僚がサーフィンをしていたり、子どもの誕生日で早退するといった話が会議前に会話されているのを知り、職場内の人間関係が深まったエピソードもありました。
日清紡マイクロデバイスの導入事例では、聴覚障害を持つ社員が技術的な議論にも更に積極的に参加できるようになり、新たな知識を習得することが可能になったと聞いています。その結果、聴覚障害を持つ社員の業務範囲が拡大し、周囲の人たちも、本人がより多くの仕事をこなせることを理解し、支援することが広まったとのことです。
聞こえにくい人と同じ職場で働く人の立場からはチーム全体の仕事の流れがスムーズになったという報告もあります。上司や同僚が聞こえにくいメンバーとコミュニケーションするときに、正確な情報伝達を心掛けることで、Pekoeが十分に機能し、作業の効率化が図れるようになるからだと思われます。これまで起きていた認識の行き違いが解消され、業務全体がスムーズに進むようになったとの感想が寄せられています。
――聞こえない学生をインターンシップで受け入れたと聞きましたが、どのような狙いがあって行ったのか、また、その結果どうだったのかを教えてください。
弊社では、筑波技術大学(*2)の聞こえない学生とのインターンシップを通じて、Pekoeの使用感に関するフィードバックを得ることを目指しました。また、聞こえないために対応していただけるインターンシップ機会が少なく、社会経験を満足にすることができない現状を解決するための取り組みでもあります。
この取り組みにおいて、学生たちからPekoeの使用に関してポジティブな評価と共に、改善点もいくつか指摘していただきました。これは、情報アクセスの機会を公平に与えることにより、多様性を促進させることの重要性を改めて認識する大変良い機会になりました。
詳細情報については、リコーのブログをご覧ください。
(*2) 筑波技術大学は、日本で唯一「視覚・聴覚障害者であること」を入学条件とする国立大学
――「Pekoe」の今後の目標について教えてください。
当面の目標は、音を通じて伝えられる情報が多い世界で、聴覚障害者が必要な情報をリアルタイムで得られていない現状を多くの人に知ってもらうことです。そして、どこでも音声を文字に変換することが一般的な世の中を作りたいと考えています。
今は主に会社内の会議をサポートする機能に焦点を当てていますが、今後は講演会やセミナー、好きなアーティストのコンサートなど、さまざまなシーンで誰もが使える機能を拡張していきたいと考えています。
将来的には、文字だけでなく絵や手話など、さまざまなコミュニケーション手段をサポートし、誰もが誰とでもコミュニケーションが取れる世界を目指しています。手話の読み取りやテキストから手話への変換技術は、まだ発展途上ですが、徐々に進歩しています。これらの技術を組み合わせていくことを検討中です。
