田上陽太さんと李圭昇さん(東京・国際高校3年)は、手話翻訳アプリ「Handy」を開発。中高生がスマートフォン向けアプリを開発して競う「アプリ甲子園2024」(丸井グループ、ライフイズテック主催)のAI開発部門で準優勝した。(文・山田悠樹=大学生ライター、写真・アプリ甲子園運営事務局提供)

手話をリアルタイムで翻訳

田上さんと李さんが開発した「Handy」は、手話をリアルタイムでテキストに変換するアプリだ。

「手話翻訳の技術に関しては関心度が低いです。手話翻訳技術の多くは一般公開されておらず、公開されていても特殊なカメラが必要だったりします」(田上さん)。手話は国によっても違いがあり、動きの速さや何回同じ動作を繰り返すかによっても意味が変わる点が、手話翻訳の難易度を上げているという。

田上さん(左)と李さん

Handyは、そんな課題を解消してくれる。手話の新しい表現やスラングにも対応できるよう設計されている。「学ぶ方法を学ぶ」メタ学習を採用。暗記をするのではなく、効率的な勉強法を探せるため、新しい手話をAIが覚える時も、速くより効率的に対応し認識できるという。メタ学習のAIは、二人が開発。Zoomでも使え、手話を使う人と手話が分からない人の懸け橋になるアプリだ。

「聲の形」がきっかけで開発

田上さんと李さんは同級生。開発のきっかけは、田上さんが聴覚障がいを抱える少女が登場する映画「聲の形」を見て、手話に出会ったことだ。

開発した「Handy」の画面

田上さんはもともと4カ国語を学んでおり、「言語」に興味があった。手話の「時代や地域によって変わり、変化が目まぐるしい」特性にひかれて、李さんを誘って開発を進めた。

より使いやすいアプリを目指す

アプリ開発は苦難の連続。李さんは海外の論文を読むこともあったという。準優勝という結果に、李さんは「頑張って研究したことが評価されてうれしい」と話した。

一方で、田上さんはまだ満足していない。「UI/UXデザイン」という、「ユーザーが使いやすいかどうか」という点において評価が高くなかったことに対し、「よりユーザーが使いやすいようなアプリをつくっていきたい」と話した。