発声発音学習アプリ【coemiyell】（こえみえ～る）

リアルタイム音声可視化手法（音声特徴推定機能と音声画像化機能を有するプログラム群）を用いて音声言語学習用として開発するアプリ群をcoemiyell（こえみえ～る）と総称しています。

音声画像化方式

　私たちは、『こえを見ながら発話を学ぶ』を開発コンセプトとして、聴覚的な音声刺激を視覚的な色彩・テクスチャに変換・可視化するための音声画像化手法を熊本大学において提案・開発してきました。これらの手法は、発話音声の特徴要素の選択的可視化により，発声～発語～発話という一連の音声学習における矯正要素の視覚フィードバック機能を有しています。

音声特徴推定方式

音声知覚や音声認識・合成において重要な特徴量であるホルマント周波数・基本周波数の高精度抽出方式として熊本大学で開発・実用化された逆フィルタ制御法（IFC法*）をベースにした各種音声特徴群（音素調音に関するニューラルネット出力や音素距離出力など）のリアルタイム処理を音声特徴推定エンジンとして汎用PC上に構築しました。

＊) IFC法：精度・安定性・リアルタイム性において、従来法のLPC法を凌ぐ方式として、米国のUCBやUCSFの言語学部や医学部他、音声関連の研究分野で多用されている。

上記の音声特徴推定と音声画像化のリアルタイム処理方式を組み合わせることで、障碍者の発声リハビリや外国語習得を含む音声言語学習に関わるWindowsベースの音声画像化ツール群（発声・発語フィードバック、学習、発話ゲーム、障害音声診断など）を熊本大学において開発してきました。coemiyellの核となる音声特徴推定エンジンのスマホ組み込みが完了したことに伴い、まず、母音の構音学習アプリ（speech ball 英語版,日本語版）をリリースすることになりました。

今後は、図の開発ツール群の中から、LEDOの事業目的・内容に沿ったツールを適宜選択して、スマートホンでも利用可能なアプリとして、一般に提供・配布する予定です。

母音構音学習アプリ【スピーチボール】

目 的

　私たちは、顎・舌・唇・声帯などの音声器官の形や動きをコントロール（構音）することで、言語音声を発しています。このうち、音声言語の核となる母音では、舌と顎の位置や唇の丸め方によって、その音韻（音色）がさまざまに変化します。スピーチボールは、そのような母音発声時の構音状態をボールの位置と色の違いとして視覚的にフィードバックしながら、自らの発声努力により安定した母音発声法を習得するために開発した発声学習アプリです。

原　理

　音響的には、母音の音色はその声の共鳴周波数（ホルマント周波数と呼ぶ）の違いで決まることから、発話音声から推定した２～３個のホルマント周波数から構音状態を定量的に推定することができます。スピーチボールでは、IFC法で抽出したホルマント周波数を独自の方法で、色の三原色（RED/GREEN/BLUE）に変換することで、母音の＜音韻＞を＜色＞の違いとして表現しています。顎の開き具合や舌の前後位置を連続的に変えながら母音を発声（日本語ではイ→エ→ア→オ→ウ→イ→‥）してみると、連続的な色の変化（青→紫→橙→黄→緑→青‥）が見られます。

機　能

　スピーチボールでは、連続色相で表現される色相環上を回転する色ボールとして、母音の構音状態を可視化しています。英語などの外国語音声特有の母音群も色相環上の特有の位置を占めることから、目標とする母音の存在領域を明示した色相環マップを交換することで、学びたい言語系での定常的な母音の構音学習に対応しています。現在は、日本語と英語（長母音Longと短母音Short）用のマップを用意しています。

利用方法

① ロゴのタップでスタンバイ状態
② 発声者の種別（子ども/大人男性/大人女性）を選択
③ 学習したい母音色相環マップ（日本語/英語（長母音）/英語（短母音））を選択
④ 開始ボタンでマイク音声入力→音声分析→可視化の一連のリアルタイム処理が始まります。

[利用上の留意事項]
・話者種別には厳密な定義はありませんので、発声して安定に表示される種別を選択
・マイク音声レベルは自動調整されていますので特に調整の必要はありませんが、円環中央に表示さ　れるマイク全体がほぼ見える程度の大きさで発声してください