project
サイバー空間とフィジカル空間の融合に基づく
社会的インタラクションの支援
- 研究目的：
- フィジカル空間での人のコミュニケーション行動を機械学習によりモデル化し、これに基づきサイバー空間でのアプリケーション基盤を実装することにより、Society5.0に寄与する技術を開発することを目的とする。
- １．実施内容
- 本研究では、実世界での人のコミュニケーション行動をセンシングし、会話者の特性や会話内容の特性を機械学習モデルにより推定するとともに、これを利用したサイバー空間におけるアプリケーションの実装やエージェントプラットフォームの実装に取り組む。本研究の概要を別紙の図に示す。
- ■実施内容①：マルチモーダルコーパスアーカイブの構築
- 機械学習による学習モデルの作成には、様々なコミュニケーションの形態（2者対話、グループ議論等）、様々な会話参加者の特性（性格、文化、感情状態など）に関するデータセットが不可欠である。NTTが保有する2者対話のマルチモーダルコーパス、代表者の研究室が保有するグループ議論のマルチモーダルコーパスに加え、新たに多言語・多文化のデータを収集することにより、多種多様なマルチモーダルコーパスを構築する。
- ■実施内容②：社会的信号処理に基づくコミュニケーションセンシングモジュールの実装
- 人同士や人対エージェントのインタラクションのマルチモーダルな理解を実現する技術として社会的信号処理の研究に取り組む。特に、会話参加者特性（性格特性、文化、感情）の推定、および議論特性の推定技術を開発し、サイバー空間でのアプリケーションに組み込み可能なモジュールとして実装する。
- ■実施内容③：エージェントプラットフォームの実装
- 実施内容②により得られた推定結果を用いて、人対エージェントの対話システムにおいて、エージェントの応答を変化させたり、アバターシステムにおいて、ユーザのコミュニケーションシグナルを適切に調整して出力するエージェントプラットフォームを実装する。
- ２．期待される成果
- ①マルチモーダルコーパスの構築には時間と手間を要するが、本プロジェクトにおける連携により、国際的にみても規模の大きいマルチモーダルコーパスのアーカイブが実現する。
- ②社会的信号処理の研究分野において、国際的にも先駆的な研究成果を発表するとともに、それをコミュニケーションセンシングシステムとして実装し、コミュニケーションの特性を定量的に提示することにより、社会的インタラクションを解釈するAIが実現する。
- ③サイバー空間のエージェントやアバターの非言語コミュニケーションシグナルを適切に自動生成するシステムが実現すれば、エージェントやアバターを用いたアプリケーションの開発を加速させることができる。
related content
関連
コンテンツ
