片寄晴弘チーム

時系列メディアのデザイン転写技術の開発

片寄　晴弘　（かたよせ　はるひろ）

関西学院大学理工学部　教授
http://www.crestmuse.jp/index-j.html

本研究では、メディアアートやデザインの成立前提である共通了解性、および、音楽に代表される時系列メディアの認知特性に着目し、既存事例中のデザインの転写によってコンテンツ制作を支援する方式の開発に取り組みます。本研究によって、アマチュア、プロの双方が使用可能な直感的な作品制作支援環境が提供できるようになるほか、能動的芸術鑑賞と新エンタテインメントの形成を通じ、我が国の当該領域の競争力確保に貢献します。

研究実施の概要

本研究では、新しい音楽の愉しみの創成に向けて、ヒトが音楽を聞いた経験、つまり、「音楽の事例」に着目し、音楽の「デザイン転写」という新たなキーコンセプトを提唱し、音楽コンテンツの分析・生成・能動的鑑賞の基盤技術、ならびにアプリケーションを開発してきた。ここでいう「デザイン転写」とは、音楽コンテンツの単純なコピーではない。デザインをそのデザインに足らしめている特徴を抽象化して取り扱うことを対象としている。併せて、そのデザインのユーザ操作手段としてdirectability というキーコンテプトを打ち出し、システム開発を進めてきた。

コンテンツの分析・生成に関する成果としては、 a) CrestMuse Vocal Deigner: 話声を歌声に自動変換するSingBySpeaking、ユーザ歌唱を真似て歌声合成するVocaListener、歌声を混ぜるインタフェースv.morish の三つのシステムの統合した歌声合成・変換システム、b)歌唱スタイルレゾネータ: 一般歌唱を奄美大島風、ロックボーカリスト風に変換するシステム、c) OrpheusBB: 歌詞の韻律に基づいてメロディを作り、さらにユーザのメロディやコードなどの事後editing に対して音楽的な整合性を保持する自動作曲システム、d) Mixtract: フレーズ構造、頂点音の提示支援に基づく演奏の表情付けシステムがあげられる。能動的音楽鑑賞に関しては、e) ハイブリッド型音楽推薦システム: ユーザの評価と楽曲の内容併用による音楽検索・推薦システム、f) VocalFinder: の似た歌声の楽曲を検索するシステム、g) 多重音からマイナスワンを作成するシステムなどの開発に至った。また、fNIRS を用いた脳機能計測により、h) 聞き方のモードによって脳の賦活状況が変化することを示唆するデータを取得した。

本研究プロジェクトでは、得られた成果についてビデオ配信を含めたアウトリーチ活動を積極的に実施したこと、また、動画共有サイトやネットニュースにおいてここでの取り組みが取り上げられたことから、我々の取り組みは社会にも知られることになった。その支持・反響は我々の予想を超えたものであり、取り組みの有効性を裏付けているとして受け止めている。

本研究での成果は、上記で示したアプリケーションに注目が集まることが多いが、その基礎を支える多重音分析研究、歌唱分析合成技術などの基礎信号処理領域の研究にも大きな進展があった。多重音分析研究については、時間周波数平面に拡散した観測エネルギーパターンを、一つの音源の一連の音響イベントに帰属する個別のエネルギーパターンに分解し、クラスタ化するという考え方に基づいた音源(音高、強度、オンセット、音長、音色など)の同時推定モデルが提案された。さらに、制約をより一般化し、ノンパラメトリックベイズモデルベースの多重音分析研究へと発展している。歌唱分析合成技術については、STRAIGHT の高精度化とモーフィングに適した処理系の構成がなされた。この他に、MusicXML 準拠の階層的な音楽データ共通記述方式(CMX:CrestMuseXML) とCMX に準拠した音楽情報処理のためのAPI、ピアノを対象とした演奏表情データベースCrestMuse PEDB を一般公開した。これらは国内外の研究グループに利用されており、当該研究領域の全般的な発展に貢献できている。

本研究期間中、YouTube やニコニコ動画のサービスが開始され、CGM(=Consumer Generated Media) が普及した。また、wii やスマートフォンの登場により、廉価のジェスチャセンサが一般にも普及した。19 世紀末に発明されたレコードやラジオにより、音楽鑑賞のスタイルは大きく変わったが、現在の状況は、将来、レコードやラジオの発明に端を発した音楽文化の変革以上のインパクトを持つ文化の創成期として振り返られるものと予想する。本研究では、多くの人が使ってみたいと思う豊富は音楽デザイン、および、能動的鑑賞のインタフェースを提示することができた。ただし、その背景には、高い音楽的洞察とテクノロジがあり、誰もが簡単になしえるものではない。この豊富な成果を、日本発の先進的なユーザ発信型創作文化の世界展開へとつなげていきたい。

チーム構成