図1 OMRAS のロゴ
3.10 昨今の音楽情報処理における研究プロジェクトについて
平田 圭二 委員
本節では、昨今の新しい音楽情報処理研究の流れを象徴するような国際的研究プロジェクトを 5つ紹介する。
昨年の報告書では、新しい音楽情報処理研究の特徴は、(a) 音楽理論を援用し音楽の意味を考慮した処理を実現すること、(b) 応用システムをインターネット/Web
上に展開すること、(c) 実現対象とするタスクが、作曲、編曲、演奏という大粒度のものから検索、模倣という中粒度のものに変化したことの3点であると述べた。これらを念頭に置いて、今年
3 つの音楽情報処理関連の国際会議に参加した (International Conference on Music and AI (9月, Edinburgh)、International
Computer Music Conference (9月, Gothenberg)、International Conference on Music
Information Retrieval (10月, Paris))。得た所感は以下の通り。
(a) の試みは地道に続けられている。論文はある程度の件数発表されているものの、決定的なブレークスルーには至ってないようだ。現在、確立しつつあるサブ研究分野としては、メロディ分割、メロディ類似度、楽曲構造分析、声部分離、演奏表情分析/合成、音楽データベースのインデキシングなどがある。
(b) に関しては実際に多数の事例を見出すことができたが、アプリの動作環境としてモバイル端末を想定したものも発表されていた。例えば、ユーザの嗜好を反映した
playlist (ラジオ局やレコード店の推薦盤/曲リストのこと) の自動作成が目を引いた。
(c) に関しては対象タスクが中粒度に変化しただけではないように感じた。音楽情報処理におけるタスクは大きく生成系 (制作系) と認識系に分類できるが、現在注目されているのは中粒度でかつ認識系のタスクである。信号レベルのパターン認識技術に限定し、 (a)
のような意味レベルまで踏みこまなくとも、有用な商用アプリケーションが組めるのではないかという実績と期待の反映である (これは、昨今の統計的自然言語処理の隆盛を連想させる)。また、生成系
(制作系) に敢えて取り組まないことで、他分野の研究者の参入が容易になり、一般の人でも利用可能な音楽システムの研究開発であることがより明白にアピールできるため、研究リソースが集まってきている。
現在欧米では、上述した音楽情報処理の新しい研究の流れを象徴するような研究プロジェクトが、NSF、FP5 (FP6) 等から支援を受けて進行中である/あった。本報告では、その中から
OMRAS、CUIDADO、WEDELMUSIC、MUSICNETWORKS、SALIERI/GUIDOを取り上げ紹介する。
なお、FP5[1], FP6 関連のプロジェクト (CUIDADO, WEDELMUSIC, MUSICNETWORK) の詳細はhttp://www.cordis.lu/ist/projects/projects.htm
のページより調査できる。
3.10.2 OMRAS (Online Music Recognition and Searching)
| 研究費 | 米国 NSF の Digital Library Initiative Phase 2 と英国 Higher Education Funding Councils の Joint Information Systems Committee (JISC) が共同で運営するInternational Digital Libraries programme より研究費助成を受ける |
| 研究組織 | 米側: Massachusetts Univ. Center for Intelligent Information Retrieval (CIIR), Indiana Univ. Johns Hopkins Univ.、英側: King's College London (KCL), Oxford Univ., Queen Mary College, London |
| 研究代表者 | 米側 Bruce Croft (CIIR), Donald Byrd (Indiana University)、英側 Tim Crawford (元 KCL、現 City University, London), Matthew Dovey (元 KCL、現 Oxford University) |
| プロジェクト期間 | 1999 年 6 月からの 3 年間 |
| 参考資料 | http://omras.dcs.kcl.ac.uk/ http://www.elec.qmul.ac.uk/research/projects/nsf_9905842_omras.html |
3.10.2.1 プロジェクト概要
OMRASは、大量の音楽情報が様々な形式でインターネット上のオンラインデータベースに格納されているような状況において、コンテンツに基づく効率の良い音楽情報検索の技術及び使い易いプロトタイプシステムを研究開発する米英共同プロジェクトである。
特徴は、一般ユーザでも利用でき、2〜3年以内に産業利用可能な技術開発を目指している点である。しかし、プロジェクトには企業は参画していない。
図1 OMRAS のロゴ
3.10.2.2 研究テーマ
(1) 多種のデータフォーマット
インターネット上の音楽データにはオーディオデータ、MIDI データ、楽譜データ等がある。従来の音楽検索システムでは、楽曲に関係するテキスト情報 (曲名、演奏者、作曲者等)
を用いることが多く、そのような多種のデータに渡って十分な性能を出しているシステムは少ない。
OMRASで問合せ可能なデータフォーマットは以下の 3 つである:
この3種類に対応した音楽データ表現を設計し、データベース中やシステム内部で利用する。
(2) UI
従来のテキストベースの音楽検索システムにおける UI の欠点として、問合せの作成が面倒、結果表示が分かりにくい、システム利用に習熟しなくてはならない、メンタルモデルがアドホック等が指摘されている。OMRAS
の検索問合せと結果表示では、実際の音や可視化を用いた直感的なインタフェースを採用する。検索問合せを投入するインタフェースでは、問合せの新規作成、再利用、修正が容易に実現でき、ユーザは検索問合せの結果をチェックし次の問合せに反映させることができる。また、内部表現データを可視化、再生、モニタする機能も開発され、特に非専門家のための
GUI 構築に注力している。
(3) 検索手法
検索手法に関連した研究テーマを挙げる: インデックス生成法、インデックスの最適長決定法、インデックス・ファイルの検索法/管理法、音楽的 (近似) 照合法の設計等。
(4) 評価用ベンチマークの作成
ISMIR 2002ではStephen Downie (University of Illinois at Urbana-Champaign) が
chair を務めた "Creaton of Standardized Test Collections, Tasks, and
Metrics for Music Information Retrieval (MIR) and Music Digital Library (MDL)
Evaluation" というワークショップが開催された。MIR/MDL
業界におけるTREC (Text Retrieval) 風の共通標準評価枠組みの構築を目指している。本ワークショップ参加者が寄稿した原稿からなる白書が公開されている
(http://music-ir.org/evaluation/wp.html)。考慮すべき問題点として挙げられているのは、多種フォーマット音楽情報
(オーディオ、記号、楽譜、メタデータ等) の合理的な統合法、実世界における問い合わせの分析と問い合わせタスクの選定等である。
図2 音楽情報テストデータベースの利用イメージ
3.10.2.3 その他
NSFはISMIR (International Conference on Music Information Retrieval)
の開催を要請し、マサチューセッツ大学の提案を採用した (第 1 回 ISMIR 2000)。
プロジェクト成果物に関する情報が得られなかったので、調査を続行したい。
直接的後継プロジェクトかどうかは不明だが、Digital Music Research Network http://www.elec.qmul.ac.uk/dmrn/
というプロジェクトが 2002 年 12 月発足している。
3.10.3 CUIDADO (Content-based Unified Interfaces and Descriptors for Audio/music Databases available Online)
| 研究費 | ESPRIT[2] 28793, FP5 |
| 研究組織 | CUIDADO Working Group: IRCAM, SONY CSL Paris, Univ. of Pompeu Fabra (Spain), Ben Gurion University (Israel), Oracle Spain, CreamWare (Germany), ArtsPages (Norway) |
| 研究代表者 | Huges Vinet (IRCAM) |
| プロジェクト期間 | ワーキンググループ発足 2000 年 (ESPRIT 28793)。 FP5 は 2001 年 1 月からの 3 年間 |
| 参考資料 | http://www.cuidado.mu/ |
3.10.3.1 プロジェクト概要
次の3つの技術開発を目標としている。(i) オンライン音楽データベースのためのコンテンツ (オーディオ) に基づく統一的なインタフェースとそのデスクリプタ抽出法。(ii)
プロ音楽家やスタジオのための楽曲特徴を利用したオーサリングシステム及び音楽検索システム。(iii) レコード会社や著作権保有者が情報管理する際に必要となる技術。
対象とする音楽データは、低次のオーディオデータ (サンプル) から高次のデータ (曲名、スタイル、リズム等) まで幅広い。MPEG 7とMP3規格を採用することで汎用的な技術開発を目指す。
OMRASと比較すると、プロジェクトとしては小規模であるが、これは目標を絞り込んでいることの裏返しである。つまり、ユーザは専門家を想定し、欧州音楽産業との連携を強く意識し、扱うデータはMPEG
7、MP3に限定している。
図3 CUIDADO システムの全体構成
3.10.3.2 研究テーマ
(1) 研究対象とする3プロセスと研究内容
(2) 従来のWeb上の音楽システムに対する不満
次のような不満が良く聞かれる: 情報過多なのに有用な情報が見つけにくい、類似したオーディオを検索できない、オーディオデータの高速なブラウジングができない、音楽をインターネット配信する際に貧弱なサービスしか付加できない、検索のためのキーワードは提供側しか指定できない。
(3) 試作予定のアプリ
ユーザの嗜好に従う音楽類似検索 (Music Browser) と自動編集 (Sound Palette) を実現する。
a. The Music Browser
Web 上の音楽ファイルをモニタする機能を持ち、Web 上の音楽販売とカスタマイズされたソフトウェアラジオとしても機能する。またユーザの個人性を考慮した学習機能 (制約を利用した playlist 生成、個人プロファイラ) もある。
b. The Sound Palette
音楽制作者のためのオーサリング・ツール (検索、編集、処理)。オーディオデータから抽出された特徴量を用いて、既存のオーディオ処理環境において稼働する。オンライン版 (web 上でもスケーラブルに動作。
http://www.ircam.fr/produits/technologies/multimedia/cuidado-e.html) とオフライン版 (既存のオーサリング・ツール上に構築したコンテンツに基づく編集・処理環境) が提供されている。
これら2つの試作プロトタイプは、以下の再利用可能なモジュールを含んでいる: オーディオ特徴量抽出器、統計的インデックス生成器、データベース管理機構、ネットワーク対応の制約に基づくナビゲータ。
3.10.4 WEDELMUSIC (Web Delivering of Music)
| 研究費 | FP5/IST |
| 研究組織 | 学術系 Universita' di Firenze, Institute for Language and Speech Processing (Greece), Fondazione Scuola di Musica di Fiesole (Italy), IRCAM, Fraunhofer Gesellschaft (Germany), Stichting Studieen Vakbibliotheek voor Visueel en Anderzins Gehandicapten (SVB) (Netherlands). 企業系 Artec Group (Belgium), Sugarmusic (Italy), CESVIT (Italy), Bmg Ricordi (Italy). |
| 研究代表者 | Paolo Nesi (Universita' di Firenze) |
| プロジェクト期間 | 2000 年 1 月より 2 年 4 ヶ月間 |
| 参考資料 | http://www.wedelmusic.org/ |
3.10.4.1 プロジェクト概要
WEDELMUSIC が目指す音楽環境とは、インターネットを介して出版社/作曲者からエンドユーザに直接音楽情報 (楽譜記述等)
が配信され、エンドユーザ側では配信された音楽情報を処理 (編集、印刷) して演奏、器楽練習、学術等に利用するというものである。音楽をデジタル情報としてやりとりすることで、大きな新規マーケット開拓につながることが期待される。
他プロジェクトと比較すると、独自の標準規格を目指している点が大きく異なるっている。例えば、楽曲に関するあらゆる情報が記述できるような言語の提案や、クライアント側のオールインワン的フロントエンド・ソフトウェア
(機能的にはブラウザ、シェル、GUI、ツール群を兼ねる) の提案など。ユーザとしては、やはり音楽産業 (出版社、レコード会社) が中心だが、大学、図書館、一般ユーザも含んでいる。
図4 WEDELMUSIC システムの全体概念
3.10.4.2 研究テーマ
(1) 具体的な成果物
次の3点である:
(2) WEDELMUSIC editor
以下にその特徴を挙げる: 多種類の楽譜が記述できる (記述力高い)、柔軟にカスタマイズ (フォント、ビュー等)、転調/ピアノ符への変換/奏法符生成等の便利なコマンド群、点字楽譜対応、歌詞記述機能、楽譜分析機能
(比較、検索)、種々のフォーマットに対応 (WEDELMUSIC XML Notation, SCORE, MIDI, MOODS, etc.)。
図5 WEDELMUSIC editor の作業イメージ
| 研究費 | FP5/IST, FP6/IST |
| 研究組織 | 学術系: Universita' di Firenze, Institute for Language and Speech Processing (Greece), Fraunhofer Gesellschaft (Germany), Musik Informations Centrum Austria (Austria), University of Leeds (UK), IRCAM. 企業系: Central Research Laboratories (UK), Amazing Music World (Denmark), Interactive Labs (Italy), Exitech (Italy), Notissimo (France), Stichting FNB (Netherlands), Arca Progetti (Italy), Rigel Engineering (Italy). |
| 研究代表者 | Paolo Nesi (Universita' di Firenze) |
| プロジェクト期間 | 2002 年 8 月より 3 年間 (FP6) |
| 参考資料 | http://www.interactivemusicnetwork.org/ |
3.10.5.1 プロジェクト概要
楽譜記述の技術を確立し欧州の音楽産業やコンテンツ提供者と共にインタラクティブなマルチメディア産業を振興することを目標とし、音楽情報に関する、標準化、表現法、配信、著作権保護、セキュリティ、可視化等の技術開発を行う。コンテンツに関連した最新の音楽分析技法の開発も行う。ユーザとしては、個人消費者、出版社、マルチメディア配信者、音楽ショップ、教育機関、ソフトウェア開発者等を想定している。
さらに産業界や社会・文化へ波及効果を与えることもプロジェクトの目標に含まれる点が特徴的である。例えば、音楽コンテンツ提供者/産業が研究成果により、アクセスし易い協調的な環境の創出、マルチメディア音楽のための技術に関する講習会・技術移転の支援、著作権保護を尊守する一方でマルチメディアコンテンツの制作・配布のための積極的なコーディング規格標準化活動等である。これより結果として、(a)
マルチメディア音楽配信のマーケットにおける欧州企業の競争力増強、(b) コンテンツ保持者/提供者の協調と競争を促し、新しい技術やモデル化技法を開発し、音楽アーカイブをデジタル化する際の障壁を取り除くこと、(c)
FP6 期間中に発生するであろう新ニーズへの準備、(d) e-publishing、e-book、電子図書館、エンタテイメント・コンピューティング、e-commerce等にならい、新しい音楽制作と消費市場の開拓等が期待されている。
MUSICNETWORKはWEDELMUSICの枠組みを踏襲し、より押し進め具体化したものと言える。先行プロジェクトは WEDELMUSICの他にHARMONICA、MIRACLE、CANTATEが挙げられる。
図6 MUSICNETWORKのコンセプト概略
図7 MUSICNETWORKの貢献が期待される分野
3.10.5.2 研究テーマ
7つのワーキンググループでは次の研究開発活動を行う。
(1) マルチメディア音楽記述方式 (WEDELMUSIC エディタをベースに)、
(2) 音楽ライブラリ (複数ドメインを横断、メタデータ、情報検索等)、
(3) 音楽記述の標準化 (MPEG 7/21 等を検討、インターネット対応、メディア統合)、
(4) 音楽配信 (B2B、B2C、P2P、モバイル端末、Web-TV、トランザクションモデル等)、
(5) 音楽保護 (セキュリティ、暗号化)、
(6) アクセス容易性 (UI、盲人用点字楽譜等)、
(7) 楽譜イメージ処理 (浄書、手書楽譜読取、古典楽譜等)。
3.10.5.3 その他
研究成果は、随時、関連する国際会議やイベント等で発表していく。
2002年12月11〜12日Darmstadtにて第1回MUSICNETWORK Open Workshopが開催された(WEDELMUSIC 2002
に併設)。
| 研究費 | Darmstadt University of Technology (TU Darmstadt、ドイツ) |
| 研究組織 | TU Darmstadt |
| 研究代表者 | Holger H. Hoos (現 Univ. of British Columbia, カナダ (UBC) & TU Darmstadt) |
| プロジェクト期間 | 1992 年開始。1998 年より GUIDO の開発に主軸が移る |
| 参考資料 | SALIERI: http://www.informatik.tu-darmstadt.de/AFS/CM/SALIERI/ GUIDO: http://www.salieri.org/guido/ |
3.10.6.1 プロジェクト概要
SALIERI の研究目標は、音楽のアルゴリズム的な側面に焦点をあてて、(1) 作曲、編曲、楽曲分析のモデル化、(2)
音楽表現及び処理、(3) 応用システムや言語の設計と実装の 3 つである。SALIERIシステムは、SALIERI言語インタプリタとコマンドラインUIあるいはGUIから成る。
SALIERIはHolger Hoosの個人的な長期プロジェクトであり、研究費は大学のみから得ているようだ。一方ではこのような個人的なプロジェクトを継続しつつ、同時に前述のような大規模な共同プロジェクトに参加するというスタイルの研究者は多いようだ。本節では音楽記述に関連したプロジェクトという理由でGUIDOを取り上げる。
3.10.6.2 研究テーマ
(1) GUIDO楽譜記述言語
GUIDOは楽譜レベルで音楽を表現する形式言語である。伝統的な五線譜に含まれる情報だけでなく、ユーザが処理に必要とするような情報を定義し記述することができる。記述対象を柔軟に拡張することができるので、単純なモチーフから複雑なオーケストラ楽譜まで容易に記述できる。
(2) GUIDO ソフトウェア
現在提供されているGUIDOソフトには次のものがある: NoteAbility (楽譜エディタ)、GUIDOパーザ (C 言語)、GUIDO ファイル操作ツール、GUIDOフォーマット処理関数。
またGUIDO HP (http://tempo.iti.informatik.tu-darmstadt.de/salieri/nview/noteserver.html)
ではGUIDO NoteServerという無料オンラインサービスが提供されており、ユーザが入力したGUIDO記法 (GMN) の楽譜を五線譜のimageファイル
(GIF, JPEG, PS) に変換できる。
図8 GUIDO NoteServer の出力例
3.10.6.3 その他
SALIERIプロジェクトはHolger HoosとThomas Helbich (TU Darmstadt) によって1992 年に始められた。1992年に試作されたSALIERIプロトタイプシステム用に楽譜記述言語が設計され、それがGUIDO音楽記述言語の前身となる。楽譜に現れる音楽的な構造のレベルで表現、操作するというコンセプトで設計された (個々の音符のレベルではなく)。1996年H. HoosによるSALIERIの仕様の見直しが行われ、GUIDO楽譜記述言語が誕生する。同時にsic!system (Salieri Interactive Computing Inc.) が設立されSALIERIシステムの開発を担当する。1997年以来Keith A. Hamel (UBC) がGUIDO言語や処理系の改良や実装を担当している。