加藤 俊一 委員
多感覚を用いた情報通信・情報サービスの基盤技術として、多感覚を用いたヒューマンインタフェース、多感覚の情報のデータベース化、多感覚の情報の内容に基づく連想・検索の技術の必要性が高まっている。
本稿の範囲で扱う「感性」とは、人間が実世界のさまざまな事物に接した時に、どのようにセンシングし、これを類型化し、どのような概念のイメージや主観的な評価と結びつけるかの過程をいうものとする。
感性をモデル化する場合、従来は、あるメディアのコンテンツを対象に、それぞれのコンテンツごとに、かなりの数の教示用データを利用者から得て、統計的学習を行っていた。従って、利用者（被験者）の心理的身体的負担は大きく、感性のモデル化技術を応用する上でのボトルネックとなっていた。また、人間は多感覚を利用して人とコミュニケーションを行っているが、１つの感覚を分析・モデル化し、ヒューマンインタフェースに応用している研究がほとんどであり、システムの開発は非常に個別的・限定的に行われている。このような現状をブレークスルーして、感性情報技術（本来は応用分野に横断的な技術である）を汎用性・一般性のある技術として確立し、モノ作りやサービス、ヒューマンコミュニケーションなどの様々な場面で利用可能とする新しい枠組みが必要となってきているのである。
本稿では、現行のモデル化の枠組みを踏まえながら、感覚情報の幅を視覚・聴覚・触覚・味覚・嗅覚の五感に拡大するとともに、より精密な感性のモデル化を行う上で重要な視点を整理して検討する。
多感覚の感性情報を工学的にモデル化し、種々のアプリケーションに応用できるようにするためには、以下のような新しい視点からの感性情報処理の枠組みが必要となる。
(a) 「多感覚＝マルチメディア」と短絡的にとらえて、画像情報・音情報・触覚情報のように、複数の感覚情報を並列的に処理するだけでは、多感覚を統合的に知覚する過程をモデル化することは難しい。それぞれの感覚の特性や、実世界の対象がそれぞれの感覚を通じてどのように知覚されるかなどの、個別の感覚と複数の感覚の統合的な枠組みの確立が必要である。
私見であるが、視覚情報・聴覚情報・触覚情報など、それぞれのメディアの特殊性と共通性を総合的に進めている研究は少ないように思われる。研究開発の効率を高めるためにも、個別のメディア、個別のコンテンツに対する感性情報処理アルゴリズムの適用可能な範囲、一般化の方法論などの検討が必要であろう。
(b) 感性のモデル化でしばしば用いられる統計的な学習法では、対象が多様で複雑になると、多数の学習用データに対して被験者の主観的な解釈を教示する必要があり、被験者の心理的・身体的な負荷は非常に大きくなる。多種多様なコンテンツに共通な概念・固有な概念に対応して、新しいコンテンツに対しても、既存の感性のモデルを利用して、出来るだけ少ない教示用データから、感性のモデルを構築できるようにする必要がある。
私見であるが、現状の感性情報技術の研究には、実際に運用する場面まで想定して被験者の負荷を考慮しているものは少ないように思われる。感性のモデル化のアルゴリズムが高性能でも、一人一人の利用者からの感性的な情報（教示のための情報）を心理的・身体的な負荷をかけずに得ることができなければ、モノ作りやサービスの現場に感性情報技術を導入することは難しい。
(c) 人間の感性的な応答は、同じ刺激に対して常に同じではなく、直前までに受容していた刺激や、同時に受容している他の刺激の影響を受けて、異なった応答を示す場合が少なくない。また、経験を積んでいくことにより、感性そのものが変化していく。このように感性の時間的な特性もモデル化の枠組みの中に含める必要がある。
このように状況によって変わる応答の規則性を統計的な学習（あるいはデータマイニング）により求めるには、莫大な数の事例および教示データが必要となる。私見であるが、「何でもかんでも教示学習」的なアプローチでは、このような壁はブレークスルー出来ないと思われる。知識・記憶と感性の関係や、インタラクション・相互作用の定式化など、感性の構成的な分析法の確立も必要となろう。
以上の考察より、感性の工学的なモデル化の手法として、以下に示すような枠組みを考える。
感性の工学的なモデルの基本的な構造を図１に示す。
|
| 図１ 感性の工学的なモデルの基本構造 |
(1) 感性の静的な構造
(1-a) 感性のマルチメディア性
人間は、視覚・聴覚・触覚・味覚・嗅覚の五感のチャネルをもつ。それぞれの感覚のチャネルは、同時並列的に、その感覚に特有のセンサー（感覚器）で対象や外界からの刺激を受容し、それぞれの感覚器から感覚野にいたる過程で特徴を抽出・分析し、最終的には対象や外界の状況を総合的に認識し理解する。このように、個々の人間が感覚情報を受け取り、様々な特徴抽出機構を経て、これを解釈する過程（入力に相当）を知覚感性と呼ぶことにする。
一方、人間は、自身の発声や身振りで、あるいは、ペン・絵筆・楽器などの様々な道具を使用し、また、様々な素材（繊維・木材・石材や食材・香料など）を加工することにより、自分がイメージした様々なメッセージや事物を、他の人の五感を通じて伝えようとする。このように、個々の人間が頭の中でイメージする情報を、具体化して、実際に他の人間や計算機が五感を通じて知覚できるような情報に形作る過程（出力に相当）を創出感性と呼ぶことにする。
感性を工学的にモデル化する上では、それぞれの感覚のチャネルは、マルチメディア情報とそれぞれのメディアの処理過程としてモデル化できる。モデルには、複数の感覚に共通な処理の枠組みと、センシングの方法や信号の特性などそれぞれの感覚に固有な特徴抽出の仕組みとを含める必要がある。
(1-b) 感性の階層性
次に、知覚感性や創出感性が、どのような段階を経て実現されているのかに着目して、感性の構造を整理してみよう。
知覚感性の過程では、個々の人間が感覚情報を受け取り、様々な特徴抽出機構を経て、これを解釈するまでの段階を経ると考えられる。
このような知覚感性の過程は、実世界に存在する対象から発せられる様々な信号を、感覚器が物理的・化学的な刺激として受容し、神経回路上の電気信号に変換するところからはじまる。これを物理レベルの感性と呼ぶことにする。これらの信号は、網膜などの感覚器から一次視覚野などの感覚野にいたる過程で、様々な特徴抽出がなされ、多次元ベクトル的に数量化される。これを生理レベルの感性と呼ぶことにする。これに続いて、様々な対象やその状態を認識・理解するために、これら対象から抽出された種々の特徴に注目して、これらの信号を類似性に基づいて直感的に分類・類別化していると考えられる。これを心理レベルの感性と呼ぶことにする。ついで、これらの分類・類別化された対象やその状態と言語（イメージ語など）が対応付けられて、言葉による解釈が行われる。これを認知的なレベルの感性と呼ぶことにする。
創出感性の過程では、個々の人間が頭の中でイメージする情報を、具体化して、実際に他の人間や計算機が知覚できるような情報に形作るまでの段階を経ると考えられる。
このような創出感性の過程は、頭の中でイメージした言葉、あるいは、イメージそのもの（認知的レベル・心理的レベル）を、より具体的で直感的な表現・イメージ群に置き換えることからはじまる。次いで、このような表現・イメージの中から、最も適切と判断される表現・イメージを選び出し、具体的な行動（発話・ジェスチャー・行動・造形など）として表出（生理的レベル・物理的レベル）する。
感性を工学的にモデル化するために、感性情報処理の過程で得られる（あるいは必要となる）種々の情報が感性の物理・生理・心理・認知の４つの階層のどのレベルの情報に相当するのかを整理する。同時に、それぞれの階層での情報処理や、特徴抽出や具体化などの階層間での情報の対応関係をモデル化する。
(1-c) 感性のマルチモーダル性
次に、視覚・聴覚・触覚・味覚・嗅覚の五感の感覚情報を総合的に処理する過程に着目して整理してみよう。
人間は、多種類の感覚（視覚・聴覚・触覚・味覚・嗅覚）を同時に受容しながら、様々な様態（マルチモーダル）の情報を感じ取り、また、相互の関係付けをしつつ、外界を知覚する。
ある対象から得られる視覚刺激から、様々な様態の情報を感じ取ることができる。例えば、ある人物の顔画像から、個人の識別だけでなく、顔や視線の向き、表情や感情、顔色などの情報を得ることができる。一方、様々な感覚の情報からほぼ同様の内容の情報を得られる場合もある。例えば、「さわやか」というイメージは、言葉や音声・音、図柄・映像、皮膚感覚や香りなど様々な感覚を通じて知覚することができる。
逆に、自分がイメージする情報を人に伝える場合、様々な表現手段（スケッチ・表情・音声・ジェスチャーなど）を選んだり、これらを同時に組み合わせて、イメージを伝えることも自然に行っている。
感性を工学的にモデル化する上では、感性情報のマルチモーダル性（感性情報のどのような性質がどのような情報を含んでいるか）や、多様なメディア間での相互の関係を分析することによりモデル化できる。
(2) 感性の主観性
同じ対象を見ていても、人によって異なった解釈・異なったイメージ語との結び付けを行う場合がある。また、頭に浮かぶ同じイメージを伝える際にも、人によって異なった伝え方をする場合がある。このように感性の知覚過程・創出過程には、個人ごとに特性の異なる主観性が認められる。
人間の感覚器の性能には大きな個人差はないものとみなすと、感性の知覚過程における主観性は、感性の階層的な構造の中では、感覚情報を受容し多次元ベクトル化する物理的レベルや生理的レベルではなく、類似性に基づいて分類・類別化する心理的レベルや認知的レベルで生じると考えられる。
感性を工学的にモデル化する上では、感覚情報を多次元ベクトル化する過程には個人差はないものとし、感覚情報を分類・類別化する際の規準・対応関係に個人差があるものとしてモデル化できる。また、このような個人差を検出するために、統計的な教示学習などの仕組みが必要となる。
実際に運用する際に、利用者（被験者）の心理的・身体的な負荷を軽減するためには、例えば、類似のプロファイルを持った人々の平均的な感性のモデルを利用し、これを順次、追加学習によりカスタマイズしていくなどの方策を考える必要がある。そのためには同時に、データベースに登録された多数のプロファイルの中からどのプロファイルを選択するかなどでのプロファイルの感性的な取捨選択の技術も必要となる。
(3) 感性の動的な構造
(3-a) 感性の相互作用性
人間は、多種類の感覚（視覚・聴覚・触覚・味覚・嗅覚）のチャネルを同時に働かせながら、それぞれの感覚情報相互の関係付けをしつつ、また、外界に能動的に働きかけたりしながら外界を知覚している。このような過程で、感覚のチャネル間や知覚と創出の過程間に相互作用が認められる場合がある。
複数の感覚のチャネルにまたがる現象として、視覚と聴覚に関しては、マガーグ効果(McGurk Effect) が知られている。被験者に「ga」という口の動きの映像に重ねて「ba」という音を聞かせると、「da」という音を感じ取ってしまう。視覚情報によって聴覚情報の認識が影響を受ける場合がある。また、視覚と触覚に関しては、GUI
上でのポインタの動きに合わせてマウスや指先に振動を与えると、背景のテクスチャ・ウィンドウ境界・チェックボックスの別が容易に知覚できて操作性が向上したと考えられる報告もある。
感性を工学的にモデル化する上では、それぞれのチャネルで感覚情報を並列に処理し、また、これらを統合する過程に、相互作用の仕組みを組み込む必要がある。
(3-b) 感性の状況依存性
感覚情報を知覚する過程においては、同じ情報を受け取っても、場合によって異なった応答や解釈を示す場合がある。
生理的なレベルでは、順応機構が知られている。明るい屋外に長時間いると、視細胞は明るい画像（強い光刺激）に順応し、明るい中での微妙な明るさの違いを知覚できるようになる（明順応）。この逆の順応現象を暗順応という。また、ある香りにしばらく接していると、その香りを感じなくなる。
心理的なレベルでは、あいまいな知覚の現象が知られている。若い女性の肖像画を数枚見た後と、老婆の肖像画を数枚見た後とでは、同じ肖像画（あいまいな画像）を見た時に、若い女性と知覚するか老婆と知覚するかが変わる。しかし、ある程度の時間が経過した後では、前に見た画像の影響は弱まっている。
認知的なレベルでは、状況が情報の価値判断に影響する場合がある。例えば、我々は、同じメッセージ・同じ音楽を聞いても、それが誰からの言葉・誰の演奏かの状況によって、主観的な解釈が左右されるのは、日常、よく経験することである。
感性を工学的にモデル化する上では、順序・短期的な時間の経過（数秒〜数時間）を考慮に入れた情報処理過程としてモデル化する必要がある。
(3-c) 感性の経時変化
状況依存性も考慮に入れれば、我々の知覚感性・創出感性は、短期的には一貫した規準に基づいて情報処理されていると考えられる。しかし、このような規準は、学習や経験の蓄積に伴い、長期的には徐々に変化していくと考えられる。
例えば、絵画に対する視覚的な感性の場合、様々な絵画を多数鑑賞し、絵画の作法や歴史に関する知識も得ていくのに伴い、素人の解釈から専門家の解釈へと変化してゆく。
布地に対する視覚的・触覚的な感性の場合、例えばはじめは、布の色やテクスチャ、手触りの固さなどに対する比較的単純な解釈であっても、経験をつむことにより、布の光沢や、張り、ドレープなどの微妙な特性もとらえた解釈を行うようになる。
感性を工学的にモデル化する上では、長期的な時間の経過（数日〜数年）を考慮に入れた情報処理過程としてモデル化する必要がある。そのためには、一度、統計的な教示学習で個々の被験者の感性をモデル化するだけでなく、長期的なスパンでの解釈の規準の変化などを検出し、統計的な学習に反映させるための仕組みが必要となる。
以下の節では、味覚センサ・嗅覚センサなどの開発により、近年急速にニーズの高まってきている多感覚感性データベースシステムとこれを利用した多感覚コミュニケーションシステムを開発する上での、技術的な課題を検討する。
感性の工学的モデル化の枠組みに関しては、マルチモーダル感性のモデル化に焦点を当て、複数の感覚チャネル間での知覚の相互作用と階層的な類型化・解釈との対応付けの過程をモデル化する必要がある。このような実験・分析を高精度に行うため、仮想現実空間を利用した実験環境の構成・制御法を開発する必要がある。また複数の感覚チャネルの具体例として、視覚・聴覚・嗅覚などを取り上げて詳しく分析すると共に、多感覚情報をコンテンツとした情報提供サービスを試作・評価することも必要となろう。
多感覚感性データベースシステムを実現するためには、次のような技術課題でのブレークスルーが必要となると考えられる。
（１） 階層的なマルチモーダル知覚過程の工学的なモデル化に関する研究
多感覚それぞれを別々の感覚のチャネルとして、符号化することや通信することは可能となりつつあるが、五感（あるいは複数の感覚）が同時に現れる場合には、それらの感覚の間での相互作用（＝マルチモーダリティ）が人間の知覚に大きく影響する（例：視覚と聴覚におけるマガーグ効果）。
これら複数の感覚の間の相互作用の仕組みを工学的にモデル化すると共に、これらのモデルを利用して、データベースから多感覚の情報の内容に基づく連想・検索を行い、多感覚に訴える工業製品や都市空間の設計技術を開発する。
（２）味や香り刺激の味覚・嗅覚情報データベースの開発とその応用に関する研究
味や香り刺激の味覚・嗅覚情報データベース技術開発のために、生理的な応答特性だけではなく、利用者の解釈や主観的なイメージ語から味や香りを推定できる技術を開発する。特に、味や香り刺激の化学的特性、刺激を受けた人間の生理的な指標、人間の主観的な味や香りの解釈間の相関を分析・モデル化する。そして、味・香りと視覚・聴覚の相乗効果（マルチモーダル効果）の分析・モデル化を行う。
（３）
マルチモーダルな実験環境構築技術に関する研究
リアルタイムに、利用者への種々の情報提示を動的に行い、レスポンスにあわせて、次々に情報提示を変化させられる空間を構築する。システム側から利用者に提示した情報に対して、利用者が示す感性的な振る舞いを動的に計測し、モデル化する。
米国では、2000年以降、ITT（IT21世紀）計画やITR&D計画において、「ヒューマンコンピュータインタフェースと情報管理」がこれからの情報通信技術の最重要課題の一つとされ、「人に優しいシステム」の研究開発が活発になっている。
ヨーロッパでは「ユーザフレンドリ情報社会」の実現を目指したISTプログラムが1998年以来進行中で、「市民情報サービス、マルチメディアコンテンツ、電子商取引、コンピュータシステム」が最重要分野となっている。さらに、英国においても、独自に、PACCITプロジェクトを進めるなど、当該分野の研究開発は非常に活発になっている。
味覚や嗅覚情報データベース技術に関する事例は見当たらない。自動化および実時間で処理できる定量化された嗅覚の測定および解析のためのシステム開発に関してはKobal(独)の嗅覚評価および感度測定技術が部分的に行われている程度である。HCIの分野では人間中心の味覚・嗅覚基盤のヒューマンインタフェースにおいて有効な応用例は少ない。
味や香りの化学的特性と心理的な要因との関係を分析モデル化することにより、新たな味や香りの生成への応用が可能になる。さらに、味覚・嗅覚情報に基づいた味覚・嗅覚関連製品や人間中心の感性製品および居住環境の設計に応用できる。特に、適切な香りはリフレッシュ効果があることが知られており、例えば、VDT症候群およびストレス予防にも応用することが可能になる。特に子供によく見られるゲーム症候群を予防できると同時に学生の場合は集中力の向上、学習効果を高めてパソコン作業の際、能率高い環境作りに期待できると思われる。
また、人間の生理・心理的指標と車内環境との関係を分析・モデル化することにより、運転者にマッチした情報や環境を提供することが可能になり、自動車操作の快適性と安全性を向上することが可能になる。