図3.3-1 感性（知覚感性・創出感性）のマルチモーダル構造と階層的モデル
本章では、マーケティング分析や官能検査などのユーザ評価テストで行われてきた従来の感性工学的な手法を、情報学・情報処理の観点から再構築し、人間の感性を工学的にモデル化する方法論について論じる。具体的には、人間が画像などのマルチメディア情報を受容し、解釈し、生成し、外界に働きかける過程を、物理・生理・心理・認知的な知覚の階層における情報処理として工学的にモデル化する方法論を紹介する。このモデル化により、利用者一人一人によって異なる感性、すなわち、情報
の主観的な判断規準（＝情報を分類し取捨選択して判断する際の評価基準）に適応できる感性的な情報システムを構築することができる。
これらのモデル化の枠組みにより、対象を特定のカテゴリのコンテンツに限定すれば、かなりの精度で、主観的な基準を統計的にモデル化できるものが多いことが実証的に示されるようになった。
本章では、ヒューマンメディアプロジェクト・感性工房グループでの研究開発を通じて、我々が作業仮説として提案し工学的に検証しつつある、視覚感性の階層的なモデルの基本的な考え方と、そのアルゴリズムを紹介する。また具体例として、このモデルに沿って試作・検証を進めている感性データベースシステム、および、感性工学研究用のソフトウェアプラットホームである「感性工房」を紹介する。
一人一人の顔が違うように、個々の人間は、情報を主観的・直感的に判断・解釈し、また、表現・伝達し、それぞれの「感性」を特徴付けている。また、年齢や性別・趣味・ライフスタイル・文化圏などのプロファイルが共通する人達の集団にも、共通する感性があると考えられている。
日常語として用いられる「感性」は様々な文脈の中で様々な意味合いで使われる。はじめに、どの視点から「感性」を論じるのかを峻別する必要があろう。
マーケティングの分野で進められてきた、生活産業・サービス産業の対象としての感性は、商品を差別化する指標と言える。「消費者である個人個人の嗜好から、芸術・文化にまで及ぶ付加価値を与えるもの」即ち、ビジネスに多大な影響を与える要因である。
素材産業での感性は、官能検査として行われていた、商品の品質を評価するための指標である。品質管理とともに「製品が消費者にどのように受け入れられるか」を決定づける要因である。
情報提供サービスなどの情報産業の対象としての感性を考えると、これは「利用者の価値判断や、情報処理の利用形態の多様性を特徴付けるもの」と位置付けられる。情報学における感性は、これをより定式化して「情報の判断や表出に関する主観的な評価尺度」としよう。感性はこれからの情報技術を切り拓く重要な概念である。
工学的に処理可能な「感性」の定義として、本研究では「人間がマルチメディア情報を取捨選択する際に示す主観的な評価基準」であると考えることにしよう。
3.3.3.1 感性シミュレーションと感性強化
感性を対象とした情報処理の目的を整理してみよう。
第一の目的は、人間が感性を発揮するのを支援することである。1970年代以降、電子回路や計算機を組み込んだ電子楽器・電子伴奏装置、種々の視覚効果を与えるレタッチ手法を用意した描画ソフトのように、演奏や創作などの人間の感性的な行動を支援するシステムが開発され利用されてきている。このような人間の感性を強化する情報処理の仕組み
(Kansei Amplifier, Enhanced Kansei)を用いることで、芸術家でなくても上手に曲を演奏・合奏したり、ビジュアルな作品を制作できる。ここで、感性を発揮し感性を理解する主体は人間である。人間にとっての使い易さ・楽しさ・満足感を提供することに情報処理技術の主眼がある。
第二の目的は、人間の感性を理解するとともに人間の感性にマッチした情報を提供することである。1980年代後半より情報のマルチメディア化が急速に進み、また、1990年代からのインターネットの普及により情報機器や情報サービスの利用者層が大きく拡大したことにより直感的な情報機器の操作やコミュニケーションのニーズが高まってきている。このようなニーズに応えるために、1990年代後半より人間（個人または複数人）の感性的な特性を統計的にモデル化し、感性的な状態を推定したり再現する試みが始まった。人間の持つ知能・知識の一部を計算機で代行する人工知能(Artificial
Intelligence)に対して、人間の感性の一部を計算機で代行する人工感性(Artificial Kansei)といえる。人間の感性の構造を探るとともに、これを工学的に実現することが人工感性の主眼である。
3.3.3.2 知覚感性と創出感性
感性のモデル化とは、個々の利用者、或いは利用者のグループがマルチメディア情報を解釈（あるいは表出）する過程で示す主観的な特徴を客観的に計測し、マルチメディアコンテンツの客観的・物理的な特徴との対応関係・相関関係を数理的に表現し、シミュレーション可能にすることである。
感性は人間がマルチメディア情報を知覚し主観的に解釈する過程（知覚感性）と、人間が思い浮かべたイメージを具象化し、外界に働きかける過程（創出感性）の二つの過程がある。実際には知覚と創出の両方の過程が相互作用しながら感性が構成されると考えられる（図3.3-1）。
3.3.3.3 感性の工学的モデル
感性の構造に階層性を導入するのは、物理的な刺激（マルチメディア情報）に対応した感性から抽象的主観的な概念（言語）に対応した感性までを結びつける必要があるためである。従来の心理学や感性工学では、抽象的な概念を表す種々の言葉を物理的な刺激から推定されるいくつかの尺度因子（例：「ソフト・ハード」「温かい・冷たい」など）の作る座標系に写像して、言葉の間の関係を分析するものがほとんどであった。しかし、このようなアプローチには三つの落とし穴がある。
このような問題点を解決するには、客観的に感性を計測し表現する基点として、実世界に客観的に存在する物理的な刺激（マルチメディア情報）そのものを利用し、これと個人個人で解釈の幅がある抽象的主観的な概念（言語）を結びつけるようなモデル化を行う必要がある。このような階層的なモデル化によれば、例えば、文化圏の違いにより抽象的な概念語の解釈に大きな開きがあったとしても、客観的な存在であるマルチメディア情報を媒介に、人間の感性的な特性の違いを客観的に評価することが可能となる。また、新たに与えられた未知のマルチメディア情報であっても、モデルに基づいて解釈する（感性的な解釈をシミュレートする）ことも可能となる。
感性の構造にマルチモーダル性を導入するのは、人間は複数の感覚のチャネルを個別に解釈しているのではなく、総合的に解釈していると認められる心理学的な知見が得られているためである。また、感性を言語で表現する際に、例えば「爽やか」という本来は皮膚感覚の言葉を、視覚的な刺激（写真・絵画など）や聴覚的な刺激（音楽など）にも用いるなど、複数の感覚にまたがった表現を行っている。このような感性の構造を解明することも、人間にとって自然なマルチメディア情報処理を実現する上で重要であろう。
視覚的対話の過程では、対象とする画像・映像データの特性に応じた、利用者による意味的・主観的な解釈をともなうのが普通である。従って、システムの振舞いは視覚的情報に対する利用者の知覚過程に適合しなくてはならない。一方、知覚過程は各利用者の主観的背景に影響され易く一人一人の利用者によって異なりうる。従って、個々の利用者が視覚的情報を解釈する過程の特徴を客観的に計測し、これをモデル化する枠組みを確立することが視覚的対話のための最も基本的な技術と言えよう。
3.3.4.1 感性データベースシステムへの応用
従来のキーワード・索引語による情報検索サービスでは、データベース作成者の主観によりマルチメディアコンテンツが分類整理され、必ずしも利用者の判断基準とは一致しない。また、一度作成された索引は利用者の興味の変遷等には追従できない。
感性データベースシステムは、このような主観的な評価基準に自動的に対応しつつ、利用者からの感性的な検索要求に適合して適切なマルチメディア情報を提供するシステムをいう。
3.3.4.2 物理的レベルでの感性シミュレーション
人間が様々な視覚的情報を知覚する際、個々の事物の識別ではなく、シーン全体が一種のキューとなって類似の情報を思い出したり、関連する映像を想起することも多い。これは物理的な信号レベルでの類似検索・連想検索と考えることができる。
利用者が描いたスケッチやサンプルとして選んだ画像や物体をキーとして提示して、類似の画像や物体を検索することを例示検索という。例えば、写真の構図をラフに描いてこれをキーとして提示して、同じ構図の写真を検索する場合に相当する。
概略画索引上で例示画検索を行うためには、利用者が描いたスケッチ（白黒の線画）と、エッジなどの特徴点から構成される概略画索引との間で、柔らかなマッチングを行えばよい。
マッチングの仕組みとしては、利用者の記憶の曖昧さ（細部を覚えていないのでスケッチは断片的）と、描画の技能（スケッチには歪みや位置ずれがある等）の問題に対応しつつ、少ない計算量で処理するアルゴリズム設計が必要となる（図3.3-2）。
3.3.4.3 生理的レベルでの感性シミュレーション
人間の視覚系の初期視覚において、明るさ、色のコントラスト、自己相関、空間周波数などの種々の画像特徴が抽出されている。二つの画像や物体が生理的なレベルで同じような刺激を人間に与えるならば、それらの画像や物体はかなり類似していると知覚される。視覚感性の生理的レベルでの例示画検索は、キーとなるデータと種々の物理的あるいは生理的に抽出される特徴量（多次元ベクトルとして計測される）が近いデータを、近いものから順に候補画像として検索することで実現できる。特徴量のズレは類似度に相当すると考えられる。
ある画像の内容を記述する情報として、利用者がキーとなるデータp0 を提示し、データベース中のデータ pi
Î Pとの類似度 si を何らかの規準に従って評価して、類似度の高い pi を解の候補とする。この時、キーp0
はデータベース中に含まれていなくてもよい（図3.3-3）。
3.3.4.4 心理的レベルでの感性シミュレーション
心理的レベルの視覚感性では、個々人の主観的な解釈の差が現れる。この現象は、個々人が種々の特徴量をどのように重み付けして評価するかを統計的に分析して主観特徴空間を構成すれば、心理的レベルの視覚感性を工学的にモデル化することができる。
データベース中の全データの全ての対に類似度を人手で与えることは、実際上不可能である。従って、比較的少数の対の類似度をシステムに示し、共通する特徴等をシステムに統計的に学習させればよい（図3.3-5）。
主観的な類似度をシステムに例示する方法により、次の２通りの学習方法が考えられる。クラス分けで提示する場合は判別分析、連続量で提示する場合は数量化４類に相当する。明らかに連続量で提示する方が細かく主観的類似度を表現できるが、学習用データを与える上で利用者の負担が大きい。
【主観特徴空間の構成法】 クラス分け（離散量）の場合
(1)データベースから部分集合Pを選び、利用者は集合Pを主観的に重複なく分類する。
(2)主観特徴空間は、この分類を満たすような線形写像Aにより定義される。これを適合化写像と呼ぶ。
| r = At p, | |
| At ： P ： |
Aの転置行列， M次元ベクトルで表現された画像特徴量 |
| ΣB A = ΣW A Λ， AtΣW A = I |
|
| 但し ΣW ： ΣB ： |
グループ内共分散行列， グループ間共分散行列 |
| rk = At pk |
【主観特徴空間の構成法】 類似度行列（連続量）の場合
(1) データベースから部分集合Pを選び、利用者は集合P中の要素間の類似度を与える。
(2) 主観特徴空間は、この分類を満たすような線形写像Aにより定義される。これを適合化写像と呼ぶ。
| r = At p, | |
| At ： P ： |
Aの転置行列， M次元ベクトルで表現された画像特徴量 |
| ΣE A = ΣX A Λ, At ΣX A = Λ |
|
| 但し ΣE ： ΣX ： |
重み付き分散共分散行列， 分散共分散行列 |
| rk = At pk |
| α(m) = Σλj / Σλi, j = 1,…, m; i = 1, …, M |
このような手順で構成した主観特徴空間を利用すると、利用者の主観を反映した検索を実現することが出来る。主観的特徴空間上では、主観的に類似したデータも近い点に写像される。これより、利用者はキーとなるデータを例示するだけで主観的な基準で類似したデータを検索できる。
この二人の利用者の主観特徴空間を（３次元空間に縮退させた上で）可視化すると、同じイスやソファーを対象としながらも、どの部位のどのような特徴に注目して「類似・非類似」を判断しているかの違いを伺うことが出来る。このように、主観特徴空間は感性の構造を可視化したり、人による感性の違いを対比させて理解する道具としても利用できる。
3.3.4.5 認知的レベルでの感性シミュレーション
種々の視覚心理実験から、人間の視覚的印象は、対象の色彩（色の組合せと配色等）と構図に由来することが知られている。この関係に注目すると、印象語等の主観的表現と対象の色彩特徴という物理的・生理的表現の間に相関関係があることが期待できる。この相関関係を比較的少ない数の実例から例示学習（統計的学習）により分析して、利用者の認知的レベルでの感性のモデルとして参照する。
印象語のように主観的で漠然としたキーから、それにマッチした内容のデータを検索することを感性検索と呼ぶ。
画像と印象語のような異なったドメインの情報を統合して各利用者の主観を反映した索引空間を構成すれば、この索引空間上で感性検索が可能となる。利用者は学習用セットの各画像に印象語を与える。システムは、色彩特徴と印象語との相関が最大となるような統合特徴空間への写像を、正準相関分析等の多変量解析で構成すればよい（図3.3-6）。
【統合特徴空間の構成法】
(1) 利用者は、学習用セット Pの各画像の主観的な印象を印象語の重みベクトル ak で表現する。
(2) 印象語 ak と色彩的特徴 pk とを、ある線形写像 F, Gで変換した像 fk,
gk の相関を最大になるように F, Gを正準相関分析によって構成する。
| fk= tF ak
, gk= tG pk |
| gk= tG pk |
印象が類似した画像は、図3.3-6の統合特徴空間上で近い点に写像されていると考えて良い。同様に、類似したイメージを表わす印象語a0も、回帰Lにより g0 = LtF a0で統合特徴空間上の近い点に写像されていると考えられる。
【感性検索】
(1) 例示した印象語 a0を、線形写像 F, LによりUF空間に写像する。
| g0= L tF a0, | |
| L ： tF ： |
相関係数を対角要素とする行列, Fの転置行列． |
| dk= | g0 - gk | |
図3.3-7に印象語「ロマンチック、ソフト、暖かい」を満たすような色彩の絵画を検索した結果を示す。視覚的印象のモデルは、色彩特徴（カラーの局所自己相関、カラーヒストグラム）と印象語との相関分析で作成したが、上位の候補の多くは、例示された印象語にかなり良くマッチしている。
3.3.5.1 生理的レベルでの感性強化
本節では、人間の初期視覚における生理学的な特性の知見に基づいて、人間の知覚の能力（具体的には視認性）を向上させるような画像フィルタの構成法を紹介する。
視認性を良くするためのフィルタは、画像処理の分野では画像強調と呼ばれ長い研究の歴史を持つ。
従来のフィルタの構成法の考え方は２つに整理できる。
(a) 対話的・試行錯誤的な画像の変換
(b) 統計的な性質に基づく画像の変換
前者はPhotoshop等のソフトウェアでよく利用される手法である。画素の値（輝度、色）の各値をどのように修正するか、入力（変換前）と出力（変換後）の対応関係をグラフの形で利用者が定義する。視認性が良くなるまで、このグラフの形を繰り返し修正する。グラフの形状の自動的な設定などは考慮されていない。
後者では、画素の値のヒストグラムに注目したヒストグラム平坦化法が強力であると言われている。これは、与えられた画像の輝度分布（一般にはダイナミックレンジに片寄りがあり、輝度は一つまたは複数のピークの辺りに数多く分布する）を、どの輝度の出現頻度も等しくなる様な一様分布形に近付ける変換である。通常、与えられた画像の輝度の平均値周辺に分布が集中する傾向にあるため、平坦化をかけることによりそのような集中がバランス良く分散され、結果としてコントラストが改善される。
我々は、ON-center型・OFF-center型の２種類の側抑制機構と、明るさ（杆体細胞）やカラー（錐体細胞）に対するＳ字型の応答特性及び順応との関係に着目し、側抑制機構の役割と必然性を説明する数理的なモデル（我々は、逆Ｓ字型変換と呼んでいる）を構築した。
視覚受容器の性質として、刺激に対して逆の作用を示す働き、即ち、拮抗型の反応特性（側抑制と呼ぶ）を示す機構があることが知られている。これは、ある点が刺激を受けて興奮作用を起こすと、その周辺の点が逆に抑制作用を起こす様な機構であり、中心
- 周辺拮抗作用とも呼ばれる。刺激に対する正負の興奮により、ON-center型、及びOFF-center型の２種類がある。また、興奮点が n 個ある場合には、各抑制効果の加算性が成り立つことが示されている。
側抑制機構におけるON-center型応答とOFF-center型応答は、様々な明るさの背景の下で、注目点の近傍のコントラストを局所並列的に強調するメカニズムであると考えられる。
側抑制機構の数理モデル（逆 S 字型変換）を用いて濃淡画像の強調処理を試みた。眼底写真を対象とした画像強調の結果を図3.3-8に示す。比較のために、画像強調手法の中でも効果が高いと言われているヒストグラム平坦化法による強調結果を同時に示す。
ヒストグラム平坦化法では、元々輝度変化の細かい原画像に対して、局所領域の特性を考慮せず大域的に強調を行うため、非常に不自然な結果となっている。また、このような手法は、人間の視覚特性とは無関係に、画像の大域的な統計的分布にのみ基づいた手法であり、良い結果が得られてもその理由が生理学的に説明できない点にも注意すべきであろう。
 |
 |
 |
側抑制機構の数理モデルに基づく処理では、暗い部分でのコントラストが向上し、暗部の細かな変化が認められる。同時に、相対的に明るい部分でのコントラストも強調された。結果として、明暗のコントラストが視野内の至る所で強調され、細かい部分の観察が容易になった。これは生理学的にも裏付けのある画像強調手法としても有効であること、従って、どのような画像に対しても安定な結果を期待できることを示している。
様々なレベルでの視覚感性における典型的な事例データを集積し、これを統計的に分析すれば、事例データ間の暗黙的な関係を発見できる。この関係を類似検索や感性検索に利用することも可能となる。
我々が試作したカラーコーディネータは、２色組み・３色組みの配色事例、および、典型的な配色の印象語データを対象に、類似の色彩（１色〜３色）が使われた配色事例を検索する色彩検索、印象語からそれにふさわしい配色事例を検索する感性検索、および、これらを複合した連想検索機能を提供する感性データベースである。
カラーコーディネータは、さらに検索結果（配色事例）を必要に応じて加工・修正する仕組みを持つ。加工・修正では、様々なレベルでの視覚感性のモデルに基づきながら、利用者が示す拘束条件を満たすような「解」を求める。このような仕組みを感性コーディネーションと呼ぶ。
図3.3-9の例では、利用者は自分が持っているネクタイとシャツの色を提示し、これとコーディネイトしやすいセーターの色を問うている。単に色彩検索だけでは、発見できる事例が少ない。連想検索により、印象語の面からも検索範囲を広げてコーディネイトしやすい事例を探している。さらにシステムは、こうして検索された類似の事例を参考に、実際に利用者が持つネクタイとシャツの色に合わせたセーターの色を提案している。これは、利用者が提示した色の拘束条件に合うように、３番目の色に加工を施した結果である。
3.3.7.1 感性工学研究開発用ソフトウェアプラットホーム
感性工学研究開発用ソフトウェアプラットホームとして、我々は、以上に示したような感性情報処理技術（感性メディア技術）の研究開発と整備を行ってきた。現在、実験用のデータセットの作成も含めて、そのオープンソース化を進めているところである。
ソフトウェアプラットホームで準備されている機能を紹介しよう（図3.3-10）。
(1) 感性エージェントメカニズム
(2) 感性コーディネーション
(3) 感性モデル化技術
(4) 感性データベース管理システム
(5) 感性データベースのための多次元インタフェース技術
(6) 高精度入力・提示・加工技術
3.3.7.2 感性工房の応用 デザイン支援システム
我々は、これらのモデル化の枠組み・アルゴリズムを実証的に評価するために、複数のデザイナーと顧客とが共同作業的にデザインを進める、新しいデザイン支援システムを例題にプロトタイピングを行っている。意匠のデザインやコーディネイトは、知的でかつ創造的な作業である。このような作業の過程では、
が行われる。一からデザインを起こす場合、上記の準備段階に全工程の70〜80％程度の時間が費やされることが多い。
このような知的単純作業に時間を費やさざるを得ないのは、資料収集（すなわち、マルチメディア情報の取捨選択）、レンダリング（３次元グラフィックスによる描画）、プレゼンテーション作成（３次元仮想空間の作成）のそれぞれに、「感性・センス」と呼ばれるデザイナーの経験・評価・技能に基づく主観的な情報処理が必要なためである。従って、「デザイナーの感性を理解する」技術、「欲しいと思う情報」「自分に役立つと思われる情報」を情報洪水の中から確実にピックアップできる技術、「消費者の感性に受け入れられるものをつくる」技術が実現されれば、工業デザインの生産性を大幅に高められると共に品質を向上させることも期待できる。
我々は、広視野角大型スクリーンを利用したメディアルームの開発を進めている。この上に、デザイナーが顧客と共にオフィス家具をデザインし、また、オフィスを天井・壁紙・絨毯と総合的にコーディネイトするデザイン支援システムを試作している（図3.3-11）。
「感性工房」は、近未来のデザイン工房を想定したシステムである。これを利用することで、利用者（＝デザイナー）は工業デザインのさまざまな過程を効率良く進めることができる。
デザイナーは、顧客から「感性的な表現」でオフィス家具やオフィスのコーディネイトの仕事を受注する。次いで、イメージ語や参考となる写真、図案、図面などをキーとして、関連する資料を自動的に収集してこれを閲覧、イメージを膨らませながら実際に適切な家具を選択したり、部品を組合せて設計する。このような家具を仮想空間上に構成したオフィスに配置してコーディネイトすると共に、顧客にプレゼンテーションして結果の確認を求める。また、顧客からのより細かい要求の変更を受けて、その場でデザインやコーディネイトの修正を即座に行う（図3.3-11）。
「感性工房」は創造的な活動の生産性を高めると共に、消費者参加型の商品設計・生産に道を開くものである。
我々が取り上げた例題「工業デザイン」は、マルチメディアデータベースを利用しながら行う感性的な創造活動の典型例に相当する。対象とするコンテンツを変えれば、同様のフレームワークで、個人対応のショッピングカタログなどの印刷物の作成、情報機器・家電製品・自動車などのデザイン設計、都市計画や建築物の外観設計等にも適用できる。
以上のような感性の工学的なモデル化の到達点をふまえつつ、ここでは、感性工学が次に取り組むべき重要な技術課題を、私見も交えて紹介する。
3.3.8.1 感覚のチャネルのマルチモーダル性
人間の感性には、各感覚のチャネルの特性に強く依存して知覚する面と、複数の感覚のチャネルを統合して知覚する面がある。人間に複数の感覚チャネルが存在することをマルチメディア性と考えれば、複数の感覚チャネルを統合して総合的に解釈することはマルチモーダル性に対応付けられる。視覚に関する感性の階層的モデル化技術等を踏まえて、聴覚・触覚等の様々な感性を階層的にモデル化（マルチメディアに対応）し、さらに、多感覚感性を統合したマルチモーダル感性モデルに基づく感性メディア技術を確立することが多感覚感性メディア技術の中心的な課題となろう。
このようなマルチモーダル的な感性のモデル化は、個別の感覚のチャネルのモデルとその足し算だけでは難しい。学習すべき場合の数は、加算ではなく、乗算で効いてくるからである。統計的学習によりモデルの構築を図る場合、被験者の心理的なストレスの許容する範囲内で、「知覚の戦略」も含めて効率よく学習するアルゴリズムが必要となる。
感性構造のマルチモーダル性の必要な典型的な場面・応用例を考えよう。感性の状態を言語で表現する場合、人間は、例えば、「爽やか」という本来は皮膚感覚の言葉を、視覚的な刺激（写真・絵画など）や聴覚的な刺激（音楽など）にも用いる。このような複数の感覚にまたがった表現を自然に行う感性の構造の解明と、人間からのメッセージの解釈への利用等が考えられる。
マルチモーダル性が工学的に重要な例として、感性変換がある。感性変換とは、マルチメディアで構成されたデータやメッセージを、ある特定の、あるいは個々の利用者にとって感性的に等価（近似）な別の表現に変換することである。これには図3.3-12にみるように、
同種メディア間での感性メディア変換、即ち、物理・生理・心理・認知的レベルそれぞれでの類似のパターンに置換える場合や、異種メディアにまたがって変換する場合、即ち「見てさわやか、聞いてさわやか」を実現するような変換の場合がある。前者は、データベースからの類似事例の検索結果を加工（再編集）する場合に有効であり、後者は、高度な感覚代行のための有力な手法になりうると期待される。
3.3.8.2 感性的コーディネイト過程のモデル化
知覚における感性のマルチモーダル性は、創出過程では感性的なコーディネイト戦略に相当する。
優れた工業デザイナーは、全体としてある所望のイメージを実現するために、多数の「部品」を組み合わせる。例えば「躍動感」というイメージを与える机・いす・壁・床・天井を組み合わせても、「躍動感のあるオフィス」は構成できない。全体として「躍動感」を与えるためにはどうするのか？専門家が経験を通じて修得している戦略を、効果的にモデル化する必要がある。
複数の要因が増えれば増えるほど、可能性の数は乗算のオーダーで増え、従って、「組み合わせの爆発」が起こりやすい。学習に必要な計算量、学習結果に基づく感性シミュレーションに必要な計算量を抑えながら、コーディネイトを実現する必要がある。最近研究が進んでいる、カオスニューラルネットによる最適組み合わせ問題の解法が、有力な手法になりうるのではないかと期待している。
同時に、このようなモデル化を、膨大な数の回答データに基づいて行うのであれば被験者（＝利用者）にとって「アンケートの爆発」が生じて、実際的ではない。被験者の心理的なストレスの許容する範囲内で、かつ、できるだけ普遍的な形で進めるための仕組みも必要である。
3.3.8.3 感性のモデル化の方法論：
感性研究の出発点において、我々は（多分にイメージ的に）西欧的な要素還元論的な世界観ではなく、東洋的な総合的な世界観からのアプローチが必須であると考えていた。
夢中に進めてきた我々の「感性研究」は、振り返ってみると、結局、要素還元論的な手法に終始してしまったのではないかと反省している。では、産業的にも意味のある「総合的な世界観からのアプローチ」とはどのようなものであるべきか？あれこれの言葉の遊びではなく、工学的・具体的・普遍的な手法として定式化することが出来るか？ここに次なるブレークスルーが求められていると考えている。