平成9年度 委託研究ソフトウェアの提案

(2) 学習機構内蔵型プログラミングシステムの開発

  
研究代表者: 佐藤 泰介 教授
東京工業大学大学院 情報理工学研究科



[目次]

  1. 研究体制
  2. 2年目の研究内容
  3. 想定されるソフトウェア成果

[研究体制]

 氏 名 所  属
研究代表者佐藤泰介東京工業大学情報理工学研究科 教授
研究協力者亀谷由隆東京工業大学情報理工学研究科 修士1年
研究協力者萩原康志東京工業大学情報理工学研究科 修士2年
研究協力者上田展久東京工業大学情報理工学研究科 修士2年


[2年目の研究内容]

1年目のPRISM処理系の実装の大幅見直しと拡張を行なう。具体的には

  1. EM学習ルーチンのCによる実装による高速化、
  2. 組み込み確率述語である bsw/3 を多値に一般化した msw/3 への 拡張によるプログラミング性の向上、
  3. 全開探索による解データの特性を利用した記憶法による記憶領域の節約、
  4. GUIによるインタラクティブなPRISMプログラミング環境の実現
を目標としている。


[想定されるソフトウェア成果]

(1)作成されるソフトウェア名称

PRISM (PRogramming In Statistical Modeling)

(2)そのソフトウェアの機能/役割/特徴

PRISM は計算と学習をプログラムの意味論レベルで融合した(恐ら く) 初めての計算機言語であり汎用の統計的-記号処理モデルを提供 する。通常の論理プログラミングも勿論可能であるが背景知識をホー ン節として書き情報の不確定性をファクトの確率分布として表現する 事により不確実な知識を表現し、利用し、且つ学習する事が出来る。 本ソフトウェアの有用さは使い方次第と言える。

例えば演繹データベースに適用すれば学習機構を備えた確率的演繹 データベースになる。またベイジアンネットに適用した場合は命題論 理に限定されない一階論理の表現力と(再帰を通じて潜在的に)無限 大のベイジアンネットを表現する能力を手に入れることが出来る。さ らにHMMのような確率的オートマタに適用した場合は、 正則言語に止 まらないより広い言語クラスの表現と学習を可能にする。一方学習結 果に応じ振舞いを変える点に着目すればでエージェントなど複雑多様 なモデルの実現にも役立つ事が期待される。

PRISM は実行モードと学習モードの二つを持ち、実行モードは3つ のサブモードを持つ予定である。一つめはサンプリング実行であり、 基礎分布に応じた最小モデルの実現値を求める事に相当する。サンプ リング実行では同じゴール(グラウンドアトム)に対して実行するた びに異なる結果(実現値、成功/失敗で表される)を返すが、独立に 多数繰り返した時の分布が丁度プログラムが意味する分布となる。多 数のサンプリング(例えば1万個)を短時間に得るには実行の並列化 が不可避であるが、これは将来の課題である。

二つめは答と共に正しさの確率を付けてを返す確率モードである。 ゴールに対し成功した時は例えば確率 0.7など値を付けて返す。これ はサンプリング実行を多数独立に行なえば平均して100回の内70 回成功するという意味である。確率モードを利用して探索の枝狩りを 行なうことが出来よう。

三つめはや答のゴールその正しさの確率を計算する式を付けて返す 数式モードである。式は基礎確率を持つアトムの連言の選言となる。 これと基礎分布を組合せ答のゴールの確率を計算できる。

学習モードでは教師データからの統計的学習を行なう。学習法はユー ザが選択する事になる。学習により教師データを近似する基礎分布を 得るがこの分布からルールを抽出し元のプログラムに加えるか、ある いは元のプログラムの一部を置き換えることにより徐々に自分の構造 を変えて行く自己変容型プログラムの実現も本システムの応用として 考えられる。

(3)ソフトウェアの構成/構造

システムは以下の部分系からなる。ユーザはプログラムを書き入力 系に読み込ませ、翻訳系を働かせた後実行モードまたは学習モードを 指定しそれぞれの実行に移る。

(ア)入力系
ユーザのプログラムをファイルから読み込む。基礎分布の 指定をファイルからまたはウインドゥを通じて読み込む。

(イ)翻訳系
ユーザプログラムを実行用と学習用の二つに翻訳する。

(ウ)実行系
先に述べた3通りの方法で実行用プログラムを実行する。

(エ)学習系
ユーザプログラムから導出される学習用プログラムと 教師データを使い基礎分布を統計的に学習する。

(オ)出力系
実行結果、学習結果、トレースをウインドゥに出力する。

(4)参考とされたICOTフリーソフトウェアとの関連

統計的学習機構を備えた一般的知識処理システムとして力学プログ ラミングDP、知識検証支援システムKNOVあるいは適応型電子装置診断 実験システムなどのICOTフリーソフトウェアと関連性を持つと考えて いる。またサンプリング実行や学習モードにおける全解探索では並列 実行が可能であるし又望ましいので KLIC を使った実装が将来的に考 えられる。

(5)使用予定言語および動作環境/必要とされるソフトウェア・パッケージ/ポータビリティなど

システムは SparcStation10 の SUNOS 4.1.3 上の SICStusProlog と C で組まれている。

(6)ソフトウェアの予想サイズ(新規作成分の行数)

学習ルーチン、trie データ構造操作、ユーザインターフェイスなどで4000行位 になると考えている。

(7)ソフトウェアの利用形態

本システムは Prolog を理解するユーザにはすぐに使えるもの思わ れる。 使い方は汎用の統計的-記号処理系であることから制限はない が特に記号処理の能力と統計的学習能力の二つが同時に必要な場面に 適している。本システムの統計的記号処理のモデリング能力はゲーム 理論、意志決定理論、エージェント、ベイジアンネット、自然言語処 理、データマイニング、ILP、 ネットワークなど広い範囲に応用出来 ると予想している。以下コメントを記す。

マルコフ連鎖は内部構造を持たない状態間の確率的遷移の記述であ り広い応用範囲を持つ確率モデルである。音声認識や遺伝子解析で使 われる HMM(隠れマルコフモデル)もマルコフ連鎖の応用例である。 しかしながらマルコフ連鎖を知識表現モデルとして見た時状態に関す る確率的遷移以外の背景知識を扱う手段がなく従来の知識処理との乖 離を生んでいた。本システムによれば状態をアトムにより表現し背景 知識をホーン節により表現することにより状態間の確率的関係と論理 的関係を同時に表現することが可能になる。背景知識により強化され たマルコフモデルは HMMを拡張するだけでなくゲーム理論や意志決定 理論に対し精緻でより現実的なモデルを与え、より正確な予測に繋が る事が期待される。

例えばゲーム理論によく引用されるば囚人のゲームのシミュレーショ ンについて言えば単に利得表に支配されるのではなく互いが相手に関 する論理的推論を行なうようなダイナミックなシミュレーションが可 能になるだろう。関連して複数のエージェント間の相互作用による複 雑な意志決定プロセス(多くは確率的な部分を含むであろう)も本シ ステムを使うことにより良いモデル化が可能であると考えている。

次に述べる自然言語処理でも使われるベイジアンネットは命題間の 確率的依存関係を表すネットワークであり、多くの研究実績が積まれ ているが基本的には命題論理の枠内の話しであり、命題の内部構造を 表現する事が出来ない。本システムによるベイジアンネット表現は論 理変数を使った一階論理の表現力と(再帰を通じて潜在的に)無限大 のベイジアンネットの表現力を持つ。この様な一階論理ベイジアンネッ トの研究はベイジアンネットの研究に新しい局面を開くと思われる。

自然言語処理では統語処理における統計情報の利用が盛んであるが 意味的処理における統計情報の利用はそれほどでもないようである。 本システムの(正規言語に留まらない)プログラミング能力と学習能 力を組み合わせる事により例文から単語の意味カテゴリ関係を学習す るシステムも構築出来るであろうと考えている。また意味処理を越え た語用論的な知識も学習出来ると期待している。

データマイニングへの応用では基礎分布からのルール抽出が主要な 道具になる。本システムではデータのモデルを作る際既知の論理的依 存関係をプログラムで表現し、残りの本当に未知の部分を基礎分布の 分布と置く事によりプログラムの振舞いが現実データに合うように基 礎分布を学習する事が出来る。学習された基礎分布よりルールを抽出 する事が出来るだろう。

ILP(帰納論理プログラミング)では観察されたアトム群を説明する 理論を推論しなければならない。これまで MIS、CIGOL、PROGOL など 様々な方法が提案されているがどれも観察されたアトムの分布の概念 を欠いていた。 上に述べた基礎分布からのルール抽出により従来の ILPにない新しいルール発見の道が開かれると予想している。

最近関心を集めているネットワークへの応用も考えられる。ネット ワークでは時間遅れや事故など伝達には常に不確実性がともなう。従っ て自分から見える相手が複数あった場合最も信頼すべき相手と接続を 行なう事が望ましい。このような場面では相手の記号モデルを本シス テムにより構築し、 実データにより確率的にどの相手と接続すれば (平均的に)よい結果を得ることが出来るかを学習させた後、本モデ ルが予測する最も信頼できる相手と通信すれば最も効率的な通信が実 現出来よう。

(8)添付予定資料

英文ユーザマニュアル


www-admin@icot.or.jp