第３章　ハイエンドコンピューティング研究開発の動向

3.4.3 高速ネットワーク環境下における高度医療アプリケーション

佐藤　裕幸　委員

1. はじめに
　がん治療法の一つである粒子線治療は、ヘリウム、炭素、ネオンなどの重粒子線を患部に集中して照射し、周辺の正常細胞への影響を最小限に抑え、患者の早期社会復帰を可能とする非常に有効ながん治療方法である[1]。この粒子線を用いたがん照射治療を普及させるためには、遠隔地の複数の医療機関から高速なネットワークを介して、重粒子線がん照射施設の計算サーバにより、照射施設のノウハウを利用して患者毎に最適な照射方法を得る治療計画を立案できることが望ましい。
　このような高速なネットワークの利用法はまだ実現例に乏しく、基本的な性質の解明も進んでいない。インターネットの普及が進み、ネットワークを利用する研究者にも利便性を提供しているが、一方ではネットワークの輻輳が発生して、研究環境が悪化している例がある。またネットワークに不正に進入する事例が多数発生しており、医療関係の情報のようにプライバシーを守るべき対象を安全に保護する技術が必要不可欠となっている。
　このような状況から、インターネットにおける信頼性・高速性・利便性・安全性に関する種々の問題点を解決するために、これらについて極めて高度な要求を持つ遠隔地重粒子線がん照射影響シミュレータを業務として想定し、ギガビットレベルネットワークに向けた信頼性・高速性・利便性・安全性を確立することを目指し、高度医療ネットワークに関する研究が行われている。

2. 粒子線がん治療

2.1 粒子線とは
　粒子線は、放射線の一種である。放射線は、従来からよく利用されているX線やガンマ線等の光子線と粒子線に分けることができ、更に粒子線は、陽子線とヘリウム、炭素、ネオン等の重粒子線に分けることができる。これらの各放射線を患者体内へ照射した場合の線量の変化を図1に示す。図から分かるように、ガンマ線より陽子線、陽子線より炭素の方が患者のからだの表面からの深さに従って線量が鋭く変化している。すなわち、炭素のような重粒子の方がより正常細胞を傷つけずに照射することができ、これにより患者の早期社会復帰を可能にしている。

図1　各放射線の線量

2.2 粒子線がん治療装置
　このような重粒子線を用いたがん治療装置の１つを図2に示す。図2は、千葉市稲毛区にある放射線医学総合研究所のHIMIC（Heavy Ion Medical Accelerator in Chiba）であり、125m×65mの巨大な装置（施設）である。本装置は、ビームを発生させる照射線源、ビームを加速する加速器及びビームを照射する３つの治療室から構成される。治療室が３つあるのは、ある治療室で照射中に別の治療室で照射位置合わせ等の準備が平行して行えるようにするためである。
　このように重粒子線がん治療装置は巨大であるため、各病院に設置するということは不可能である。現在、国内外の治療施設には、以下のものがある。

図2　重粒子線がん治療装置（HIMAC）

3. 高速ネットワーク環境下における高度医療アプリケーションの研究開発
　以上のように、各病院に粒子線がん治療装置を設置するのは不可能であり、また、放射線治療を行うには、前もってシミュレーションを行って最適な治療の計画を立てる必要がある。そこで、がん患者が入院している病院とがん治療施設との間を高速ネットワークで接続し、病院からCT画像や患者情報を治療施設へ転送し、治療施設でその情報を基に照射シミュレーションを実施して、病院へその結果を送り返す、といった治療の遠隔シミュレーションが行えると良い。このような高速ネットワークを用いた遠隔シミュレーションがスムーズに行えることを目的に、平成10年度科学技術振興調整費により、研究が行われている。最初の３年間が第I期であり、あとの２年間が第II期である。
　本研究は、以下に示す３つの研究項目に分かれており、それぞれ図３に示すような関係となっている。

図3　研究項目

3.1 がん医療アプリケーションに関する研究
　がん医療における画像情報を主体とした大量の情報の信頼性、安全性を保ちながらネットワーク上で高速かつ効率よく伝達し応用することを目的として、遠隔地がん照射シミュレーション、がん画像伝送、三次元画像構築及びコンピュータ支援がん画像自動診断装置に関する開発、研究を行ってきている。
(1) 遠隔地がん照射影響シミュレータの研究
　重粒子線がん治療を普及させるためには、がん患者が入院している多くの医療機関において、治療計画を立案できるようにすることが必要である。そのため、放射線医学総合研究所に設置されている重粒子治療計画装置を高速ネットワークを介して利用することを試みる。第I期においては、本装置をネットワークにより利用できるように改造し、インターネットを通じて国立がんセンター東病院から操作する予備実験を行った。第II期においては、国立がんセンター東病院と放射線医学総合研究所を高速ネットワークにより接続し、本装置の本格運用を試みている。
(2) がんの高度診断支援技術に関する研究
　がんの広がりを正確に診断するため、CT、MRI等の形態画像とFunctional MRI、SPECTなどの機能画像との合成画像を構築する技術の開発とデジタル画像情報を用いて肺がん、乳がん、脳腫瘍に対する三次元画像表示とコンピュータ支援自動診断装置の開発を行っている。また、これらに加えてCT、MRI画像とPET画像の合成を行うとともに三次元画像表示及びコンピュータ支援自動診断装置の精度向上を計り、実際の医療現場においてネットワークを用いた実用を行っている。
(3) 画像を含む医療データのデータベース化に関する研究
　遠隔地がん照射治療を実施するためには、担当医師が画像を含む様々な種類の医療データを分散した医療拠点から収集する必要がある。そのため、インターネット上に分散して存在する画像データとファクトデータを効率よく利用可能とすることを目的として、インターネット上に分散した画像を含むデータを高速に収集しディレクトリを構築する技術を研究し、さらには特定の臓器のがんの画像を収集するために領域分割やテクスチャに注目した画像の特徴抽出と患者名や医師の所見等のテキスト情報を組み合せた画像検索技術を研究するとともに、多様なフォーマットから成るデータから数値を中心としたファクトデータを抽出することにより、時系列等の要素でバーチャルに統合化されたデータベースを構築する技術を研究している。

3.2 情報共有と交換に関する研究
　インターネット上での情報の共有と交換に関する研究を行っている。
(1) ギガビットレベルネットワークに向けたQoS確保技術の研究
　ギガビットレベルネットワークにおいては、利用者の要求する通信品質を確保し、必要な帯域を提供する技術が必要となる。そのため、通信品質を保証するためのトラフィックモデルを構築すると共に、既存のリソース予約プロトコルに比して低負荷かつ高速な計量Qos確保プロトコルを開発し、これらを基に制御管理サーバの開発及び経路制御技術と密接な連係を前提としたQoS確保技術を研究開発している。さらには、端末側におけるQoS要求自動調整技術の研究も行っている。さらには、ネットワークとアプリケーションのより効果的な連携を実現するため、ネットワークの提供する通信品質に基づいた、あるいはアプリケーションレベルのQoS要求を考慮したQoS確保技術の研究も行っている。
(2) ギガビットレベルネットワークに向けた経路制御技術の研究
　ギガビットレベルネットワークで信頼性のある経路制御を実現するためには、動的な経路制御が性能に大きく影響する点、そして、分散された経路情報の矛盾が大きな無駄なトラフィックを生む点が従来の研究の結果として確認されている。そこで、本研究では、分散されている経路制御情報を少ない矛盾で共有するための経路制御アーキテクチャの開発と実証実験を行っている。
(3) ギガビットレベルネットワークに向けた状態監視技術の研究
　ギガビットレベルネットワークにおいては、QoS確保技術や経路制御技術が円滑に運用されるように、ネットワークの状態を短期的および長期的にかつ正確に把握することが必要である。そのため、多地点における監視手法と伝送路に依存しない監視手法の確立を目的として、実地のネットワークにおける検証を行っている。本研究においては、医療アプリケーションにおける情報の共有と交換が順調に行われることに重点を置く。更に、なるべく少量の測定データを基に、できるだけ短時間に分析ができるように種々の技法を検討し、適用している。

3.3 医療情報交換に関する研究
　超高速ネットワークを用いて実現される医療モデルを作成し、その中での最適化されたデータ交換形式、交換用アプリケーションとデータベースの設計に関する研究を行い、合せて医療モデルとネットワーク環境の最適化法に関する研究（Network Oriented Healthcare Modeling）を行っている。また、情報セキュリティに必要な要件情報の利用制御やフロー制御を円滑に行うことを目的として、ポリシーベース情報管理システム、公開鍵暗号方式または鍵事前配布方式による照明・認証方式の確立及び耐タンパーソフトウェア構成技術に関する研究を行っている。
(1) 医療情報・データのフォーマット等に関する調査研究
　放射線治療上考えられる医療の過程として放射線治療の適応に関する検討、放射線治療の臨床試験に関する適応の検討、放射線治療の方法の選択、放射線治療計画の作成、インフォームドコンセント、放射線治療期間中の診療、放射線治療急性障害の有無の確認、放射線照射終了記録、放射線治療後の治療評価、放射線晩期障害の有無、放射線治療終了後のフォーローアップ診療が考えられる。この各診療の過程に必要な診療の内容を整理し、診療に必要な情報項目とそのデータ形式、データ量、必要な表示方法について調査し、各診療における人（医師、患者、看護婦、技師）の権限関係や情報の交換についての医療モデルを作成している。高度医療ネットワークにおいては、利用可能なネットワーク能力、診察にかかるコストなどを勘案して医療モデルとネットワーク環境の最適化を図る必要がある。そこで、医療モデルとネットワーク環境を最適化するための評価尺度および分析方法に関する調査研究を実施している。
(2) 医療情報交換に係わる情報セキュリティに関する調査研究
　遠隔地がん照射治療の普及のためには、患者の症例情報がインターネット上を流通することが必要であり、こうした特定の用途や目的のみに利用する情報の安全性を確立することが急務となっている。そのため、情報の利用制御やフロー制御を円滑に行うことを目的として、柔軟で強力な利用条件記述方式の研究、情報本体に付加された利用条件から提示されるアクセス権限を合致するCBR（Capability-Based Resource Management）と呼ばれる方式により安全で簡易な利用資格確認方式の研究を行うとともに、公開鍵暗号方式または鍵事前配布方式をベースとした軟らかい証明・認証方式の確立、情報利用方法や利用履歴を不当な改竄や解析から防止する耐タンパーソフトウェア構成技術を研究している。

4. 重粒子がん照射影響シミュレータ
　治療計画において重粒子がん照射の影響をシミュレートするためには、患者体内の線量分布を正確に計算しなければならない。しかし、従来の高精度な三次元の線量分布計算は処理時間がかかるため、治療計画の効率が悪いという問題点があった。そのため、治療計画の高速化の研究が幾つか行われてきた[2][3][4]。これらの研究では、トランスピュータやCRY-YMPのような従来型の並列計算機やPentiumProによる特殊な自製の並列計算システムを用いており、コストパーフォーマンスや拡張性の面で問題がある。
　近年、パーソナルコンピュータ（PC）の低価格化とギガビット・イーサネットを代表とする汎用ネットワークの高速化により、PCやワークステーション（WS）を構成要素とする並列処理クラスタが、安価で拡張性の高い計算サーバとして注目されている[5]。そこで、計算サーバの処理能力及び信頼性などを向上させるために、特に浮動小数点演算性能に優れたAlpha WSを高速な汎用ネットワークで接続したクラスタを用いた並列処理により、治療計画処理の高速化を行っている。
　この並列化においては、CT画像などの大量データを扱うので，分散メモリ環境でデータ通信時間をいかにして抑えるかが大きな課題となる。また、領域分割により並列化を行うが、各領域の計算負荷の予測が困難なため、プロセッサ間の負荷の均等化も課題の一つとなる。我々は、コストパフォーマンスと拡張性に優れたWSクラスタをプラットフォームとし、対象問題の性質及び高速化を望んでいる部分や計算精度等のユーザの要求を考慮して、並列処理方式を検討している。

4.1 線量分布計算
　線量分布は、患部周辺の平行横断面であるCT画像を複数枚（〜100枚）取得することで得られる三次元情報（図４）を基に計算する。1枚のCT画像は512×512ピクセルであり、1ピクセル当たり4バイトで表現しているので、その三次元データ量は0.5Kピクセル×0.5Kピクセル×100枚×4バイト=100Mバイトと大量となる。線量分布計算では、この三次元化されたCT画像データや各種照射に関するデータを基にして各点の吸収線量を計算する。そして、計算結果はCT画像と重ね合わせて表示するため、各線量をCT画像データと同じ形式（座標系）の三次元データとして格納する。したがって、計算結果も100Mバイトのデータ量となる。このように、線量分布計算では、大量データを扱うので、並列化の際にデータの通信時間をいかにして抑えるかが課題となる。
　線量分布の計算は、以下のような手順で行う。

• 照射される面を格子状に分割し、ビームを各格子への線（Ray）に分割する。図５では、3×3の9つのRayに分割している。ここで、コリメータ（Collimator）とは、ビームの横方向の広がりを調整するためのカメラの「絞り」のようなものである。
• 各Ray毎にRay上に沿って一定間隔に計算点を決める（図５の星印）。
• 各計算点毎に，数式(1)〜(3)により線量を算出する。計算結果をCT画像と同じ座標系の形式に格納する際に、計算点座標とCT画像座標が正確に一致しないため、その距離に応じて計算結果を線形補間して格納する。

図4　三次元CT画像

図5　線量分布計算

　計算点pでの線量値Dpは、ビームの中心軸上の線量DDpと中心軸外の線量比率であるOARpから算出される。

　別途水中で実際に計測した線量値がテーブルBSTに格納されており、計算点pのビームの中心軸上の線量DDpは、線源と計算点pとの距離を水等価厚WELpに変換して、水等価厚でテーブルBSTを引くことで得ることができる。なお、SSDは線源から計測開始点までの距離で、Lpは線源から計算点pまでの距離であり、式(2)の第2項はビームが逆二乗則で広がることによる粒子数の変化を補正するためのものである。

　計算点pまでの水等価厚WELpは、各計算点iでのCT値から算出される電子密度EDiと計算ステップ幅Stepの積分により算出される。計算点pでの中心軸外の線量比率OARpは、線源のビームサイズと計算点pでのビームの進行方向に対して横方向の座標を基に算出されるが、その詳細は文献[6]に記載されている。なお放射線としては、陽子及び炭素を対象としている。この方式による線量分布計算は、通常のWSを用いて数十秒程度かかり、更にペンシルビーム法[6]と呼ばれるより正確な結果が得られる方式では更に時間がかかる。
　計算点毎の処理は、式(3)により水等価厚の算出で積分しているので、同一Ray上の前計算点の（中間）結果が利用可能であり、逐次的になっている。一方、 Ray毎の計算は独立しているのでRay束の単位で並列に処理できる。つまり、計算領域（Ray）を複数の部分領域に分割し、それぞれの分割された領域を各プロセッサで独立に計算し、計算結果を最後にマージするという並列化方法である。各部分領域（Ray）は、その位置によりCT画像を通過する距離が異なり、それにより必要な計算時間も異なるので、部分領域によって負荷が異なる。したがって、並列化においては、各プロセッサ間で負荷をいかにして均等化するかということも課題となる。
　また、治療計画においては、照射線源から照射体を見て撮影したような画像をCT画像を基に再構成するDRR（Digitally Reconstructed Radiograph：ディジタル再構成X線撮影）画像の生成も処理時間がかかるので、線量分布計算と同様の方法で並列化した。

4.2 並列処理システム
　治療計画の計算処理システムは、10台のWSを汎用のネットワークで接続した、いわゆるWSクラスタである（図６）。各WSのCPUはAlpha21164A 600MHzであり、10台の内1台がサーバとして使用される。サーバには1GBのメモリが搭載され、それ以外のマシンには512MB搭載されている。各マシンは、100Mbpsのイーサネット・スイッチで接続されており、まもなく１Gbpsのイーサネットに置き換える予定である。このクラスタが遠隔地の医療機関からギガビットレベルの高速なネットワークを介して利用されることを想定している。

図6　システム構成

図7　並列処理クラスタ

　図７に並列処理クラスタの実物写真を示す。このクラスタは、２セットのデスクトップ型のWSを5台積み重ねたものから成り、1台数十万円のWSとネットワーク機器などで、総計数百万円という安価かつ高性能で拡張性のある並列処理環境となっている。また、オペレーティングシステムはLinuxを用い、プロセッサ（WS）間の通信ライブラリは、多くの種類のマシン上で動作し広く利用されているPVM (Parallel Virtual Machine)[7]を用いている。
　並列処理を支援するツール（ミドルウェア）として，我々の開発した分散型並列処理支援ツールParaJET[8]を使用している。ParaJETは、指定されたジョブ群を各プロセッサの負荷状況に応じて分配する負荷分散ツールである。特に、並列動作するジョブ間で全く通信がなく独立して実行できる場合は、従来の逐次プログラムを変更することなく並列処理できるという特長を持っている。また、各プロセッサの負荷状況と実行状態（実行中及び実行を完了したジョブ群）を表示するモニター機能を持っており、粒度調整等の並列処理のチューニングが容易に行えるようになっている。
　ParaJETの負荷分散方式は、いわゆる要求駆動型の動的負荷分散である。Serverマシンのジョブプールにジョブ群を貯めておき、実際にジョブを実行する各Clientマシンは実行するジョブがなくなったら（又はなくなりそうになったら）、Serverマシンにジョブの要求を行い、Serverマシンはその要求によりジョブプールに貯めているジョブを1つ要求元のClientマシンに与える。なお、ServerマシンがClientマシンを兼ね、Serverマシンは負荷分散処理を行っていない間は自らもジョブの実行を行っても良い。

4.3 並列処理方式
　線量分布計算は、以下のように処理する（図8）。

図8　並列処理方式

• 予めParaJET及びPVMデーモンを起動しておく。
• 本システムの起動プログラムが、サーバ及びクライアント上に線量分布計算デーモン（Dose calculation）を起動し、ParaJETのジョブプール（Job pool of ParaJET）に、計算領域の分割数分のJob Supplierを格納する。なお、計算領域の分割数はプロセッサ数の定数倍とする。
• 線量分布計算デーモンは、計算領域（計算開始のRay番号と担当するRayの本数）をPVM通信により渡されると、その領域の線量分布計算を行うプログラムである。ただし、サーバでは、このプログラムはデータ収集プログラム（data collection）を兼ねている。つまり、線量分布計算の合間に定期的にクライアントから結果データが送られてきたかをポーリングして、データ収集を行う。
• 各Job Supplierは、担当する計算領域（Rayの開始番号と担当するRayの本数）をそれぞれ保持しており、それらを自プロセッサ上の線量分布計算デーモンに渡すプログラムである。このプログラムは、線量分布計算デーモンに担当する計算領域を通信ライブラリPVMにより通信して渡し、線量分布計算が終了したらPVM通信によりその通知を受け終了する。したがって、線量分布計算を行っている間（実際には処理を全く行わないが）生きているプログラムである。このプログラムをParaJETのジョブプールに格納することで， ParaJETによってアイドル状態の（仕事のない又は終了した）プロセッサ上に割り付けられる（Job supply）。そして、計算領域（Calculation area）がそのプロセッサ上の線量分布計算デーモンに渡される。
• 各プロセッサ上の線量分布計算デーモンは、計算領域を受け取るとその領域の線量分布計算を行い、計算結果をサーバへ送信する（Result collection）。その際、計算した領域のみデータ転送し、線量値も4バイトから2バイトに圧縮して転送する。
• サーバ上のデータ収集プログラムは、分割数分の計算結果を受け取ると、全クライアントの線量分布計算デーモンに終了を通知すると共に、結果をディスクに書き込んで終了する。

4.4 評価実験

4.4.1 計算モデル
　この実験で用いた線量分布計算の計算モデルは、256mm_256mm_200mmの水で満たされた直方体に直径40mmの球（球の媒質も水）があり、線源側に直径40mmのコリメータと球の表面に均一線量を照射するために半径20mmの半球状にくり貫かれた補償体（放射線吸収体）がある（図９）。計算の基となるCTデータ及び線量分布結果は、512_512_100ピクセルであり、1ピクセル4バイトで表現しているので、そのデータ・サイズは100Mバイトとなる。このモデルでの線量分布の計算結果の二次元表現は、図10のようになる（実際にはカラー表示）。治療計画においては、このような等線量分布表示は、患部のCT画像と重ね合せて表示される。

図9　計算モデル

　DRR計算の計算モデルは、線量分布計算の計算モデルとほとんど同じであるが、コリメータや補償体はDRR計算にとって不要なので削除してあり、また、照射方向により計算結果が変わるようにターゲットを半円柱（かまぼこ状）にしている。このモデルでのDRRの計算結果は図11のようになり、上部が薄く下部が厚いかまぼこ状になっているのが分かる。このDRR計算の結果は512_512の二次元データなので、そのサイズは1Mバイトと線量分布計算に比べて小さい。

図10　線量分布計算の計算結果

図11　DRR計算の計算結果

4.4.2 実行時間と速度向上率
　逐次実行と10台で並列実行したそれぞれの実行時間とその内訳を表１に示す。なお、これらの実行における計算領域の分割数は、線量計算が20で、DRR計算が40である。ここで、「入力」とはCT画像をファイルから読込む時間であり、 「出力」とは計算結果をファイルに書出す時間である。また、「初期化」とは照射領域のサイズを算出する初期化処理であり、「通信」は通信時間，、「計算」は計算時間である。なお、この通信時間は、計算結果をクライアントからサーバへ送信する時間だけであり、その他の並列制御のための通信時間は個々に計測できないため、「計算」の方に含まれている。これらの時間の中で、「入力」と「初期化」は全プロセッサで実行され、「出力」はサーバでのみ実行され、「通信」と「計算」のみが並列に実行される。そのため、「通信」と「計算」以外は、逐次実行と並列実行で同じ時間になっている。
　DRR計算の実行時間が線量分布計算よりかなり長くなっているのは、DRR計算ではCT画像の全領域を計算対象としているのに対して、線量分布計算では照射領域のみを計算対象としているからである。
　線量分布計算では、逐次で23.76秒かかっていた処理が10台並列実行で7.11秒になっているが、これは全実行時間であり、「計算」だけを見ると2秒である。したがって、通信時間を除いた速度向上率（並列実行による効果）は9.63倍になり、これは使用プロセッサ台数にほぼ等しいと言ってよい。DRR計算では、逐次で52.40秒かかっていた処理が6.85秒になっており、速度向上率は9.42倍である。これもほぼ使用台数に等しくなっている。したがって、動的負荷分散によるオーバヘッドはほとんどないと言ってよい。また、サーバが各クライアントに最初に計算領域を割り付ける部分が逐次化されているが、計測結果からは少なくとも10台程度までであれば、そのオーバヘッドはほとんどないと言える。

表1　実行時間（秒）とその内訳

図12　線量分布計算の速度向上率

図13　DRR計算の速度向上率

　実際の医療現場では，線源や照射機器情報を調整しながら何度か計算を繰り返す利用形態が多い。つまり、初期化以降（「計算」及び「通信」）が繰り返されると考えてよく、この部分の高速化が重要となる。図12及び図13にこの部分の使用プロセッサ台数毎の並列実行効果（逐次実行を基準にした速度向上率）を示す。両者とも、台数が増えるにしたがって線形に高速化されており、スケーラブルであると言える。すなわち、プロセッサ台数を増やせば更に高速化できる。DRR計算では、通信時間を含めた10台実行での速度向上率は9.12倍でありかなり良く、線量分布計算では7.14倍でDRR計算ほど良くない。これは、DRR計算の通信時間が計算時間の3%であるのに対し、線量分布計算では35%もあり、線量分布計算の結果のデータ量がDRR計算に比べてかなり多いため、通信時間が大きくなっているのが原因であると思われる。
　いずれにせよ、実際の医療現場で何度も繰り返し行われている処理が、これまで線量分布計算で約20秒、DRR計算で約50秒かかっていたものが、3秒〜6秒と端末の前で待っていられる時間まで短縮されたことは、非常に有意義であると言える。

5. 遠隔操作実験
　およそ30km離れた国立がんセンター東病院（がんセンター：千葉県柏市）と放射線医学研究所（放医研：千葉市稲毛区）の間で放射線治療計画を模擬した通信試験を行った。接続形態は、放医研に線量分布計算を行う並列クラスタを置き、約30Km離れたがんセンターに治療計画装置を置き、この間を商用のインターネット（通信仕様は1.5Mbps）で接続する。治療計画装置はファイヤウォールの内側であるがんセンター内のLANに設置し、並列クラスタは放医研のファイヤウォールの外側に設置する（図14）。治療計画装置は、外部へはアクセスできるが、外部からのアクセスはできない。一方、並列クラスタはファイヤウォールの外側に設置されているので、外部からのアクセスも外部へのアクセスも可能である。なお、がんセンター側のファイヤウォールの関係で、通信に用いることのできるプロトコルは、FTPのみである。

図14　放医研とがんセンターの接続形態

　放射線治療計画を模擬した試験として、がんセンターの治療計画装置で計算条件ファイルを作成し、CT画像と共に放医研へデータを送って、線量分布を放医研にある並列クラスタで計算し結果をがんセンターへ返す。そして、計算結果をがんセンターの治療計画計算機上でCT画像と重ね合わせて表示する。
　試験は、以下のような手順で行った。

　表２に実行時間の計測結果を示す。なおこの表で、“−”は状態ファイルの更新や読み込みの時間であり、その性質上、試験では経過時間の計測ができなかった。この計測結果から、以下のことが言える。

• 今回の試験では、インターネットを使用し、FTPによるファイル転送を用いたため、通信性能がかなり悪くなっている。実効性能として、1Mbps程度しか出ていない。並列クラスタでの処理は、半分以上がファイルI/Oの時間となっている。
• 個々のフェーズの実行時間を総計した時間と、開始から終了まで実測した時間の差（(2)−(1)）が約14秒となっている。これは、恐らく、状態ファイルの更新・取得の時間と考えられる。状態ファイルのサイズは非常に小さいので、状態ファイルの更新・取得の1回当たりの時間は、1秒以下であることが別計測で分かっている。しかし、状態ファイルの更新・取得を2回連続して実行した時の時間は、5秒以上と増大していた。恐らくこれは、FTPの終了（陰での後始末）に時間を要していると考えられ、2回目のFTPの起動がその前のFTPの終了処理が終わるまで開始できないためであると思われる。従って、FTPを使って定期的な監視を行うことは、非常に効率が悪いと言える。

　以上のことから、仮により高速なネットワークを使用し、ファイル転送ではなくメモリ間転送を行えば、かなり高速化できると言える。例えば、試験に使用したインターネットより100倍高速なネットワーク（実効性能が100Mbps）を使用し、PVMなどを用いてファイルを介さずメモリ間転送で通信するとすると、全体の実行時間は表２の右側のようになる。なお、第II期の最後には、専用の高速ネットワーク（通信仕様は622Mbps）を用いた実験を予定している。

• CTデータの転送は、ネットワークが高速化されるので圧縮せずに送る。CTデータは圧縮することによりデータサイズが半分になっているので、圧縮しない場合のデータ転送時間は1/50（2*1/100）となる。また、データ圧縮、伸長の時間は0となる。
• パラメータファイルの転送時間は、1/100となる。
• メモリ間転送を行うので、CT画像読み込み及び線量分布ファイルの出力時間は0となる。
• 線量分布計算結果は、圧縮することによりデータサイズが1/20になっているので、圧縮しない場合のデータ転送時間は1/5（20*1/100）となる。同様に、データ圧縮、伸長の時間は0となる。

　 これにより、全実行時間が316秒から95秒に短縮される。この時間の内、治療計画装置上の処理時間は76秒であり、約8割が表示に係わる処理となる。表示に関しては、今後高速化できる余地がかなり残されていると思われる。
　実際の治療計画においては、CTデータを一旦転送しておき、照射方向やターゲットサイズを何度も変更しながら線量計算が繰り返される。その繰り返されるCTデータ転送後の時間を見てみると、治療計画装置上の処理時間は60秒であり、線量計算の時間が9秒強であることから、ネットワークが高速化されることにより、通信時間はほとんど無視できる程度の時間となっている。

表2　計測時間結果

6. 米国における研究状況
　米国においても、線量分布計算の高速化や高速ネットワークを用いた遠隔治療計画の研究開発が行われている。

6.1 ワシントン大学
　1993年ころからワシントン大学で、トランスピュータを用いた線量分布計算の並列処理研究が行われている[2]。[2]では、Rayを分割して並列化するのではなく、三次元CT画像の方を分割して並列化している。その理由は、Rayを分割する方式では、CT画像を全てのプロセッサで保持する必要があるからと述べている。しかし、パラメータを変えながら何度も繰り返される処理部分を高速化すれば良いので、一旦CT画像を各プロセッサに転送してしまえば、何度も繰り返される処理においては，CT画像の転送は不要である。
　また、[2]では、プロセッサの境界でRay上の計算点の計算結果を隣接プロセッサに送信する必要があり、従来の逐次方式からの変更も大きくなる。一方、先に述べた方式では、1本のRay上の計算は従来の逐次方式（プログラム）をそのまま利用できるという利点がある。また、計算結果は最後に1度だけ圧縮して送信すれば、それほど大きなオーバヘッドになっていないことが、計測結果から確認できた。

6.2 VISTANET
　こちらも1993年頃から、ノースカロライナ大学でCRY-YMPを用いて線量分布計算の並列処理研究が行われている[3]。本研究においても、ギガビットレベルの高速ネットワークを用いた遠隔実験を行っている。

6.3 PEREGRINE
　Lawrence Livermore国立研究所により、商用のx86プロセッサボードを複数毎small private networkで接続して、線量分布計算を高速化している（図15）。

7. まとめ
　以上、高速ネットワーク環境下における高度医療アプリケーションについて、報告した。今後、ネットワークはますます高速化され、医療アプリケーションも高度化されていくので、この種の研究の重要性はますます高くなると思われる。

図15 PEREGRINE