• 小
  • 中
  • 大
  • 標準
  • 青
  • 黄
  • 黒
診断と評価
  • TOP >>
  • 診断と評価 >>
  • ビデオ撮影画像からのoptical flowを利用したコンピューター解析による表情運動評価システム
東京歯科大市川総合病院サイト

ビデオ撮影画像からのoptical flowを利用したコンピューター解析による表情運動評価システム(FEMAS)

顔面神経麻痺の定量的評価法
(図4)顔面神経麻痺の定量的評価法

前述した従来の客観的方法は、手間の煩雑さ、長い検査時間、高価な機材などの理由で、日常診療で簡便に行なうのは難しく未だ実用化には至っていません。

私達は臨床現場で実用可能で、簡便,低コスト,客観性のある評価法として、ビデオ撮影画像からのoptical flowを利用したコンピューター解析による表情運動評価システム(FEMAS)を、慶応義塾大学理工学部南谷研究室(南谷晴之教授)と共同で開発し臨床に応用してきています(図4)。

(1)optical flowによる評価法の概説

Optical flow とは
(図5)Optical flow とは

optical flowとは動画像処理の1手法であり、動画像中の輝度値を持った運動物体における移動速度ベクトルです。

その算出法にはパターンマッチング法と画素濃度勾配法があります。

マッチング法は2枚の連続する動画像間の特徴点の対応付けを調べることにより,領域に注目してoptical flowを求める手法であり、顔面にマーカーを貼付するマーカー法は本手法を用いています。

私達のシステムで用いている画素濃度勾配法は、時空間画像の輝度の傾きから速度場を求める手法です。画素濃度勾配法によるoptical flowの算出は、画素の輝度値は時間的に普遍という仮定のもとに、時空間編微分演算を行って求めます。そこで、本システムにおいては、optical flowは画像の濃淡値の変化を利用し、時間を追って各画素を追跡した運動軌跡ともいえます。

optical flowの推定は動画像処理において重要な位置を占めており,コンピュータビジョン,微少循環での流体計測,医療技術などの様々な分野に応用されています。
(図5)。

(2)表情運動のビデオによる撮影方法

撮影方法と撮影装置
(図7)撮影方法と撮影装置
6種類の表情運動
(図6)6種類の表情運動

撮影方法は、頭の動きによる誤差を防ぐために、できるだけ座位の被験者の頭部を固定します。

そして顔面へのマーカー貼付などはせず、市販のデジタルビデオカメラを用いて、基本的には顔面神経の各分枝の運動を考慮した6種類の表情運動(眉毛挙上、軽閉眼、強閉眼、口唇挙上、口唇突出、口唇下垂)(図6)を、各々で安静状態より最大運動まで撮影します。サンプリングは1秒間に30フレームを取得します。

奥行きへの表情運動も考慮した三次元的評価を行なう場合には、顔側面の表情運動を鏡像によって可視化すべく顔の左右両側に鏡を設置した、独自に開発・作成した頭部固定装置にて頭部を固定し、両側の鏡像と正面像を同時に撮影しています(図7)。

また、optical flowの算出結果の誤差要因となる、蛍光灯の下での撮影による光の反射や影を無くすために、必要に応じて拡散光源をビデオカメラ自体につけて撮影しています。

被験者とデジタルビデオカメラの距離は約1mとしています。

(3)システムによる表情運動の解析方法

解析方法
(図8)解析方法

撮影した動画像をパソコンに取り込み、安静時から最大運動時までの約10フレーム前後の静止画に分割した後、解析プログラムへ入力しoptical flowを算出します(図8)。

算出した画素単位のoptical flowは、被験者顔面の安静時の撮影画像上に、髭のような線分として、上下左右4方向が別の色でオーバーレイ表示されます。これにより顔表情運動は視覚的・定性的に評価が可能となります。

さらに、optical flowを顔面の領域別で評価するために、まず評価したい任意の顔面部分にマウスによる操作にて矩形ウインドウを設定します(同時に4個まで設定可能)。これによりウィンドウ内の平均optical flowが自動的に算出され、ウィンドウ内の平均移動量が求められます。

ウィンドウ内の平均移動量は、ウインドウ内の中心座標を起点として赤線分で表示され、また各ウインドウの平均移動量が垂直、水平方向の時系列データとして定量化され表示されます。そして左右の同一領域のウィンドウ内の平均移動量より算出した左右比を表す麻痺評価指標も表示されます。

麻痺評価指標としては、左右の同一領域のウィンドウ内の平均移動量の垂直と水平方向での左右差を各々、上下シンクロ率と左右対称率と表示しています。さらに、上下シンクロ率と左右対称率より計算した、左右ウィンドウ内の平均移動量の対称性をスコア値として表示しています。

これらの任意に設置したウィンドウ内の平均移動量の時系列データ、左右の同一領域のウィンドウ内の平均移動量より求めた麻痺評価指標などを用いて、表情運動の領域別の定量的評価を行ないます。

optical flow算出結果の表示画面
(図9)optical flow算出結果の表示画面
(健常被検者の口唇挙上運動を評価)

(図9): optical flow算出結果の表示画面
(健常被検者の口唇挙上運動を評価)

optical flowは画素単位で安静時の撮影画像上にオーバーレイ表示され、任意に設置した4個のウィンドウ内の平均移動量の上下・左右方向別の時系列データ、左右同一領域のウィンドウ内の平均移動量より求めた麻痺評価指標(上下シンクロ率と左右対称率、スコア値)も表示されます。

左側顔面神経麻痺: 口唇挙上運動の評価
(図10)左側顔面神経麻痺: 口唇挙上運動の評価
(鏡像に2個のウィンドウを設置して評価)

(図10):
左側顔面神経麻痺: 口唇挙上運動の評価
(鏡像に2個のウィンドウを設置して評価)

左側にはoptical flowが殆ど見られず、視覚的、定性的に左側の強度な麻痺が確認できます。平均移動量の上下・左右方向別の時系列データ、左右同一領域のウィンドウ内の平均移動量より求めた麻痺評価指標より、左側の口唇挙上運動は健側に比べて非常に弱く、ほぼ完全麻痺であることが分かります。

右側顔面神経麻痺
(図11)右側顔面神経麻痺:
右側頬部への遊離筋移植後の口唇挙上運動の評価

(図11):右側顔面神経麻痺:
右側頬部への遊離筋移植後の
口唇挙上運動の評価

正面像と鏡像に設置した4個のウィンドウ内の平均移動量の上下・左右方向別の時系列データ、左右同一領域のウィンドウ内の平均移動量より求めた麻痺評価指標より、患側(右側)への筋移植後の口唇挙上運動は、健側(左側)とほぼ同等の動きをしていることが分かります。

(4)システムの特徴

システムの特徴
(図12)システムの特徴

本システムの特徴は、画像取得にマーカー貼付や特殊機器を用いることなく、単にビデオカメラで撮影するだけの簡便な方法で日常診療において施行可能であり、解析は1表情あたり数分ででき、局所における微細な動きの変化を定性的・定量的に評価し検討することが可能な点などであり、顔面神経麻痺治療(神経再建、動的再建術、ボツリヌストキシン療法)などの評価法に適しています(図12)。

(5)文献

  1. 南谷晴之、星野佳彦、川野奈津子、飯島敦彦、田中一郎、中島龍夫:Optical Flow法による顔面神経麻痺再建手術の術後評価、Facial Nerve Research Jpn 23、55-57, 2003
  2. 田中一郎、南谷晴之、星野佳彦:Optical Flowを利用した顔面神経麻痺治療の定量的評価法―顔面神経麻痺による口唇変形に対するボツリヌストキシン治療評価への応用―、Facial Nerve Research Jpn  24、75-77, 2004
  3. 南谷晴之、田中一郎:顔表情運動解析システムFEMAS-1の使用経験:顔面麻痺評価における信頼性と有用性、Facial Nerve Research Jpn  24、78-80, 2004
  4. 田中一郎、南谷晴之、國弘幸伸、中島龍夫:コンピュータ画像の動的解析による顔面神経麻痺治療経過の定量的評価法.PAPERS.3:59-68, 2005
  5. 田中一郎、南谷晴之:Optical Flowを利用した顔面表情運動の三次元的・定量的評価法.Facial Nerve Research Jpn.25:64-66, 2005
  6. 田中一郎、佐久間 恒、大城貴史、大西文夫、中島龍夫、南谷晴之、蒲ひかり:陳旧性顔面神経麻痺に対する分割腹直筋を利用した動的再建とコンピュータ解析による表情運動の定量的評価法 日本マイクロサージャリー学会誌 19(1),13-26, 2006.03
  7. 南谷晴之、田中一郎:顔表情マルチビュー解析による顔面神経麻痺の診断、Facial Nerve Research 26, 61-63 , 2006
  8. 田中一郎、南谷晴之:顔表情・顔面麻痺解析システムFEMAS-1の評価スコアと麻痺度の関係、Facial Nerve Research Jpn 27,163-166, 2007
  9. 南谷晴之、田中一郎、中島龍夫:鏡一体型の頭部固定装置を用いたOptical Flowによる顔表情の三次元的定量的評価法.Facial Nerve Research Jpn. 27: 167-169, 2007
  10. Ichiro Tanaka, Tatsuo Nakajima, Haruyuki Minamitani:Computer based three-dimensional assessment of facial movement by optical flow after treatment of facial palsy, Proceedings of the IV Congress of the World Society for Reconstructive Microsurgery ,127-131, MEDIMOND, Bologna,2007
  11. 田中一郎、佐久間恒、中島龍夫、南谷晴之:陳旧性顔面神経麻痺に対する各種治療法・術式の検討とビデオ画像からのコンピュータ解析による表情運動定量的評価法.頭頚部癌.34: 280-286, 2008
  12. 田中一郎、南谷晴之、佐久間恒、清水雄介:神経修復に関わる診断・検査法 顔面神経 - 顔面神経麻痺に対する神経再建の術前診断・術後機能評価 -、PEPARS 78, 1-7, 2013
  13. 田中一郎:ビデオ画像からのコンピュータ解析による、Optical Flow法を用いた顔面神経麻痺の三次元的定量的評価法、Facial Nerve Research Jpn 34,48-50, 2013
  14. 田中一郎:ビデオ画像からのコンピュータ解析によるOptical Flow法を用いた、病的共同運動の評価法、Facial Nerve Research Jpn 35,56-58, 2014