日本舞踊でも漫才・落語でも、名人といわれる人は、そうでない人とどこか違う。ちょっとした「間」の取り方、「仕草」の微妙な違いなどとよく言われるが、言葉で説明するのは大変むずかしく、“第６感”で感じ取るしかないとされる。ましてや、データで示すなんて不可能と思われてきた。京都大情報学研究科の松山隆司教授は「人が持っている感性（時間感覚）を情報処理できれば、踊りや演劇、話芸など無形文化財の記録・分析に役立つだけでなく、将来は人と人のコミュニケーションの本質や、国・民族による文化の違いを理解することにもつながるかもしれない」と話す。

話と仕草が絡み合い織りなす人の会話

漫才は、ボケとツッコミが互いに話をオーバーラップさせながら盛り上げていく。オーバーラップさせるタイミング、いわゆる「間」を分析すると、相手の話に肯定的反応・同意をするときは返事を早め、否定的反応・不同意のときは遅らせていた。オーバーラップの程度は漫才コンビによって違い、同じコンビでも漫才の最初とヤマ場では異なった。落語では、顔の向きを左右に切り替えることで一人二役をするが、顔の向きを変えるタイミングはやはり肯定的反応・同意をするときの方が早かった。

漫才でも落語でも、相手の話に肯定的反応・同意をするときは返事を早め、否定的反応・不同意のときは遅らせていた。

表情の変化も、口、鼻、眉毛、目の動きをそれぞれ複数のパターン（たとえば口なら、閉じている、閉じ続けている、開いていく、開いている）に分けて分析したところ、自然な笑いと作り笑いでは、動き出すタイミングが少しずつずれるので、作り笑いと分かるという。

「日常会話でも人間はこうしたことをやっていて、たとえば相手に顔を向けて話をする場合、不同意のときは返事が遅くなる。作り笑いは直感的にタイミングのずれを感じるのだろう。人間の会話は、話と仕草が互いに絡み合い、織りなしていく。問い・答えの繰り返しで、オーバーラップさえできない今のコンピューターには、人間と本当のコミュニケーションはできないということです」

同じ音楽の曲でも演奏者によってまったく違って聞こえるのは、演奏家によって異なる時間感覚（テンポや「間」）で解釈して演奏しているからだという。

自然な笑い（右）と作り笑い（左）では、目、鼻、口が動き出すタイミングが少しづつずれるので、人間は直感的に判別できるらしい。

３次元ビデオを駆使し「仕草」の違いを見る

人間の「仕草」の微妙な違いは、３次元ビデオを使い調べている。撮影対象を取り囲むように配置した多数のカメラで、撮影。それらの画像をもとに、小さな立方体の集まりとしての３次元映像（ボクセルデータ）を作成、その表面に小さな三角形（メッシュ）を張り、着色し質感を持たせる。動画をつくるには、こうした処理を繰り返せばいい。

「３次元ビデオはあらゆる位置、方向からの画像を瞬時に作成し、さらに必要に応じて自在にアップにしたり、ロングにできる。また、顔の部分だけを抽出して、演じている人の視線の方向を割り出すこともできます」

３次元ビデオの生成過程。撮影対象を取り囲むように配置した多数のカメラで、撮影。それらの画像をもとに３次元映像を作成、表面に貼り付けた三角形（メッシュ）によって精度を上げ、着色し質感を持たせる。

たとえば、踊っている舞妓さんが、曲のどんな場面で手足や目をどんな風に動かしているか、「仕草」をあらゆる角度から細かく分析することができる。人間国 宝やオリンピック選手の動作を記録、演者の意図や意味の説明と一緒に保存すれば、無形文化財の保存につながるだけでなく、あらゆる角度から「手本」と比較 しながらトレーニングしたりできるという。

舞妓さんによる日本舞踊を編集した３次元ビデオ。

文化研究の新時代、“モノ”から“コト”へ

「人間の文化のうち建築や仏像のような“モノ”の研究は進んできましたが、踊りや話芸のような“コト”（イベント）の研究はこれから。こうした無形文化財は理屈で理解するものでなく、“第６感”で感じるものです。なぜなのか。人間にとって時間とは、連続的で数値化できる物理的時間ではなく、不連続なイベントの順番の主観的時間だからではないか。こう考えています。もし２つの時間を統合した理論ができれば、コンピューターと時間感覚を共有し、本当のコミュニケーションができるかもしれませんね」