【ITニュース解説】VRChatで２次元の嘘を再現するシェーダーを書いてみた話

VRChat向けの技術展示用シェーダー「八方美人シェーダー」は、3D空間でアニメや漫画に見られる「2次元の嘘」を再現する試みだ。この「2次元の嘘」とは、例えばアニメキャラクターの目が、どの角度から見ても常にこちらを向いているように見えるといった表現を指す。2Dのイラストでは当たり前の表現だが、これをそのまま3Dモデルに適用しようとすると、視点の変化によって不自然に見えたり、違和感が生じたりすることが多い。このシェーダーは、この課題を解決し、3Dモデルが持つ自然な立体感を保ちつつ、見る角度によってキャラクターの見た目を巧みに変化させることで、「2次元の嘘」を成立させている。

まず、シェーダーとは何かを理解する必要がある。シェーダーは、3Dグラフィックスにおいて、物体の色や光の当たり方、形状の見え方などを計算し、画面に描画するための小さなプログラムのことだ。GPU（Graphics Processing Unit）という、グラフィック処理に特化した高速な演算装置上で実行される。シェーダーには主に二つの種類がある。一つは「頂点シェーダー」で、3Dモデルを構成する各頂点（点）の位置や向きを計算し、モデルの形状を決定する役割を持つ。もう一つは「フラグメントシェーダー」（またはピクセルシェーダー）で、最終的に画面に表示されるピクセル一つ一つの色を計算する役割を持つ。今回の「八方美人シェーダー」では、これらのシェーダーの機能を駆使して「2次元の嘘」を実現している。

なぜ3Dで「2次元の嘘」の再現が難しいのか。3Dモデルは、現実世界と同じように三次元空間に存在するため、見る角度によって立体的な形状が変化し、遠近感も生じる。例えば、顔が横を向くと、目は当然横を向き、奥行きのある形状として認識される。しかし、アニメのキャラクターは、顔が多少横を向いていても、目はまるでカメラに正対しているかのように描かれていることが多い。この表現を3Dモデルで単純に再現しようとすると、目が常にカメラに張り付いているような不自然な印象を与えたり、モデルの頭の向きと目の向きが一致せず、破綻した見た目になったりするのだ。

「八方美人シェーダー」は、この問題を解決するためにいくつかの技術的なアプローチを取っている。その中心にあるのは、見る人の視点（カメラ）とキャラクターモデルの向きの関係性を常に計算し、それに基づいてモデルの見た目を動的に変化させるという考え方だ。

具体的な実装方法の一つは、「視線に応じてテクスチャを切り替える、またはブレンドする」というものだ。シェーダーは、カメラからモデルの頭部への方向ベクトルと、モデルの正面方向へのベクトルを比較する。これらのベクトル間の角度に基づいて、あらかじめ用意された複数の目のテクスチャ（例えば、正面を向いている目、少し横を向いている目など）の中から最適なものを選び、モデルに適用する。さらに、ただ切り替えるだけでなく、角度に応じて複数のテクスチャを滑らかに混ぜ合わせる「ブレンド」処理を行うことで、見た目の変化が急激で不自然にならないように工夫している。

もう一つの重要なアプローチは、「視線に応じてモデルの形状を歪ませる、または変形させる」ことだ。これは主に頂点シェーダーで行われる処理で、モデルを構成する頂点の一つ一つを、カメラからの視線に合わせて移動させる。例えば、キャラクターの顔が横を向いたときに、目の部分の頂点を手前に引き出したり、目の横幅を広げたりすることで、見る人からはあたかも目が正面を向いているかのように錯覚させる。この形状の変形も、視線とモデルの角度差に基づいて計算され、滑らかに適用される。この技術により、ただテクスチャを変えるだけでなく、実際にモデルの立体的な印象を変化させることができるため、より自然な「2次元の嘘」が実現可能になる。

これらの計算では、座標系の理解が不可欠だ。3Dグラフィックスには、モデル自身の位置や向きを定義する「モデル座標系」、世界全体の基準となる「ワールド座標系」、そしてカメラ（視点）の位置を基準とする「ビュー座標系」（カメラ座標系とも呼ばれる）などが存在する。シェーダー内でカメラからの視線とモデルの向きを比較するためには、これらの異なる座標系間でのベクトル変換が必要になる。例えば、モデル座標系で定義されたモデルの正面方向ベクトルをワールド座標系に変換し、ワールド座標系で定義されたカメラの位置からモデルへのベクトルと比較するといった処理だ。

さらに、変化を滑らかにするために「球面補間（Slerp）」のような数学的な手法が用いられる。Slerpは、二つのベクトルの間の回転を補間する際に、角度に応じて線形に変化させるのではなく、球面上の最短経路に沿って滑らかに補間する技術だ。これにより、目のテクスチャの切り替えやモデルの形状変形が、ある角度から別の角度に急にジャンプするのではなく、途中の状態を自然に表現できるため、より破綻の少ない見た目を実現できる。

また、見た目の立体感を維持するためには、モデルの光の当たり方、つまり「シェーディング」も重要になる。シェーディングは、モデルの表面の向き（法線ベクトル）と光源の方向、カメラの方向に基づいて計算される。モデルの形状を変形させると、本来の法線ベクトルも変わってしまうため、適切なシェーディングを維持するために法線ベクトルも動的に調整する工夫が施されている。これにより、変形したモデルであっても、光の当たり方が自然に見え、平面的な印象になるのを防ぐことができる。

VRChatのようなプラットフォームでは、パフォーマンスの最適化も重要となる。複雑すぎるシェーダーは動作が重くなり、ユーザー体験を損ねる可能性があるため、この「八方美人シェーダー」も、見た目の効果と計算コストのバランスを考慮して設計されている。UnityのShader Graphのようなビジュアルプログラミングツールを利用することで、シェーダーのロジックを直感的に構築し、同時にHLSL（High Level Shading Language）といった実際のシェーダー言語が裏側で生成されるため、効率的な開発が可能となる。

この「八方美人シェーダー」は、単に3Dモデルを動かすだけでなく、見る人の視点というインタラクティブな要素を取り入れ、従来の3Dグラフィックスでは難しかったアニメ的な表現を可能にしている。システムエンジニアを目指す初心者にとって、これはシェーダーが単なる色塗りのプログラムではなく、モデルの形状、光の当たり方、さらには表現の根幹に関わる高度な処理を実現する強力なツールであることを示している。ベクトル計算、座標変換、補間といった数学的知識が、実際にどのように視覚表現に結びつくのかを具体的に理解する良い事例となるだろう。