2017年06月: Vrai Blog

TOP | 2017年07月 >>

2017年06月25日

MocuMocuDance Ver.0.80

MocuMocuDance Ver.0.80公開しました。

今回の更新内容は、以下の通りです。

疑似ＡＲ表示機能に過去の画像をキャッシュして表示するモードを追加しました。
PMXファイルにQDEFのデータがあると読み込みに失敗する問題を修正しました。

posted by 妹尾雄大 at 20:03| Comment(0) | MocuMocuDance |

2017年06月20日

[Unity] Viveフロントカメラで疑似ＡＲ表示を実装する方法

HTC Viveのフロントカメラの映像を、カメラの向きと画角を考慮して配置したビルボードポリゴンに表示する方法をご紹介したいと思います。

まず、新規プロジェクトを作成し、アセットストアからSteamVR Pluginをインポートし、「Assets/SteamVR/Prefabs/[CameraRig]」をHierarchyに追加します。

また、Unity 5.6ではViveコントローラが認識しないので、「Camera (eye)」に「SteamVR_UpdatePoses」をアタッチします。

詳しくは、以下のサイトを参考にして下さい。

Unity＋HTC Vive開発メモ - フレームシンセシスさん

まず、不要なので「Main Camera」を削除します。

次に、スクリーンを表示するための「3D Object/Quad」を[CameraRig]の下に作成します。とりあえず名前を「ARScreen」に変更します。

「Mesh Collider」は不要なので削除します。

「Mesh Renderer」の「Light Probes」「Reflection Probes」「Cast Shadows」「Receive Shadows」は不要なのでオフにします。

「ARScreen」に「Assets/SteamVR/Extras/SteamVR_TestTrackedCamera.cs」を追加し、「Material」に「Assets/SteamVR/Extras/Assets/SteamVR/Extras/SteamVR_TestTrackedCamera.mat」を設定し、「Target」に自分自身の「ARScreen」を設定します。

また、「Materials」の「Element 0」にも同じマテリアルを設定します。

次に、「Assets/SteamVR/Extras/SteamVR_TestTrackedCamera.cs」を開き、コードを書き替えます。直接編集するのが嫌な場合はコピーしてから書き替えて下さい。

「SteamVR_TestTrackedCamera」クラスの最後に、以下のメソッドを追加します。

// プロジェクションのスケールを取得する
static Vector2 GetProjectionScale(SteamVR_TrackedCamera.VideoStreamTexture source)
{
    Valve.VR.CVRTrackedCamera trackedCamera = Valve.VR.OpenVR.TrackedCamera;
    if (trackedCamera == null) return Vector2.one;

    // スケール値を取得するだけなので、Near/Farの値は何でも構わない
    const float Near = 1.0f;
    const float Far = 100.0f;
    Valve.VR.HmdMatrix44_t ProjectionMatrix = new Valve.VR.HmdMatrix44_t();

    if (trackedCamera.GetCameraProjection(source.deviceIndex, source.frameType, Near, Far, ref ProjectionMatrix) !=
        Valve.VR.EVRTrackedCameraError.None)
    {
        return Vector2.one;
    }

    return new Vector2(ProjectionMatrix.m0, ProjectionMatrix.m5);
}

次に、Update()メソッドの、

target.localScale = new Vector3(1, 1.0f / aspect, 1);

// Apply the pose that this frame was recorded at.
if (source.hasTracking)
{
    var t = source.transform;
    target.localPosition = t.pos;
    target.localRotation = t.rot;
}

この部分を、

// Apply the pose that this frame was recorded at.
if (source.hasTracking)
{
    const float ProjectionZ = 1.0f;
    Vector2 ProjectionScale = GetProjectionScale(source);
    Vector2 LocalScale = new Vector2(2.0f * ProjectionZ / ProjectionScale.x, 2.0f * ProjectionZ / ProjectionScale.y);

    target.localScale = new Vector3(LocalScale.x, LocalScale.y, 1.0f);

    //
    var t = source.transform;
    target.localPosition = t.TransformPoint(new Vector3(0.0f, 0.0f, ProjectionZ));
    target.localRotation = t.rot;
}

このように書き替えてビルドします。

この段階で実行すると、視界のやや下にカメラ映像のスクリーンが表示されると思います。

ただ、この状態だと、スクリーンより向こう側にあるオブジェクトが隠れて見えなくなるので、専用のシェーダを作成します。

とりあえず、「Assets」のルートで右クリックし、Create→Shader→Unlit Shaderを選択します。とりあえず、シェーダファイルの名前を「ARBackground」に変更しておきます。

その「ARBackground.shader」を開き、１行目を、

Shader "Custom/ARBackground"

に書き替え、Tagsブロックを、

Tags { "RenderType"="Opaque" "Queue"="Background" }

このように書き替え、Passブロックの先頭に、

Pass
{
ZWrite Off

CGPROGRAM

このように「Zwrite Off」を追加します。

ビルドして再びUnityに戻り、「ARScreen」の「SteamVR_TestTrackedCamera」の「Shader」を「Custom/ARBackground」に変更します。

「ARScreen」のインスペクタは最終的にこのようになります。