面向开发人员的混合现实捕获 (DirectX)

在开始之前，建议阅读混合现实捕获概述一文。

从 PV 相机渲染（选择启用）

HoloLens 2 针对沉浸式应用添加了当混合现实捕获正在运行时，从 PV 相机渲染的功能。 若要确保应用正确支持附加渲染，必须选择启用此功能。

与默认 MRC 体验相比，从 PV 相机渲染提供了以下改进：

• 在近距交互时，全息影像与物理环境和手部的对齐状态在所有距离处都应准确。 避免像在默认 MRC 中那样，在除焦点外的距离发生偏移。
• 头戴显示设备中的右眼不会受到影响，因为它不会用于渲染 MRC 输出的全息影像。

执行三个步骤启用从 PV 相机渲染：

1. 启用 PhotoVideoCamera HolographicViewConfiguration
2. 处理附加 HolographicCamera 渲染
3. 验证着色器以及代码是否从其他 HolographicCamera 正确渲染

在 DirectX 中启用 PhotoVideoCamera HolographicViewConfiguration

若要选择加入从 PV 相机呈现，应用只需启用 PhotoVideoCamera 的 HolographicViewConfiguration：

var display = Windows.Graphics.Holographic.HolographicDisplay.GetDefault();
var view = display.TryGetViewConfiguration(Windows.Graphics.Holographic.HolographicViewConfigurationKind.PhotoVideoCamera);
if (view != null)
{
    view.IsEnabled = true;
}

在 DirectX 中处理其他 HolographicCamera 呈现

当应用选择加入从 PV 相机呈现时，混合现实捕获开始：

1. 将引发 HolographicSpace CameraAdded 事件。 如果应用目前无法处理相机，此事件会发生延迟。
2. 事件完成且无明显延迟后，HolographicCamera 将显示在下一个 HolographicFrame 的 AddedCameras 列表中。

当混合现实捕获停止（或者应用在混合现实捕获运行时禁用视图配置）时：HolographicCamera 将显示在下一个 HolographicFrame 的 RemovedCameras 列表中，并且将引发 HolographicSpace CameraRemoved 事件。

已将 ViewConfiguration 属性添加到 HolographicCamera，以帮助确定相机所属的配置。

验证着色器与代码是否支持其他相机

运行混合现实捕获并检查对齐异常、内容缺失或性能问题。 根据情况更新着色器和代码。

如果某些场景不支持在其他相机呈现，可以禁用 PhotoVideoCamera HolographicViewConfiguration。

在应用中禁用 MRC

2D 应用

2D 应用可以通过以下方式选择在混合现实捕获运行时遮挡其视觉内容：

• 提供 DXGI_PRESENT_RESTRICT_TO_OUTPUT 标志
• 使用 DXGI_SWAP_CHAIN_FLAG_HW_PROTECTED 标志创建应用的交换链
• 安装 Windows 10 2019 年 5 月更新来设置 ApplicationView 的 IsScreenCaptureEnabled

沉浸式应用

沉浸式应用可以通过以下方式选择从混合现实捕获中排除其视觉内容：

• 设置 HolographicCameraRenderingParameter 的 IsContentProtectionEnabled 以禁用其关联帧的混合现实捕获
• 设置 HolographicCamera 的 IsHardwareContentProtectionEnabled 以禁用其关联全息相机的混合现实捕获

密码键盘

在 Windows 10 2019 年 5 月更新中，当显示密码键盘或固定键盘时，会自动从混合现实捕获中排除视觉内容。

了解 MRC 何时处于活动状态

应用可以使用 AppCapture 类来了解何时运行系统混合现实捕获（针对音频或视频）。

从应用内部集成 MRC 功能

混合现实应用可以从应用内部启动 MRC 照片或视频捕获，捕获的内容可供应用使用，而无需存储到设备的“相机交卷”中。你可以创建自定义 MRC 录制器，或利用内置的相机捕获 UI。

具有内置相机 UI 的 MRC

开发人员可以使用相机捕获 UI API 获取用户捕获的混合现实照片或视频，只需几行代码即可。

此 API 启动内置的 MRC 相机 UI（用户可以在其中拍摄照片或视频），并将生成的捕获返回到应用。 如果你需要添加自己的相机 UI 或用于捕获流的较低级别访问权限，可以创建自定义混合现实捕获录制器。

带有屏幕捕获的 MRC

借助 HoloLens 2 2021 年 5 月更新（Windows Holographic 版本 21H1 内部版本 20346.1002），开发人员可以使用屏幕捕获 API 请求混合现实视频帧流。

创建自定义 MRC 录制器

虽然用户始终可以使用系统 MRC 捕获服务触发照片或视频捕获，但应用程序可能需要构建自定义相机应用，该应用与 MRC 类似，在相机流中包括全息影像。 这样，应用程序可以启动用户输入的捕获、生成自定义录制 UI 或自定义 MRC 设置，仅举几例。

HoloStudio 使用 MRC 效果添加自定义 MRC 相机

其他应用程序可以通过使用 Windows 媒体捕获 API 来控制相机，并添加 MRC 视频和音频效果，以在静止和视频中包括虚拟全息影像和应用程序音频。

应用程序有两种方式来添加效果：

• 旧版 API：Windows.Media.Capture.MediaCapture.AddEffectAsync()
• Microsoft 建议的新 API（返回对象，使其可以操作动态属性）：Windows.Media.Capture.MediaCapture.AddVideoEffectAsync() / Windows.Media.Capture.MediaCapture.AddAudioEffectAsync()，要求应用创建自己的 IVideoEffectDefinition 和 IAudioEffectDefinition 实现。 有关示例，请参阅 MRC 示例应用。

MRC 视频效果 (Windows.Media.MixedRealityCapture.MixedRealityCaptureVideoEffect)

MRC 音频效果 (Windows.Media.MixedRealityCapture.MixedRealityCaptureAudioEffect)

同时 MRC 限制

当多个应用同时访问 MRC 时，需要注意某些限制。

照片/视频相机访问

在 HoloLens 1 上，当进程录制视频或拍摄照片时，MRC 将无法捕获照片或视频。 反之亦然：如果 MRC 正在运行，应用程序将无法访问相机。

使用 HoloLens 2，可以共享对相机的访问权限。 如果不需要直接控制分辨率或帧速率，可以将 SharedMode 属性与 SharedReadOnly 结合用于初始化 MediaCapture。

内置 MRC 照片和视频相机访问

Windows 10 中内置的 MRC 功能（通过 Cortana、“开始”菜单、硬件快捷方式、Miracast、Windows 设备门户访问）：

• 默认使用 ExclusiveControl 运行

但是，MRC 子系统中增加了在共享模式下运行的支持：

• 如果应用请求对照片/视频相机进行 ExclusiveControl 访问，则内置 MRC 将自动停止使用照片/视频相机，以便应用请求获得成功
• 如果内置 MRC 在应用具有 ExclusiveControl 时启动，则内置 MRC 将在 SharedReadOnly 模式下运行

此共享模式功能存在一些限制：

• 通过 Cortana、硬件快捷方式或“开始”菜单访问照片：需要 Windows 10 2018 年 4 月更新（或更高版本）
• 通过 Cortana、硬件快捷方式或“开始”菜单访问视频：需要 Windows 10 2018 年 4 月更新（或更高版本）
• 通过 Miracast 流式传输 MRC：需要 Windows 10 2018 年 10 月更新（或更高版本）
• 通过 Windows 设备门户或 HoloLens 伴侣应用流式传输 MRC：需要 HoloLens 2

开发人员的 MRC 访问权限

建议在使用 MRC 时始终请求相机的独占控制。 这可确保应用程序可以完全控制相机的设置，但前提是你了解上述限制。

• 使用初始化设置创建媒体捕获对象
• 将 SharingMode 属性设置为“独占”

• 按所需方式设置相机
• 启动应用，使用启动 API 捕获视频帧，然后启用 MRC

可以在全息人脸跟踪示例中查找上述过程的完整示例。

另请参阅

• 混合现实捕获概述
• 面向 HoloLens 用户的混合现实捕获