VR全景的研究与问题

简介

该研究研究了球形全景图像再现的障碍和问题。 虚拟现实 360 (VR360) 交互式全景演示涉及准确 再现的球面全景图像，可以提供预先制作的图像信息 允许用户在虚拟现实数字中控制交互的真实世界位置 能见度高达三百六十度的平台。球面全景图像是 在各种混合和增强现实应用中也很有用。然而，摄影 球形全景图像的再现可以容忍各种障碍和问题 造成视觉异常。这些可能包括视差误差、天底角难度、不一致 白平衡，多角度图像动态范围不足，重影时 使用高动态范围成像，大量的多角度源图像 正确管理整体冗长的采集时间。球形的有偏再现 全景图不足以记录和报告真实的视觉信息。这个案例 研究调查概述了潜在障碍和问题的发生 目的是获得高保真球形全景摄影再现。 

关键词：球面全景，高动态范围成像，图像再现，虚拟 现实，增强现实

1. 介绍

有虚拟现实 360 (VR360) 交互式全景图像演示或必须依赖于准确再现的球形全景的增强现实应用程序视觉异常最少的图像或源内容。带全景的球面全景各种研究已经讨论和探索了摄影技术（Jacob 2004；Arth 等。 2011年；安德鲁斯 2003;费林托等人。 2012年；布朗和洛 2006 年；迪威尔迪等人。 2009;格莱德希尔等人。 2003)，通常涉及全向相机设置或多角度图像采集，以构建高分辨率全景图像。交互式用户控制的球形全景在 QuickTime 虚拟现实示例中已成为可能(Chen 1995) 或各种交互式全景应用程序 (Jacobs 2004)。一个基本目标全景是将现实世界如此巧妙地再现，以至于观众可以相信他们所看到的被视为真品（Oettmann 1997）；事实上，高保真再现是重点。全景图像可以提供许多功能，包括再现全景的主要目的现实世界场景的视觉元素（Benosman 和 Kang 2001；Guan et al. 2009）。这样一个使用示例可以在 Mars Rover Curiosity (Ravine 2012) 用于使用多拍方法存档全景图像。期间的成像变量球形全景的图像再现过程可以潜在地容忍各种障碍以及导致不良视觉异常的问题。因此，很难重现完全没有成像误差的球面全景再现。增强型推测需要使用球形全景源内容的现实应用程序仅在具有准确再现图像内容的条件下才能正确运行（Warrington 2007；Arth et al. 2011；Ventura and Höllerer 2013；Felinto et al. 2012；Langlotz 等，2012 年； Langlotz 等，2014)。 

        球面全景摄影图像再现中可能发生视差误差(Diverdi et al. 2009; Andrews 2003) 当处理两个以上的图像时组合或缝合在一起，以产生扩大的观看范围图像。 获取两个源摄影图像时会引入视差误差从不一致的角度。 这可能导致主要的前景和背景多幅图像中的主体在视角上有轻微变化（Brown and Lowe 2006）。 这样的视差误差，在观看视角上有细微的差异将不允许正确组合多个图像； 因此，通常视觉元素在拍摄的多角度图像中可能会被迫在一定程度上妥协不需要的视差误差。

        多行配置中的天底角 (Felinto et al. 2012; Gawthrop 2007) 是在摄影过程中很难正确获取天底角。 工业的常规配置，例如球形全景摄影三脚架云台通常允许摄影用户从水平方向再现多角度图像具有可接受精度控制的平面（Gledhill 等人，2003 年；Schmidt 和 Baumgart 2007 年）；然而，由于障碍物，它通常不允许获取天底角图像阻挡了最低点观看视角的设备。 

        摄影图像再现中的动态范围是指从真实世界场景中再现视觉亮度（Debevec 和 Malik 1997）。 通常阴影和高光亮度可能会超过底片或底片的记录能力相机中的数字传感器。 高动态范围成像 (HDRI) 方法结合多个曝光可用于再现球形全景图像（Reinhard et al. 2010; Felinto et al. 2012; Brown and Lowe 2006）。 但是，HDRI 容易引入各种相关障碍和问题，包括重影错误、白平衡不一致并在多角度图像中呈现不同的 HDRI 外观。 

2. 真实数据采集        

        多角度图像组合成全景图像再现扩展视图 (Chen 1995; Jacob 2004; Gledhill et al. 2003; Diverdi et al. 2009; Felinto et 

al. 2012; Gawthrop. 200; Brown and Lowe 2006; Schmidt and Baumgart 2007）也被称为作为多镜头或多行配置； 通常高精度处理是强制性的最大限度地提高视觉信息再现的准确性。 图 1 显示了一个通用的过程多行配置以覆盖天顶角、水平角和天底角。 

                    图 1. 用于组合多角度摄影图像的通用多行过程 

        本案例研究调查了由以下因素引起的成像变量的发生在球面全景图像再现过程中可能会出现障碍和问题，然后提供对当前和未来研究有用的概述评估有意从摄影复制中克服这些困难的看法。 案例研究允许观察研究复杂的因果关系(Stake 1995; Yin 1994) 潜在的障碍和问题。 已经广泛引发对高动态范围成像 (HDRI) 的高度兴趣的研究（Reinhard et al.2010; Debevec and Malik 1997）和全景视觉（Benosman and Kang 2001）。 

    本研究旨在提供有见地的现场采集场景当前和未来的研究侧重于以下兴趣： 

    • 需要与 HDRI 合作的球面全景研究。

    • HDRI 研究试图具有与球形匹配的高兼容性全景再现过程。

    • 使用高保真球形全景的增强现实 (AR)现场采集是在尼康制造的 D3x 上进行的16mm全画幅鱼眼镜头。 

    该设备正在曼富图 303SPH 上进行配置，用于获取多角度图像，如图 2 所示。 

图 2. 使用多行配置的现场测试

        图 3 显示了虚拟现实 360 度球形全景再现的示例(VR360) 交互式全景，用于在多媒体上观看数字图像投影移动设备。 然而，此采样示例演示了视差错误和拼接可能导致无法准确表示原始现实世界场景的错误。 

        图 3. 交互式全景数字图像投影中使用的不准确再现的球形全景

2.1 球面全景图像再现与观察   

        已经进行了球形全景图像再现的真实世界采集确定主要障碍和问题。 图4为球面全景成像采样从 8 个图像序列再现的“FOM 入口”位置。 多角度图像序列是用传统的单次曝光产生的，这也被称为低动态范围 (LDR) 图像。 观察表明，这个球体的采样由于不太精确的校准多行配置，全景图包含视差误差如图 5(a) 所示。 图 5(b) 放大了设备的天底角难度位于底部方向的配置已被捕获。 这导致一个基于位置的摄影再现中不受欢迎的视觉遮挡。 

    图 4. 包含几个相同障碍和问题的球形全景图像再现 

        图 5. (a) 视差误差 (b) 天底角难度 

        可以观察到视差误差、天底角困难和动态范围不足在图 4 中的球形全景再现中。由于这些障碍和问题，球面全景再现的整个表示无法提供基于位置的真实世界场景的足够视觉信息。 

        图6和图7是来自“Interpass Walkway”的球形全景图有最低点角度困难的复制品。图6(a)演示了设备是可见的在最低点角度的图像，如观察立方投影中图6 (b)。图7(a)复制了额外的谷底角度图像，以捕捉谷底表面，但在后处理过程中可以观察到在最低点角度的视差误差结果中包含视觉上的几何偏差，如图7(b)立方投影所示。

                    图6。(a)球面全景图，设备在最低点角度可见(b)立方投影观测

图7。(a)具有视差误差的球面全景最低点。(b)立方投影观测

        已发现天底角是球面可能难以处理的角度之一。全景再现（Felinto et al. 2012; Jacob 2004）。在收购过程中，有几个因素被观察到会导致球面的天底角困难全景再现。三脚架或多排支架等设备位于底部的配置很容易在多角度采集中被捕获。为了为了避免位于配置最低点的设备的可见性，额外的图像可以从真实世界场景的原始来源获取。预期的额外最低点角度图像必须以稳定的配置获取，并且必须准确匹配校准水平角以提供三百六十度的完整性度后处理拼接正确性。精确再现的球形全景没有视差和足够的动态范围，可以有足够的表现真实世界的场景对于为基于位置的提供真实的视觉信息至关重要文档。准确再现视觉信息，满足文化需求遗产保护、建筑主题复制和科学记录。 

2.1 动态范围观察

        本节提供球面全景制作中动态范围的评估过程。图 8 显示了从低调的直方图模式的简化场景观察多次曝光的高调源和中键再现的HDRI结果直方图结果。通常，带有阴影的较暗图像可能会表现出低调直方图和带有高光的较亮图像可能会显示出高调直方图。色调映射再现，例如工业惯例中使用的 Photomatix Pro图 8 的抽样示例，将尝试合并所有多重曝光来源图像转换为具有中键直方图的 HDRI 再现。融合多重曝光成一个可以保持中键直方图的 HDRI 的目的是保留然而，就扩展亮度而言，全局或局部色调再现至关重要检查具有中键直方图的整个多角度 HDRI 图像集是否会适用于球形全景再现。  

图8 多重曝光从低调到高调的直方图模式观察及结果 使用中键直方图结果再现的 HDRI 

            图 9 是来自“Putrajaya PM Office”的球形全景再现采样。使用高动态范围成像 (HDRI) 再现多角度图像。每个HDRI 图像角度已从 9 次多重曝光中再现，1 EV 停止为从阴影增加到高光覆盖。它旨在捕捉更宽的动态范围在扩展亮度方面。当现实世界场景中的光照条件包含高对比度亮度，通常无法被单机记录时，需要HDRI。使用典型的工业惯例相机时的曝光摄影过程。为了摄影图像文件，模拟胶片图像记录方法展示由于分辨率和动态范围的限制，图像信息量有限（Reinhard et al. 2010）；通过将多次曝光组合成数字成像方法 HDRI 它可以增加、记录和呈现图像的动态范围。数字图 10 显示了 8 个 HDRI 角度，包括从基于位置的位置获取的最低点和最高点。带有直方图分析的真实场景。 HDRI 局部再现过程中的每个角度后处理已尝试将多次曝光合并为一个基于可以为亮度保留的最大像素值是多少。这个过程试图将多次曝光融合成中间调的色调再现，如在图 10 所示的每个图像角度的直方图。这会产生不一致的结果使用 HDRI 进行球面全景时，多角度的亮度再现。 

图 9. 使用高动态范围成像 (HDRI) 再现多角度图像 

图 10. 使用 HDRI 的多角度亮度再现不一致 

          图像再现的动态范围对于定义视觉水平至关重要 可以保留阴影和高光亮度方面的信息。 观察摄影图像再现中的曝光范围至关重要（Reinhard et al. 2010;Imatest 2012; Gardner 2012; Rehm 2009) 了解亮度信息量 这将被保留。图 11(a)、(b)、(c) 分别为 获得了 Gretagmacbeth 颜色检查图的 18 个图像序列采样，具有 对象作为图像，在具有固定光源的实验室环境中获得。表格1 显示了用于测试的数字负片 RAW 处理器。 18 个图像序列 从更暗到更亮的曝光中获取，用于识别 Neutral 5 的像素值 如图所示，实验室环境中 Gretagmacbeth 颜色检查器图表中的补丁 11(a)、(b)、(c)，形成如图12(a)、(b)、(c)所示的像素值观察 表 2 支持测试的 RAW 处理器。

表 1. 用于测试的数字负片 RAW 处理器 

图11。对采集到的18个图像序列进行Gretagmacbeth彩色检查表采样 

图12。获得的图像序列采样Gretagmacbeth颜色检查表的像素值

表 2 不同 RAW 处理器测试的图像序列像素值 

        图13显示了从的Neutral 5 patch中采样像素值信息从18个序列中获得的每个图像如图11和12所示。相同的一组图像序列正在处理和测试3个不同的RAW处理器和见表2。

图 13. 像素值信息是从 18 个图像的每个图像的 Neutral 5 补丁中采样的 获得的序列 

        动态范围观察表明，获得的相似源图像可能会产生不同的像素值结果，如图 11 和 12 所示。 总体曝光本研究中的相机配置产生的范围约为 8.5EV，表明这将是可以保留的近似曝光范围，并且呈现在球面全景所需的多角度图像采集中再现，在处理 LDR 的源图像时。 因此，如果情况要求动态范围大于所用摄影设备的能力，HDRI推荐用于球形全景再现的技术。 可以假设一个需要特定的解决方案来实现一致的亮度再现球面全景多行处理所需的多个角度。 

3. 讨论

        几项增强研究一直依赖于使用全景图像作为源跟踪内容（Warrington 2007; Arth et al. 2011; Ventura and Höllerer 2013; DiVerdi et al., 2008; Wagner et al., 2010; Langlotz et al., 2012; Langlotz et al, 2014, Zang et al., 2012）；然而，导致不准确复制的障碍和问题全景图像可能导致无效的增强和虚拟现实应用。为了例如，从基于实际位置的场景再现的全景图像可用于以实时顺序基于 AR 图像跟踪原始真实世界场景。真实性来自全景图像再现源的视觉信息是强制性的提供具有类似于原始现实世界条件的真实感的虚拟现实用户体验。球形全景中使用的多镜头或多行配置图像采样表明在测试期间应最小化或完全避免视差误差拍摄过程中不进行后期补偿校正处理过程。多幅图像的摄影条件不一致可以通过以下一些建议来最小化序列： 

    1)手动选择合适的摄影时刻避免不必要的移动物体被摄影记录下来。

    2) 用于固定选定白平衡的 GretagMacbeth Color Chart 可以一致地应用于整个多图像序列，条件是自然真实世界场景的阳光等光照保持着缓慢变化的节奏平静的天气状况。 

    3) 获取完整的多幅图像序列集所需的时间为建议最小，以避免任何不可预测的成像变量，例如任何如果建筑主题涉及任何移动物体或快速变化的天气条件自然采光。

    4) 理想情况下，构建球面所需的所有图像序列可以通过清晰的图像特征获取全景图像渲染，以便建议通过任何球形成像处理器进行强大的图像拼接过程。 

    高对比度真实世界场景中的动态范围，例如基于位置的主体将难以记录和呈现建筑环境传统的单次曝光方法。本研究提供了一个重要的视角观察多个角度的 HDRI 亮度再现不一致的现象需要构建球形全景图。将多次曝光融合到可以保持中键直方图的 HDRI 中，可以在以下方面保留全局或局部色调再现扩展亮度；然而，由此产生的具有不一致亮度的多个角度是观察到不适合精确的球形全景再现。有HDRI 的各种方法（Reinhard et al. 2010; Debevec and Malik 1997; Felinto et al.,2012）可以在每张图像中产生不同的预期结果。这可能是至关重要的利用 HDRI 方法来保存和呈现亮度信息。有可能重要的是，高动态范围成像 (HDRI) 的方法和设备适用于可以通过进一步研究探索具有高保真球形全景再现的工作。 

        在球形全景中包含选择性移动对象的理想情况图像可以手动管理，因为它需要高度关注、自发决策在预可视化阶段的考虑中。球面全景图观察到从多个角度再现的图像中度适合记录并呈现基于位置的主题的摄影时刻，但是在“多个瞬间基础”而不是“单个摄影瞬间”。不可预测的移动物体不能使用多角度图像方法适当地记录和呈现，因为它可能会造成轻微的有偏见的摄影解释，例如法医和新闻报道目的的使用。图像处理情况但在后期处理阶段更正可能会影响其真实性一定程度上再现了建筑形象。在这种情况下，研究认为天底角难度是一个需要纠正的错误。 

        虚拟现实可穿戴电脑的行业惯例变得更加消费者可以访问。可穿戴虚拟现实耳机的几项最新进展结合了与智能手机一起使用的主要功能（Zeiss, 2014; Archos, 2014;Samsung, 2014）；使用可穿戴头戴式显示器体验交互式全景(HMD) 将在计算、负担得起的设备和用户应用程序方面变得可行可用性。图 14 展示了虚拟现实 360 度交互的概念实现由移动设备驱动的头戴式显示器上的全景体验或可互换的计算模块。从根本上说，大多数交互式全景系统可能认为使用高保真全景图像源很重要复制以记录和呈现具有可靠信息的真实世界元素。我们希望这个案例研究可以为交互提供深入的经验理解全景制作者和用户关于障碍和问题如何相互关联其他。应全面考虑球面图像内容的理想再现而不是修复整体难度的一部分。未来的研究可能会探讨虚拟用于交互式全景的现实头戴式显示器可以提供用户体验超越视觉和声音的限制，这些潜在的领域可以包括体验通过嗅觉和味觉元素进行交流。 

        这项研究的下一步可能集中在球形的精益繁殖研究上。高动态范围成像 (HDRI) 促进的全景。 的可用性处理更高分辨率图像时的更高分辨率视觉信息用于多角度图像的记录仪器可以允许更大的观察放大率球形全景内容。 因此，获得高保真再现的目标是建议对两种技术配置对视觉异常的容忍度较低和人工处理。 预期研究的未来发展可以发挥潜力高真实度球形全景再现技术优化使用需要最少摄影制作的方法和设备操作时间和人力。

    图 14. 使用头戴式显示器的虚拟现实 360 度交互式全景用户体验手机或平板电脑。 

4. 结论

    虚拟现实 360 (VR360) 交互式全景图像呈现正在成为近年来更普遍，并引发了数字生活方式的许多变化。它特别是改进了我们与基于位置的图像交互和访问高通过各种增强和虚拟现实开发获得保真视觉信息。这篇报告观察了各种障碍和问题引起的成像变量如何发生可能发生在球面全景图像再现过程中。高精准度方法和设备校准在数字成像工作流程中至关重要涉及预可视化、摄影采集和后期处理的过程。可以最小化或避免的成像错误或视觉异常包括视差错误、白平衡不一致、曝光不一致和鬼影效应造成的移动物体。多个角度的一致亮度对于建议准确的视觉效果至关重要正在复制的信息。用于交互式全景演示和增强现实应用，进一步的研究可以尝试探索具有能够操作球形全景的精确再现过程高动态范围成像 (HDRI)。