芯片资讯
- 发布日期:2024-01-27 07:02 点击次数:210
在过去的20年里,移动计算技术的快速发展使智能手机脱颖而出,成为主流的移动智能终端。尽管科学技术不断进步,但智能手机面临的视觉空间有限、交互单一等局限性问题仍有待突破。随着传感器技术的进步、空间感知技术和虚拟现实增强技术的发展,“空间计算技术”应运而生,为下一代移动平台,特别是XR智能终端的发展带来了新的前景。
虹软科技从校准、感知、交互、视觉呈现等方向全面创新,建立了完整的空间计算技术,为下一代移动平台,特别是XR智能终端在空间感知、视觉呈现、人机交互和数字内容的发展提供了强有力的支持。
虹软空间感知技术:
构建虚拟与现实相结合的关键引擎
感知用户所处的空间是实现虚拟世界与真实环境融合的基础和必要条件。虹软空间计算技术涵盖多个空间感知解决方案,包括一站式多传感器校准解决方案、头部显示器6Dof跟踪、平面检测、密集重建、语义分析、深度估计、实时3D Mesh重建、vslam空间定位和地图构建等。这一系列解决方案可以为XR设备提供高效的环境感知能力,使虚拟元素与现实世界完美融合。
虹软一站式多传感器校准:在XR领域,多传感器之间的准确、高精度的协同工作离不开复杂的校准过程。在此基础上,虹软提供了一站式多传感器校准解决方案,全面覆盖行业,性能领先,解决了多传感器数据协调的问题。高效的校准算法可以快速、准确地调整每个传感器的参数,使其在实际操作中合作,为XR设备提供准确、稳定的感知数据。
虹软头显 6Dof跟踪:用户头部姿势跟踪是可穿戴显示设备的核心功能之一,虹软头部显示6Dof跟踪解决方案通过集成多传感器信息,实时跟踪用户头部六自由运动,包括旋转和平移自由,使用户体验更真实、自然,给用户带来更高的沉浸感。
多维空间感知:通过平面检测、密度重建、语义分析、深度估计、实时 3D Mesh 虹软空间感知技术实现了多维空间感知能力,如重建、vslam空间定位、地图构建等。vslam空间定位和地图构建了实时处理摄像头捕获的视频流,识别和跟踪设备在现实世界中的位置,并构建了一个精确的环境地图。实时 3D Mesh 通过一系列图像或传感器数据实时生成用户周围环境的三维网格。这使得XR设备能够更准确地感知和重建用户空间的实时三维模型,为虚拟元素提供准确的定位和更逼真的交互体验。这些技术的协同作用,保证了虚拟元素与现实世界的无缝衔接,增强了整体XR体验的真实感和沉浸感。
虹软交互技术:全面的互动引擎
虹软空间计算技术中的交互技术涵盖了手柄 6DoF 跟踪、裸手 3D 手势交互、视觉跟踪、虚拟数字人表达驱动、人体驱动等交互解决方案为XR提供了一种新的人机交互模式。与过去平面屏幕上的模拟3D不同,这种交互模式将用户置于真实的3D空间中,感受到身临其境的人机交互体验。
手眼协调的沉浸式交互:虹软以裸手为基础 3D 手势和视觉跟踪技术构建了手眼协调的创新沉浸式交互解决方案。该方案为用户提供了仅依赖XR设备的传感器(如ToF)、多mono、多RGB)不依赖其他物理设备的自由控制方法, 各种复杂的交互任务可以通过手势和视线的完美配合来完成。例如, 电子元器件采购网 用户可以通过观察自己感兴趣的内容,然后通过简单的自然手势完成选择、拖动或放大和缩小。这种手眼协同设计让用户更自然地融入虚拟场景,为XR的交互带来更全面、更灵活的操控体验。
手柄 6DoF 跟踪: 虹软的手柄 6DoF 跟踪技术通过实时捕捉手柄的六个自由运动,即旋转和平移,为用户提供更自由和准确的虚拟控制体验。该技术不仅提供了强大的工具支持,而且为用户创造了一个更深入和灵活的虚拟交互环境,显著提高了用户在XR中的沉浸感。
虚拟数字人表情驱动和人体驱动:虹软交互技术通过捕捉用户的面部表情和身体动作,实现了更加生动自然的虚拟数字人交互解决方案。该解决方案不仅赋予用户更丰富的表达能力,而且增强了虚拟体验与现实生活的联系,提供了更深刻、更真实的用户参与感。
虹软视觉呈现技术:完美的图片显示
视觉呈现是决定用户体验的关键因素之一。图片的流畅性和舒适性一直是XR领域用户体验的核心。虹软空间感知技术提供视频透视(VST: Video See-Through)、先进的视觉呈现解决方案,如异步时间扭曲,为XR终端提供完美的视觉显示。
视频透视(VST: Video See-Through):宏软的视频透视技术通过智能调整视频内容的投影,使其与虚拟空间中用户的位置和方向相匹配。视频透视解决方案可以使虚拟元素更真实地嵌入到用户的视野中,增强虚拟与现实的融合感。
异步时间扭曲:异步时间扭曲解决方案主要是独立渲染和扭曲每只眼睛的图像,以适应虚拟环境中用户头部的运动。虹软异步时间扭曲解决方案不仅提高了虚拟现实体验的流畅性,而且避免了头部运动引起的眩晕,为用户创造了更舒适、更真实的虚拟感知。
虹软数字内容生成技术:
XR内容的新生产力
数字内容生成技术正在成为XR内容创造的新生产力。虹软空间计算技术包括丰富的数字内容生成技术,如数字人创建、3D视频成像和AIGC内容生成,可以为XR提供更丰富、更迷人的内容体验。
彩虹软人工智能数字人创建:在彩虹软先进的3D建模技术的帮助下,彩虹软数字人创建解决方案可以从外观、表情、动作等维度创建与现实世界相似的数字人物。结合虹软数字人动画驱动技术,数字人创造还能准确捕捉和模拟人类的面部表情、身体动作和语音特征,创造出与真实人物相媲美的虚拟人物。这使得在XR场景中呈现出更加生动和情感共鸣的数字人成为可能。
3D视频成像:虹软的3D视频成像解决方案可以以3D全景的形式呈现用户通过普通双摄像头/多摄像头智能手机拍摄的内容,为用户提供更身临其境的体验。该技术可以捕捉真实世界场景的三维信息,让用户感受到它。
AIGC内容生成:AIGC技术是虹软在数字内容生成方面的重要创新,通过积极布局视觉大模型 与XR相关的技术,红软利用ArcMuse技术引擎生成图片、视频、数字人和3D内容,为XR眼镜载体提供方便、高质量的内容生成引擎。这种内容生成方式不仅提高了内容创作的效率,也为创作者带来了更多的创作灵感,促进了XR内容创作的创新。
通过这些创新技术,红软空间计算技术将继续促进XR领域的发展,为用户带来更真实、更丰富的虚拟体验。作为科技创新的领导者,红软将继续探索和拓展空间计算技术的边界,为未来的XR智能终端开辟更广泛的可能性。
审核编辑:汤梓红
- 亚马逊云服务计划在日本大举投资云计算设施2024-01-23