2022.06.15

【微分享】索尼半导体开放AR软件开发工具包ToF AR

采用ToF传感技术,可流畅表现手及手指动作

  • 索尼半导体解决方案公司(下称:SSS)发布软件开发工具包(SDK)“ToF(Time of Flight飞行时间)AR”,可以流畅地识别并表现手和手指的动作,帮助推进AR开发。它将从6月15日起在Developer World(※1)上向公众开放。 AR技术可以利用物体和建筑物的深度信息,将虚拟的视觉信息叠加在屏幕中的实景上,从而扩展和表达眼前所见的现实。它主要被用于智能手机等设备中的娱乐应用(APP)。

    Developer World “ToF AR”: https://developer.sony.com/develop/tof-ar/

    SSS开发的ToF AR采用了其与索尼集团公司研发中心联合开发的独创AI处理技术,可以流畅地表现手和手指的动作。 利用ToF AR开发者将可以在 Unity (* 2) 上开发出可实现以下功能的应用程序:(1) 手势识别功能(2) 识别身体动作并流畅表现的功能(3) 生成3D 数据的建模功能④根据深度信息等构建周边环境的Meshing功能。

    该软件开发工具包将有望应用在多种场景,包括使用AR的手机游戏;检查衣服和鞋子的尺寸和设计是否适合自己的虚拟试穿;通过测量房间来选择合适尺寸家具的虚拟家装布局;将在空间中绘制的插图和字符与周围空间融为一体后与他人分享的新型交流等等。

    虚拟试穿
    虚拟试穿

    虚拟家装布局
    虚拟家装布局

    新型交流
    新型交流

    该软件开发工具包将被应用于由索尼音乐娱乐公司和中国主流娱乐动画平台bilibili的运营方——上海宽娱数码科技有限公司联合开展的“虚拟灰姑娘计划(VCP)”正式放送栏目等等。

    虚拟灰姑娘计划详细信息:https://live.bilibili.com/23945568

    虚拟灰姑娘计划bilibili官方介绍页面:https://space.bilibili.com/1400431115

    虚拟灰姑娘计划(VCP)

    通过开放“ToF AR”,索尼将推进利用深度信息的应用程序开发,为创造崭新的智能手机体验做出贡献。

    ※1: Developer World:由索尼欧洲运营的网站,集合了索尼支持的各类开发项目。网址:https://developer.sony.com/zh/

    ※2: Unity:Unity Technologies提供的综合性游戏开发平台,配备游戏引擎和运行环境等。

图片