热点:

    OPPO发布最新AI技术,仅需几部手机,便可生成一个能熟练舞蹈的“数字分身”

      [  中关村在线 原创  ]   作者:木积木

    当前,现实物理世界与虚拟数字世界从未如此特别地连接、发展着。很多人都梦想过上科幻电影演绎的生活——自由地在两个平行空间穿梭,运用虚拟化身学习、工作、娱乐,开启无限可能的第二人生。

    OPPO正在将这样的“数字分身”自由从理想照进现实。通过自研结构化局部辐射场动态角色建模方法,OPPO在业界首次实现了自动为宽松着装人体创建动态数字孪生体的工作。AI算法仅通过分析手机摄像头拍摄的RGB视频,即可自动创建用户的“三维化身”,还原动态细节。

    高效、便捷、易得,“数字分身”不再遥不可及

    不穿戴全套动作捕捉设备,还要低成本、高效率、高质量的驱动虚拟世界的人物行为,是一件非常复杂且精细的事情。在操作层面,OPPO简化了三维人体采集、扫描、修复等步骤的门槛,同时大大提升了真实性和便捷性。来到OPPO数字分身实验室,模特只需在室内中央站好,舒展姿态,让几部OPPO Find X5 Pro手机进行多角度的拍摄,便可以完成人体形态的初步记录和数据收集,为更逼真的数字分身的生成打下基础。

    仅需几部OPPO Find X5 Pro手机,便可以完成对模特人体形态的初步记录和数据收集

    与普遍使用2D图片重建的方式不同,视频录制完成后,AI模型通过计算手机摄像头拍摄的RGB数据,可以自动生成3D人体模型,克服传统方法导致的重建误差。

    AI模型通过计算手机摄像头拍摄的RGB数据,可以自动生成3D人体模型

    为了进一步打造数字世界的舞蹈明星,OPPO找到专业舞者,通过对他的动态捕捉,预先锚定其舞动时的骨骼状态为节点,从而构建一组结构化的局部辐射场。

    OPPO通过捕捉专业舞者的骨骼动态,构建一组结构化的局部辐射场

    局部辐射场可以模拟其相应节点周围局部空间内的形状和外观,并根据身体姿态和服装样式的动态细节进行变化。值得一提的是,算法可以用残差运动(residual movements)更好体现出舞蹈时衣裙摆动的细微变化。基于此模型逻辑,神经网络可以掌握多样的舞种动作,让舞蹈梦想触手可及。未来,模型也可以不断学习,支撑更多应用场景,引领人们去亲身经历各种超越想象力的互动体验。

    舞者的舞蹈姿势经过编码和渲染,仅需几小时,一个迈着酷炫流行舞步的“数字分身”最终生成。当音乐响起,孪生体化身与真实舞者同台“斗舞”,运动节拍准确、利落,脚步灵动,长裙也随着随舞步变化而轻微起伏、摇曳,与现实中的舞者别无二致。

    仅需几小时,一个能熟练舞蹈的人体“数字分身”便可最终生成

    立体、逼真、灵动,OPPO AI的全面突破

    这一系列有趣画面的背后,是OPPO通过改进 NeRF(Neural Radiance Fields)创新的结构化局部辐射场动态角色建模方法。

    传统的创建3D建模方法在观察和分离人体姿态与衣物形变之间面临着很大困难。在神经场景渲染技术的支持下,OPPO突破性地将传统NeRF模型分解为一组结构化的局部辐射场(structured local radiance fields),由身体骨架驱动,动态细节嵌入作为条件,提供了一种泛化性能更加的方案。

    摒除了常见的全局规范场,局部辐射场表示方法可以更为细致的从粗到细分为三个层次:第一层是骨架运动;第二层是残差运动;第三层是时间变化细节,通过分层处理避免反向蒙皮的缺点,解决模糊性问题。由此一来,算法不仅在学习衣物logo、褶皱、层次和织物纹理等细节方面表现得更好,而且即使面对“未知”的场景,也能准确生成。不久的将来,每个人都有机会创造自己的全动画数字孪生体,在数字世界表达另一个自我。

    一直以来,OPPO致力于通过技术创新为美好生活注入更多灵感。在OPPO数字分身实验室,我们将继续进行基础研究与应用,赋能千行万业。在健康领域,用户的数字分身可以还原肢体动作,帮助用户直观看到自己的动作形态与准确度,实现AI智能识别纠错和指导,甚至可以提前创造出拥有完美身材的“自己”,让居家健身更沉浸、更有趣;游戏动画设计师的创作灵感同样能与数字分身碰撞出新的火花,未来游戏或将基于真实人物动态进行塑造,从2D平面到3D立体,打造活灵活现的“真人化”原创角色;数字人作为虚拟世界的身份入场券,下一代XR融合场景、AR/VR世界中跨越时空的在线生活,也值得期待。

    OPPO相信,数字分身将进一步协助人类社会发展,在娱乐、时尚、通信等领域开启前所未有的体验,激发创造活力,开启更智慧、更多可能的未来。

    本文属于原创文章,如若转载,请注明来源:OPPO发布最新AI技术,仅需几部手机,便可生成一个能熟练舞蹈的“数字分身”http://mobile.zol.com.cn/800/8001739.html

    mobile.zol.com.cn true http://mobile.zol.com.cn/800/8001739.html report 3380 当前,现实物理世界与虚拟数字世界从未如此特别地连接、发展着。很多人都梦想过上科幻电影演绎的生活——自由地在两个平行空间穿梭,运用虚拟化身学习、工作、娱乐,开启无限可能的第二人生。OPPO正在将这样的“数字分身”自由从理想照进现实。通过自研结构化局部辐射场...
    • 猜你喜欢
    • 最新
    • 精选
    • 相关
    推荐经销商
    投诉欺诈商家: 010-83417888-9185
    • 北京
    • 上海
    • 热门手机
    • 新品上市
    推荐问答
    提问
    0

    下载ZOL APP
    秒看最新热品

    内容纠错