请选择 进入手机版 | 继续访问电脑版
搜索
房产
装修
汽车
婚嫁
健康
理财
旅游
美食
跳蚤
二手房
租房
招聘
二手车
教育
茶座
我要买房
买东西
装修家居
交友
职场
生活
网购
亲子
情感
龙城车友
找美食
谈婚论嫁
美女
兴趣
八卦
宠物
手机

总裁 请宠我 三国暴君颜良 为了VR社交,Facebook打造出最逼真虚拟头像系统 诛仙翠羽罗盘

[复制链接]
查看: 621|回复: 0

8

主题

46

帖子

61

积分

等待验证会员

积分
61
发表于 2019-3-14 22:00 | 显示全部楼层 |阅读模式
这是写在帖子头部的内容客岁末,曾传Facebooks将奥秘部分Building 8更名为Portal,并将部分研讨工作转移到Facebook Reality Labs(FRL)部分。FRL部分的负责人是Facebook首席科学家Michael Abrash,首要研讨项目包括脑机接口、可穿着、柔性体感皮肤等。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220052ba7rzyophocc8p8x


Abrash曾屡次表达对VR/AR技术的看好,他深深相信这项技术在接下来的50年里,将会成为工作、文娱和相同的首要方式,就像是小我电脑和智妙手机从45年前到现在一向在改变天下一样。
他暗示:我曾描写过AR/VR在未来需要哪些技术来支持,但从未公然这些技术的开辟进程及幕后团队。是以,他公布在接下来一年里,FRL部分将经过一系列博文向大师展现FRL团队在5年里都停止了哪些研讨。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220053v7ervajcj6xcfxoc


Michael Abrash(来历:UploadVR)
Abrash还希望经过这些文章分享他们的信心,让那些对AR/VR抱游移态度的人改变概念,并经过交换来领会公共希望若何将AR/VR融入到平常生活中。
据悉,Facebook FRL部分的尝试室散布在美国多座城市,包括:雷德蒙德、华盛顿、索萨利托、匹兹堡,每个尝试室别离负责分歧的研讨,但都一样努力于鞭策AR/VR向下一代计较平台的成长。FRL在沉醉式平台的研讨上投入了大量资本,而且聚集了多量优异人材,这里是VR/AR理论研讨的最好地址之一。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220053ieze5ixg275rxa7v


FRL匹兹堡尝试室
明天,FRL匹兹堡尝试室率先颁发了第一篇博客,报告了他们若何操纵两个大型3D动捕工作室建造了传神的虚拟形象,并计划在未来经过优化的AI来简化建造流程、下降本钱。
据悉,FRL匹兹堡尝试室聚集了一批说话学、文娱技术、计较机视觉、人体建!⒒到薜确冻氲淖,而且由于团队扩大,该尝试室将会在今年末搬到更大的场地。
接下来FRL将会分享这些尝试室在材料科学、机械进修、光学、显现技术、计较机视觉、音频、图像、体感交互、脑机接口、眼球/手势/面部/身材行动追踪等范畴的研讨。
”大大都人,包括我自己,在长大后就已分开了长大的故乡。我这辈子没少搬场,每次从一个城市到另一个城市,都意味着阔别一些对我来说重要的人。“Facebook Reality Labs研讨主任Yaser Sheikh如是说道。
他深深地感遭到了地理位置对人际交往带来的限制,是以他希望经过科技来寻觅人与人相同的新方式。这也就是为什么他在FRL部分负责一个名为“Codec Avatars(编码人像)”的尝试项目,据悉,该项目希望经过传神的虚拟人像来缩小人与人之间的间隔。
据青亭网领会,这项研讨希望经过3D捕捉技术和AI系统,以更快速简洁的方式,将VR交际变得与实在交际一样自然。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220053qavjggsp8skk1jaa


High Fidelity
虚拟形象在游戏范畴中利用多年,而且很多VR交际平台也支持各类分歧的自界说虚拟形象,比如:Altspace、Rec Room可让用户挑选比力卡通的形象,而虽然High Fidelity可让用户经过扫描自己的3D模子来建造虚拟形象,其结果还称不上传神。Sheikh以为只要正确度极高的虚拟形象才能倾覆VR/AR交际,苦笑、皱眉等脸色都需要在虚拟人上获得表现。
Sheikh暗示:Codec Avatars的研讨偏向不但在于高清的画质或高级动捕技术,而是更重视为VR用户供给一种自然、简单的交互方式,让远程交换变得更像是面临面。
交际临场感
对于交际场景来说,“瞬移”后的虚拟形象需要尽能够表现用户的情感和脸色,这样才能实现更顺畅、自然的交换。为了考证虚拟形象能否成功,FRL尝试室采用了两种简单的测试:“ego test”(自我测试)和"mother test"(母亲测试),简单来说就是作为用户的你可以接管这样的虚拟形象,同时你妈妈也能认出你来。
在视频通话刚出现的时辰,不需要有人夸大这项技术的重要性,你就晓得它很有用,由于视频可以让你实现远程面临面交换,甚至在家里也能开会办公。
而操纵虚拟形象通话会给基于平面的视频通话带来一层传神的交际临场感,有点像是在《星际迷航》的全息甲板上通话,用户可以在模拟的场景中实现会面。不外要做到传神和自然这两点,对于匹兹堡的FRL团队来说是个不小的应战。
多年来,该科研团队一向努力于研发可用于未来VR/AR头显的虚拟交际技术。Sheikh暗示,在未来的交际场景中,间隔已经不是限制两小我关系的首要身分,具有临场感的虚拟交际一样也是Facebook焦点营业的重要组成部分,Facebook希望操纵这类技术成长虚拟社区,拉近人与人之间的关系。
传神感来历于细节
据悉,FRL匹兹堡尝试室号称具有天下最早辈的扫描装备,用这台装备,科研职员扫描了鞋、玩具、干冰、扑灭的烛炬等各类百般的平常物品,目标是优化算法,让未来的沉醉式装备可以轻松衬着复杂的虚拟形象。
而他们研发的虚拟形象最大的分歧之处是,它们不是游戏中和你长得很像的自界说脚色,而是对你近乎完善的复制。而实现传神感的关键,在于外形和行动的细节,比如阅读时眼球下转动的行动。FRL研讨院Shoou-I Yu暗示:建造完整虚拟形象的一大应战是,人脸的每个奥妙脸色都需要捕捉到。
传神的虚拟形象技术在视觉殊效行业已经存在多年,可是今朝的技术需要艺术家野生建造,时候能够要花上数月,而且他们一般不会浏览虚拟形象之间的实时交互。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220053dm9dt8ivm4oopt09


在2016年的F8大会上,Facebook CTO Mike Schroepfer公布Facebook Spaces VR利用中将用全新的虚拟形象取代之前利用的蓝色头像,这些新形象支持更多面部特征,还能追踪模拟用户的唇部活动。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220053qhi7siat891i11w1


两年后,他又在F8大会上展现了FRL匹兹堡研发的更优化的虚拟形象,在Demo演示中,FRL两名成员用Oculus Rift演示了传神虚拟形象的实时交互。
两间动捕工作室

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220053ea48zeg4pa4tlghe


在2016和2018年两年时候里,FRL搭建了Mugsy和Sociopticon3D动捕工作室,并操纵它们别离收集了大量人脸和身材的数据,接着用这些数据做出了建立虚拟形象的自动化计划。比来,它们操纵机械进修技术,实现了对超传神虚拟形象的实时天生。
据悉,Mugsy是FRL专门用于拍摄面部脸色的工作室,它的外形像呈圆顶状,墙壁和天花板上安装了132颗佳能摄像头和350个光源,它们全数瞄准工作室中心的一把椅子。在这里拍摄人脸就像是在拍大头照(Mugshot),是以得名Mugsy。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220053xnazleeamayfya1n


而Sociopticon(由Sheikh在卡内基梅隆大学建立)名字来历于“圆形牢狱”(Panopticon),它是专门用于拍摄身材(以及衣服随身材的变化)行动的,占空中积比Mugsy更大。与微软MR动捕工作室相比,Sociopticon采用了更多摄像头(180颗),摄像头最大能拍摄分辨率更高(4K)、革新率更高(90FPS)的容积视频。
两间动捕工作室采用的摄像头每秒需要拍摄的数据量达1GB,也就是它们别离在每秒最多可拍摄到180GB的数据,FRL用这些数据来练习神经收集从多个角度,去婚配声音、肌肉变化与面部脸色、身材行动。拍摄到的数据越多,其面部衬着模子“Deep Appearance”解码/编码的效力越高,才能更合适家用VR/AR头显。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220054s950trtp9rdp405w


接管面部捕捉的研讨员
Yu暗示:利用FRL动捕工作室拍摄三秒,笔记本电脑的512GB磁盘空间就不够用了,而我们拍摄一次约15分钟。也就是说,采用这么多摄像头是对存储硬件的一种应战,不外有了这么大量的数据才能缔造出这么传神的虚拟形象。据悉,这两家动捕工作室中的麦克风数目最多可达1700个,可重建完全沉醉的3D声场。
实在,Codec Avatars并不是FRL部分对传神虚拟形象停止的唯一研讨,其索萨利托的团队正在研讨一款基于物理学的虚拟形象,特点是支持与任何虚拟情况的交互。
经过对生物力学、神经科学、行动分析、身材行动模拟等范畴停止了根本研讨,他们研发的虚拟形象技术依靠与Codec Avatars类似的实时数据捕捉,不外它并没有操纵实时传感数据练习神经收集,而是练习了一个模仿人体剖解的物理学模子(年末Facebook将会流露更多细节)。
建立Codec Avatars

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220054vwkuomo9mw5kkckc


Codec在英文中有编解码器的意义,选用这个名字是由于,Codec Avatars是一种操纵机械进修去收集、进修和重建人类社会表示的方式,而全部进程中的关键步调就是数据编码息争码。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220054bp4ibluaxpd4vzw4


人文学家Edward Sapir曾在《The Unconscious Patterning of Behavior in Society》(直译为《社会行为的无认识纪律》)中写道:人类会对“不成文的复杂肢体密码发生回应,这些信息并不是约定俗成的,但每小我都能了解。”简直,解码/编码的进程实在就像是人类一般交换的方式。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220055sxuwmj0m83r5ro15


首先,机械进修模子需要经过大量数据去了解人类交互,然后经过解码/编码将语音、肢体说话、说话提醒等大量信息整分解可量化的数据,这些数据将被用来衬着虚拟形象,并经过虚拟形象帮助用户传递信息。
道理是,操纵头显上搭载的传感器系统和麦克风捕捉方针使命的行动和四周情况,在捕捉到信息后,编码器会分析收集到的数据并汇编玉成新的代码,经过数字来传输建造虚拟形象所需的信息。然后,另一真个解码器会将收到的代码再次编译成语音和视觉信号,组成可以被肉眼旁观的虚拟形象和脸色。
FRL科研职员Tomas Simons暗示:Codec Avatars的根本是信息的量化,传神的虚拟形象依靠的是正确的丈量和数据,是以它的关键是找到丈量斜眼、皱鼻子等纤细脸色的方式。
操纵这类方式,用户不需要利用动捕工作室大概捕捉大量数据,只需要拍少许照片/视频就能建造传神的虚拟形象,而这类方式也更合适批量用于VR/AR头显中。

为了VR交际,Facebook打造出最传神虚拟头像系统

为了VR社交,Facebook打造出最逼真虚拟头像系统  创业故事 220055c5qwziu8iqo8pqoo


虚拟人(右)与真人(左)对照
没有两片叶子是不异的,人和人也一样,是以他们扫描了各类外形的人,比如戴耳饰、鼻环的、大概发型夸张的、戴脑电图帽子的。不外从视频中来看,今朝体验者的爆炸发型在Codec Avatars中就还没获得完全部现,而且她快速移动的舌头看起来也有点模糊。
简化的原型装备
从本钱和时候上斟酌,操纵大型动捕工作室建造虚拟形象还是不太现实。为了能在轻量级头显中实现对虚拟形象的实时衬着,FRL的科研职员决议将追踪捕捉的重点放在人的头和手上(Magic Leap的Avatar Chat也是首要基于面部和手势行动),并操纵一系列定制的头戴捕捉系统(HMCs,内部代号为Argent)原型机来捕捉大量面部脸色和手势。据悉,这些HMCs上搭载了摄像头、加速针、陀螺仪、磁强计、LED红外灯和麦克风。
据青亭网领会,建造一款HMCs并不轻易,由于上面搭载了很多传感器,他们不能不斟酌佩戴的舒适性。为了不让打光灯引升引户不适,HMCs才采用肉眼看不到的红外光源。
FRL科研职员Hernan Badino暗示:为了让HMCs捕捉面部脸色的体验与人与人面临面无异,我们不但要斟酌高质量的传感,还需要确保用户的活动不会由于头显而受限。
关于HMCs头显的软件部分,FRL的科研职员开辟了一系列可以设定拍摄地区的软件,这些软件还供给了校准、数据诊断和分析工具。
关于信息平安
斟酌到建造传神虚拟形象需要收集用户的大量外形和声音信息,信息的平安性也是值得关注的题目,对于Facebook来说尤其如此。假如这些信息被盗用,很有能够会被用来欺骗用户的亲友爱友。
对此,FRL暗示:Codec Avatars可捕捉到咯咯笑和眨眼等极为纤细的面部脸色,而且眼球、声音甚至行为习惯都多几多少可以作为生物识此外根据。不外FRL部分今朝正在动手将虚拟人像与用户和装备的平安认证和硬件加密等功用连系,避免潜伏的平安隐患。
同时,他们也在斟酌多种分歧的平安机制,比如为虚拟形象绑定认证账号等。虽然间隔这类传神水平的虚拟人像提高还需要几年,他们已经起头测试多种处理计划了。
虚拟形象的远景
经过传神的虚拟形象,我们可以与地球任何一个角落的人碰头,这对于远间隔结交等场景都有很大帮助。而这项技术的存在,并不是为了取代人与人实在的交际,而是为了让你在没法亲临现场的时辰更好地与对方交换。
固然,Codec Avatars这类新型的交换方式还存在很多需要处理的题目,间隔正式推行还需要很多年,这简直超越了Sheikh之前的预期,不外他暗示:我们具有驱动新思绪的资本,也有专家和人材,现在我们将加速研发更创新的技术。
此外,Abrash在客岁10月也表达了对传神虚拟形象的积极看法,他暗示:四年内也许不会出现可以推行的传神虚拟形象,但也不能否认其能够性。
接下来,他们还将动手研发基于满身扫描的虚拟形象,这样的技术需要斟酌到用户四周的光芒、6DoF追踪、四周人干扰(在VR中)等身分。他们还将斟酌用AI猜测行动,不外这就没法子将意外身分斟酌在内,传神感能够也会是以遭到影响。
交际场景很有希望成为VR的杀手级利用,假如Facebook能率先推出基于传神虚拟形象的交际平台,也许它又能再一次囊括交际媒体市场。
别的也可以设想,将这类技术与影视媒体连系,也答应以建造传神的交互式VR电影/表演,演员可以采用实时表演的方式,也可以操纵AI来替人表演,而这类形式会不会就是一向在寻觅的VR叙事说话呢?
感激您的阅读
http://anger-management-action.com/online-cash-adv
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2006-2014 成功梦工厂-80后励志网-80后创业的励志故事和名人励志名言等励志文章 版权所有 法律顾问:高律师 客服电话:0791-88289918
技术支持:迪恩网络科技公司  Powered by Discuz! X3.2
快速回复 返回顶部 返回列表