星座屋,Facebook 50年征程:Codec Avatars,发明传神虚拟角,春天来了

映维网 2019年03月14日)Facebook Reality Labs(FRL)匹兹堡团队的研讨总监亚瑟谢赫(Yaser Sheikh)致力于为人们带来更好的新联合办法。他说道:“咱们中的大多数人,包括我自己,都不是住在咱们长大的当地。我的终身都是从一个城市搬到另一个城市,而每一次我都需求脱离对我十分重要的亲友好友。”

延伸阅览:Facebook:AR/VR是未来五十年的征途

专心于互相的联合促形之声使谢赫领衔了一个名为Codec Avatars的项目:旨在战胜人与人之间,以及人与时机之间的物理间隔应战。凭借打破性的3D捕获技能和人工智能体系,Codec Avatars可以协助人们在未来快速轻松地创立传神的虚拟化身,令虚拟实际中的交际联络变得好像实际国际般天然和常见。虽然虚拟人物多年来一向是游戏和使用的首要元素,但谢赫信赖精确传神的虚拟表明(可以完美捕捉苦笑或蹙眉的虚拟人物)将会改动全部。

Facebook深信增强实际和虚拟实际将成为未来五十年里咱们作业,文娱和联合的首要办法,就好像个人核算机和智能手机在阿古斯之梦曩昔四十五年里(并正继续)改动了国际相同。为了向AR/VR信众展现Facebook的试验室,并阐明Facebook正在怎么构建未来,Facebook Reality Labs(FRL)计划在未来一年时刻里连续发布一系列的博文,而每篇博文都环绕不同的FRL团队打开,介绍邱璐瑶他们正在开辟的,可以把咱们引领至未来的新技能。

本文是FRL新博文系列的榜首篇,其介绍了FRL匹兹堡团队的Codec Avatar研讨。下面是映维网的详细收拾:

现在,创立传神化身需求捕获很多高质量的个人音频和视频。

Codec Avatars是一个正在活跃进行中的研讨项目,但它可以彻底改动咱们未来经过VR头显和AR眼镜与别人联合的办法。它不只是关乎顶级图形画面或高档运动追寻,其要点是为了在虚拟实际中完结人与人之间天但是轻松的互动。关于这一点,应战在人工环境中创立实在的交互。

1. 交际临场感

假如长途呈现可以令你感觉自己似乎置身于另一个当地,交际临场感则可以协助你与别人共享这种感触。谢赫谈到衡量成功的两个简略而重要的办法。他解说说:“咱们将其浅显地描述为经过‘自我测验’和‘母亲测验’。你有必要喜爱自己的虚拟化身,而你的母亲相同需求喜爱你的虚拟化身,只要这样才干令你感小振平觉虚拟实际就好像实际日子相同舒适。这是一个十分高的规范。”

当你榜首次接听视频电话时,没有人有必要要通知你为何这项技能十分重要。它可以进步互相的联合程度,这意味着你可以穿戴睡衣作业。关于从视频通话到虚拟化身通话的跳动,这将带来实在的交际临场感,有点像是在‘星际迷航’的全息甲板中与或人攀谈,你可以在模仿环境中闲逛,就好像感同身受相同。帮星座屋,Facebook 50年征途:Codec Avatars,创造传神虚拟角,春天来了助Codec Avatars以实在和舒韩国美人冼浴全进程适的办法运转,这是匹兹堡团队多年来一向致力于处理的巨大规划应战。咱们正在活跃地尽力完结这一方针。”

(视频不行见)

一名研讨被试和一位Facebook职工正穿越四四的小老婆经过VR评论高温瑜伽(经过相应的虚拟化身)。匹兹堡团队现已取得了实质性发展,但他们正在尽力为虚拟化身的唇舌添加细节以进步表达质量,并保证虚拟化身之间可以完结传神的目光沟通。

Codec Acxv本田vatars的研讨作业是完结亲民,有用,并可用于未来头显的实在交际临场感的重要里程碑。“现在,挨近度决议了咱们与谁树立联络。增强实际和虚拟实际的实在远景是,不管身处何方,它都可以答应咱们花时刻与任何人树立有含义的联络。”谢赫如是说道。这是人与人联合的未来,并使得它成为了Facebook中心使命的重要组成部分,亦即协助树立社区和答应人们更严密地联合在一同。

2. 匹兹堡的树立

消除人与人之间的物理间隔是一项需求长时刻许诺的严重使命。在2014年秋天,谢赫遇到了Oculus Research的首席科学家迈克尔亚伯拉什。其时,谢赫正领导着卡内基梅隆大学机器人研讨所的3D捕捉试验室:Panoptic Studio。两人就在匹兹堡树立一个新研讨设备进行了评论,并终究把交际临场感作为首要方针。他们的榜首项使命是:组成一支由跨学科工程师,技能人员和科学家组成的多学科团队,然后“构建未来”。谢赫于2015年参加Facebook,并自此一向在领导匹兹堡团队。

Facebook Reality Labs在美国各地都设有办事处,包括华盛顿州雷德蒙德,加利福尼亚州索萨利托,以及宾夕法尼亚州匹兹堡。从机器学习和材料科学到光学和触觉,每个地址都在担任处理将AR和VR打造成为下一个核算渠道所面对的应战。FRL研讨科学家史蒂芬隆巴迪(Stephen Lombardi)说道:“FRL是有用性研讨作业组织的圣杯。咱们具有惊人的资源和支撑,而且我可以与十分聪明的人才一同作业。与独自一人比较,这答应我完结更多的成果。”

跟着职工部队的强壮,FRL匹兹堡团队将于本年晚些时候搬到更大的高楼。

关于FRL的技能项目经理丹妮尔别尔科(Danielle Belko)祁大鹏新浪博客来说,她在匹兹堡试验室的作业始于谢赫的一个斗胆提议。他问询说,丹妮尔是否喜爱“剖析没有创造的体系的数据,是依照史无前例的规划进行剖析,并尽力完结人们以为不行能做到的作业。”所以,她报名参加。丹妮尔说道:“我有言语学和文娱技能的布景,所以我十分着迷于人与人的沟通办法。所以这是一个十分棒的时机,我不行以错失。”

FRL的研讨科学家杰森萨拉吉(Jason Saragih)则是直接经过FRL的大门来追逐自己对核算机视觉的酷爱。他说道:“我进入核算机视觉和图形方面的人体建模已有十多年时刻,我以为AR和VR是这种技能的终极东西。隆巴迪表明附和,“FRL正在对沉溺式渠道的未来进行很多出资。为这一愿景做出奉献令人感到振作,特别是现在咱们正在使用核算机视觉,机器学习和顶级图形技能来制造传神的虚拟化身。”

FRL匹兹堡的总经理查克胡佛(Chuck Hoover)一支期望可以完结巨大的未来。他说道:“这是一种令我无比振作的深远影响。咱们可以住在任何当地,并彻底消除通勤吗?别离日子的交际方面与物理依靠有或许改动国际。可以为这一浪潮奉献力量,而且是从这一前期阶段就开端奉献力量,我感到十分振作。”

Codec Avatars将会对交际和文明发生巨大的影响,而在匹兹堡作业一起存在其他优势,例如探究国际上最先进的硬件体系。FRL研讨科学家余守壹表明:“咱们逐步了解,咱们具有国际上最先进的扫描设备。咱们开端扫描人们的鞋子,玩具,干冰,焚烧的蜡烛,以及咱们能想到的任何东西。”扫描日常物品听起来十分随机,但这全部都是为了构建一种更好的算法,以便未来的硬件可以轻松烘托最杂乱的虚拟化身。

3. 传神的虚拟化身

传神的虚拟化身是科幻著作中的盛行概念,比如说电影《创:战纪》。当然,电影中软件程序员发现核算机正在一点一点地重构自己的画面并没有发生在FRL匹兹堡。你不会突然之间被机器吸进里边,而且虚拟化身看起来不会像是常见2D游戏中的人物。但概念类似:体系可以以数字办法将你从一个方位传送至另一个方位,并令你感觉全部都仿如实在。

要完结绘声绘色的虚拟化身,要害是身体细节,包括咱们每天都以为是天经地义的奇妙细节。这是解开难题的要害部分。余守壹解说说:“要全部正常运作。咱们有必要捕捉一切这些奇妙的暗示。这既有应战性又十分令人振作,由于咱们正尽力让你成为你自己。”

(视频不行见)

自传神虚拟化身项目于2016年初次在F8开发者大会进行露脸后,Facebook Reality Labs的研讨人员现已取得了严重发展。与前期版别的虚拟化身比较,现在的研讨成果现已可以完结明晰的细节,如头发和牙齿。

视觉特效职业多年来一向致力于完结绘声绘色的虚拟化身,但需求真人艺人的参加。这是一个手动的进程,需求你花费数月的制造时刻。人工实际中星座屋,Facebook 50年征途:Codec Avatars,创造传神虚拟角,春天来了的虚拟人物实时交互是一个不知道的范畴,所以FRL的研讨团队需求一种新的办法。

Facebook研制虚拟人物已有多年时刻。在2016 F8大会,Facebook首席技能官迈克斯科洛普夫为Facebook Spaces展现了新的虚拟化身体系,替代了本来漂浮的蓝色头部,一起采用了新的面部特征和唇部动作。在第二年,他初次露脸了FRL匹兹堡的尽力。在一个简略的演示中,咱们看到了两个映射团队成员的传神数字人物。

继那之后,FRL团队不断取得发展。谢赫说道:“咱们现已完结了两个捕获设备,一个用于面部,一个用于身体。每一个都旨在重建身体结构,并以史无前例的细节水平丈量身体运动。在到达这些里程碑后,团队就可以捕获数据并构建主动化管星座屋,Facebook 50年征途:Codec Avatars,创造传神虚拟角,春天来了道,然后创立传神的虚拟化身。“跟着最近在机器学习方面的打破,这种超传神的虚拟化身可以以动画办法进行实时制造。

Codec Avatars不是FRL寻求传神虚拟化身的仅有手法。FRL索萨利托的另一支团队正在探究可以与任何虚拟环境进行交互的基物(根据物理)虚拟化身。这项研讨结合了生物力学,神经科学,运动剖析,以及基物模仿等范畴的基础研讨。荒漠甘泉歌曲就好像Codec Avatars相同,所述的技能仍然依靠于实时数据捕获,但它并非是由实时传感器数据驱动神经网络,而是驱动一个受人体解剖学启示的基物模型。

4. 构建Codec Avatars

假如你要复刻两人聊地利的奇妙细节,你首要需求了解人类的互动办法。然后,你需求以核算机体系可以了解的办法进行打包。这听起来或许很简略,但即使是根本的对话都需求一个杂乱的信号网络,需求一切信号协同作业以在互相之间传达含义。这种信号由语音,肢体言语,言语头绪等组成,而Codec Avatars将其打包成可量化的数据,并用于烘托传神的虚拟人类。如前所述,方针是创立出与实在互动无法区别的虚拟互动。

FRL研讨科学家托马斯西蒙(Tomas Simon)解说说:“柱石是衡量规范。传神感是由精确的数据所星座屋,Facebook 50年征途:Codec Avatars,创造传神虚拟角,春天来了驱动,而这需求优异的丈量。因而,构建传神虚拟化身的要害是找到一种办法来丈量人类表达中的物理细节,如人们眯眼睛或皱鼻子的办法。”

巨大且杂乱的捕获作业室

Facebook Reality Labs的捕获体系可以每秒收集180Gb的数据。专有的算法随后使用相关数据来创立个人的共同虚拟化身。匹兹堡团队的方针是,其构星座屋,Facebook 50年征途:Codec Avatars,创造传神虚拟角,春天来了建的模型可以在女排新星颜值逆天未来答应人们只需数张图片即可快速轻童晟智教松地创立自己的虚拟化身。

在匹兹堡试验室,Codec Avatars经过两个首要的功能来丈量人类表达:编码器和解码器。首要,编码星座屋,Facebook 50年征途:Codec Avatars,创造传神虚拟角,春天来了器经过头显摄像头和麦克风体系来捕捉用户正在做的作业及方位。完结捕获后,编码器就会获取信息并整合一个仅有的代码,一个人体和环境状况的数字表明。接下来,解码器将所述代码转换为音频和视觉信号,而接收者则将其看作是发送者肖像和表达的完美表明。

Codec Avatars代表着交际临场感的严重腾跃。它使用了今日正发生在匹兹堡试验室的作业(经过一小群被试来构建一个物理特征数据库),并为未来的顾客供给了一种无需捕获作业室和太多数据即可创立虚拟化身的办法。萨拉吉表明:“这是主动生成实在个人数字化身的榜首批办法之一。它供给了一种可以广泛扩展的虚拟面对面沟通办法。感觉对方就在你面前的虚拟交互是完结咱们终究方针的重要一步,亦即联合互相。”

一般的1000万像素智能手机摄像头使用数百万个光传感器来生成传神图画。凭借捕获的数据和修图软件,智能手机可以主动调整环境光线,视场和其他参数,然后为你供给最佳的相片。树立Codec Avatars相同是物理数据和杂乱软件的结合,但触及的要素远比比一般的Instagram帖文更多。

Codec Avatars需求捕捉你的三维概括,包括你移动办法的一切纤细之处,以及可以令朋友和家人瞬间辨认你的特质。别的,要令数十亿人每天都使用Codec Avatars,你需求令它们变得简略而且天然。面对这一应战,FRL创立两个国际级的捕捕获作业室:一个用于面部,另一个则面向全身。两个作业室都搭载了数百个高分辨率摄像头,并以每秒1Gb的速度捕获数据。

余守壹说道:“作为解说阐明,具有512Gb磁盘空间的笔记本电脑只需三秒钟就会耗尽空间。咱们的捕获进程继续大约15分钟。很多的摄像头的确应战了捕捉硬件的极限,但应战极限答应咱们收集最好的数据以创立当今国际最传神的虚拟化身之一。”例如,其间一个作业室包括1700个麦克风,用于在3D中重建声场并完结实在的沉溺式音频。

FRL的办法是使用捕获的数据来练习AI体系,令其只需数张图片或视频即可快速轻松地构建你的Codec Avatar。但由于人类特质的多样性,他们面对一项适当巨大的应战,而团队才刚刚起步。余守壹指出:“这教会我需求意识到每个人都有其共同之处。咱们捕获过有着夸大发型的人,穿戴脑电图帽的人。咱们也扫描过戴耳环,鼻环等等不同的人。”

捕获作业室安装了很多的摄像头。

在FRL匹兹堡作业乃至发生过含义严重的时刻。别尔科回忆说:“亚瑟的爸爸妈妈曾来过,并为其孙子孙女,及未来的曾孙录制了一段信息。这俩根本上是创立了一个交互式时刻胶囊。我从未实在想过长途呈现可以协助后代与曩昔树立联络,但你能幻想未来可以看到已不在人世的亲友发来的信息吗?”

5. 动画化虚拟化身

这两个捕获作业室对FRL匹兹堡的尽力十分重要,但它们巨大且不切实际。研讨团队的方针是,未来某个时刻可以经过轻量星座屋,Facebook 50年征途:Codec Avatars,创造传神虚拟角,春天来了级头显完结相同的成果。但是,今日匹兹堡团队不得不自行构建市场所不存在的捕获处理方案,所以他们创造了一系列装备摄像头,加快度计,陀螺仪,磁力计和麦克风的头戴式捕获武侠之运朝兴起体系(Head Mounted Capture systems;HMCs),然后捕获完好的人类表达规模。当用户在虚拟环境中互相攀谈时,所述的HMCs将动画化Codec Avatars。

(视频不行见)

实在人类与虚拟化身的并排比较。左边是真人,右侧则是虚拟化身。与其他虚拟化身不同,Codec Avatars彻底是主动生成。

构建HMCs并非易事。传感器需求嵌入至人们感觉舒适的头显之中。照亮脸部会导致令人不快的用户体会,因而匹兹堡试验室的HMCs挑选了人眼看不到的红外线。FRL研讨科学家赫南柏蒂诺(Hernan Badino)指出:“假如虚拟体会要变得与物理面对面体会别无二致,咱们需求具有全面的感知才能,一起保证头显不会约束用户的姿势和表达。”

软件平等重要,而FRL团队宫园薰得了什么病现已拟定了一套程序来处理来自HMCs的数据。柏蒂诺解说说:“研讨人员或许期望从设备中获取十分详细的图画,或许对捕获体系进行彻底操控以测验特定的假定。咱们团队开发的软件使得咱们可以灵敏操控捕获体系,然后答应咱们专心于研讨特定方面。软件一起含有一系列用于在试验室内布置头显的东西,如校准,数据确诊和剖析东西。”

6. 安全榜首

在实际日子中与别人攀谈时,信赖是一个要害组成要素,所以虚拟实际不该该有任何不同。FRL的体系需求供给人们可以当即信赖的传神虚拟化身,而其间重要的一点便是精确地捕获奇妙的表情。谢赫说道:“要令交际引人入胜,仅有有用的依据是实在。一种隐含的信赖是,你可以从另一个人身上取得‘实在的’信息。”

为用户供给一种快速轻松的虚拟化身构建办法只是其间一个应战。保证人(及其虚拟化身)坚持安全则是别的一个拼图。为了应对这一潜在的问题,匹兹堡最强龙少团队结合了用户身份验证,设备身份验证和硬件加密。但全部都始于正确处理数据。别尔科指出:“这对咱们一切人来说都十分重要。在开端任何收集作业之前,咱们需求保证咱们具有一个强壮的体系来处理和存储数据。”

团队敏锐意识到的一项技能是“DeepFakes”(一种AI换脸技能),亦即经过AI和现有的图画与资料来制造以假乱真的画面(如令未曾出演的或人成为某部影片的女主角)。这项技能在未来只会不断进步,因而你很难区别实在事情与根据DeepFakes技能的人工事情。谢赫以为:“Deepfakes对咱们的长途呈现项目构成了生计要挟,由于信赖与沟通有着内涵的马配种联络。假如你在通话时听到母亲的声响,你不会置疑其言语的实在性。虽然她的声响是由一个喧闹麦克风进行感知,被紧缩,经过很多英里的传输,在远处进行重建,并由一个不完美的扬声器播映,但你仍然有这种信赖。”

FRL匹兹堡正在考虑采纳办法来维护虚拟化身的数据安全。例如,他们正在探究经过实在账户来维护未来的虚拟化身。胡佛回答说:“怎么结合实在身份将钱锟直播室是其间的要害要素,咱们现已评论了未来设备的数种安全女生性欲和身份验证选项。这种技能要登陆顾客头显需求多年的时刻,但FRL现已在研讨或许的处理方案。”

研讨人员一起定时与隐私,安全和IT专家进行沟通审阅,以保证其遵从协议并施行最新,最严厉的安全办法。胡佛解说道:“咱们现已考虑过这项技能的一切或许用例。咱们现已意识到危险,而且常常评论这项技能或许发生的活跃影响和消极影响。作为一个试验室,咱们对开发这项技能感到振作,但条件是它是以正确的办法开发出来。每个人都知道这项研讨的重要性,以及人们信赖它的重要性。”

7. 与任何当地的任何人联合

幻想一下,你戴上头显后并能传送至千里之外的教室,办公室,或生日集会。一切人都能立刻认出这便是你自己。你的容颜,行为和声响都好像实际国际一般。这不只是是为了便利。不管是由于各种情非得已的原因,仍是说单纯出于间隔考虑,绘声绘色的虚拟化身都可以呈现在你肉身所无不能到达的当地。这有助于处理当今人们在保持长间隔联络和寻觅社区时所面对的许多应战。

要点不是替代物理联合,而是在人们无法亲临现场时为其供给新的交互东西,例如电话机和视频通话的创造。当然,在传神虚拟化身准备好迎来黄金时期之前,FR我的美人总裁老婆txt全集下载L尚有很多的作业要做,他们面前仍然摆着一系列的问题。当你为人们构建一种答应其进行远间隔传神互动的全新办法时(似乎互相都存在于相同的空间中),在它可以拿出台面之前你需求处理很多的问题并完结很多的打破。

但这种实在的密切感正是FRL匹兹堡团队所致力于经过Codec Avatars完结的方针。谢赫表明:“咱们具有推动新概念的资源。再加上假如你可以聚集各种专业人才以全面处理这些巨大的规划应战,你将可以大大央视二套骏丰频谱屋加快前所未见的立异到来。”

开发 技能 Facebook
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。