【专栏】元宇宙的2大关键基础设施:贴近真实的虚拟化身与轻松创造的3D模型

2021年起,关於元宇宙(metaverse)的讨论变得热门起来。虽然至今人们对此一词汇仍没有共识,但这并不影响每个人释放自己对未来的想像。不过,我比较不擅长谈想像,因此这篇将从目前已经可见的科技进展中来一窥未来的可能性。

关键一:贴近真实的「人造」虚拟化身

我认为元宇宙中最关键的元素之一是 虚拟化身(avatar) ,也就是「我」是谁。Facebook 母公司 Meta 於 2019 年首次发表虚拟化身系统Codec Avatars 1.0,整件系统运作分成两部分:先在一个特殊摄影棚内用171台照相机取样一个人的脸部画面资讯,之後在VR装置中即时算绘(render)该模型。

「为什麽要这麽麻烦呢?都要看真人了,直接视讯对话不就得了?」或许很多人会抱着这个疑问。然而,视讯是 2D 的,无法传达3D的质感与真实度。此外,近乎真实的「人造」(synthetic)影像有更多可能性,例如更换性别、改变造型、使秃头拥有飘逸长发等。

Codec Avatars 主打「真实」,但有在 Oculus 2 上玩过 Horizon Workrooms 的人应该都知道, Meta 目前的内建虚拟化身很「卡通」,原因有二:第一,系统并没有使用者本人的模型资料;第二,为了在 Oculus 2 上即时算绘多个化身,顾及效能的情况下,只好算绘较单调的模型。

不过,Meta最近发表了 Codec Avatars 2.0,相较1.0有不少强化处。真人模型虽然还是得进特殊摄影棚取样,并且送进神经网络当中学习;但大幅进化的演算法可用更少镜头数来即时算绘模型,且算绘性能更好,最高可同时算绘5个模型。

我认为卡通化身与真人化身并不冲突,且可以并存。在多人场合中,卡通化身可兼顾效能与沟通需求;在一对一或少数人互动的场合,真人化身可让远距沟通的临场感更强。不过,Codec Avatars 目前都还只是研究阶段的产物,距离商用化还有一段不小的距离。

关键二:3D模型的创造解放

元宇宙中除了「我」是谁以外, 另一个重要的元素是 3D 模型 。人们现在能用各种工具轻松创作出有设计感的图像与影音,但要轻松创造出3D模型还有一大段距离。

用手机相机扫物件,输出3D模型这件事并不新,至少有8年的发展历史。不过,当3D引擎领头羊Epic Games自己跳下来做时,还是能引起我的注意。Epic Games宣布与Capturing Reality跟Quixel合作推出RealityScan应用,展示影片中呈现的效果超级吓人,以後人人都是建模师。

RealityScan的运作方式跟其他同类型的应用不太一样。由於主打「精致模型」,RealityScan操作起来较麻烦。首先,你不是拿着手机「扫」物件,而是不断「拍」照片,最少需要拍20张,拍愈多建出来的模就愈细致。其次,RealityScan不是在终端算图,而是把照片丢回云端。好处是可以算出更精细的模型,而且也方便资产管理。

解放人们的3D模型创造能力,是许多大厂着眼的未来趋势。文字、声音、图像的制作工具愈来愈多、愈来愈强大,还愈来愈易上手,剩下一个高度专业、或说「高度手工业」的创作领域就是3D模型了。除了技术门槛比较高,「需求」比较没这麽多也是另个主因。人人都需要用文字、声音、影像来表达,但不一定需要用到3D模型。不过,这个状况即将被一个关键字打破,没错,又是「元宇宙」。

如果「所谓的」元宇宙是一个开放、共创(UGC)、可交互(interoperable)的虚拟空间,那麽解放人们 3D 模型的创造力可谓至关重要,因为它不仅是创意的基点,也是交易标的。

最後,上述内容都牵涉到不同程度的「手工」,未来有没有可能交给 AI自动生成内容?最近电脑生成内容领域最大条的消息之一,莫过於OpenAI发表了新版的文字转图像(text to image)模型:DALL-E 2(发音同艺术家达利)。DALL-E 2是一个基於CLIP的AI模型,使用者只要给出文字描述,该系统就能自动生成2D图像。

DALL-E 2与另个有意思的领域有关:2D图像转3D。Nvidia在今年3月的发表会上发表了改良版的 Instant NeRF,一个2D照片转3D技术。

Instant NeRF 是加州大学柏克莱分校、Google研究院与加州大学圣地牙哥分校研究人员在2020年提出的运算模式,可用大量2D平面照片合成拟真的 3D场景。Nvidia表示,透过针对自家显示晶片所特化开发的神经网路学习方式,将大幅缩减 Instant NeRF 的运算时间,可在几秒钟内将2D 照片转换成拟真的3D场景,还能诠释拟真光线与景深表现,让视觉表现不会显得突兀。

透过文字产生拟真3D物件、3D场景,会是一个比产生影片还要快实现的技术道路吗?我认为这个发展将比透过文字产生影片更加有趣。 凡是能透过数位与网路的方式创造丰盛(abundance)的领域,必将创造出新的财富泉源,因为网路、或者说科技进步的价值,从来不是创造稀缺(scarcity),而是打破稀缺。

责任编辑:傅佩晴、苏柔玮

科技玩家阿綠