想象这么一个场景,当你既想参与一场实时网络视频的群聊,又不希望展示个人真实形象。这时,你能自行创作一个实时的 3D 虚拟头像,你的每一个微表情和情绪都能第一时间传递给网上的朋友。
想象这么一个场景,当你既想参与一场实时网络视频的群聊,又不希望展示个人真实形象。这时,你能自行创作一个实时的 3D 虚拟头像,你的每一个微表情和情绪都能第一时间传递给网上的朋友。或者,你又是否想象过将新海诚、宫崎骏的童话世界搬进现实?你只需拍一张或真实的风景、美食,一键就能生成漫画效果。
这些有趣且实用的场景,都能够最终靠 Soul App 自主研发的 NAWA Engine 来实现。
近日,率先在国内提出构建「社交元宇宙」的 Soul App 正式对外发布自研引擎NAWA Engine(以下简称 NAWA),一个集 AI、渲染与图像处理于一体的集成化 SDK,NAWA 具有图像处理和图形渲染技术能力及美术设计能力,使用户能够直接进行低成本、高效率、多样化的 2D/3D 场景塑造,如 Soul App 备受欢迎的 3D 捏脸功能等个性化生产。
NAWA 的正式发布,特别是在 3D Avatar 能力上的自主研发,也是 Soul App 坚持开放包容、内容共创生态方针,与从底层技术创新进一步迈向元宇宙的重要标志。
据悉,NAWA 的名称来源于「女娲」的谐音,取自中国上古神话「女娲造人」之典故,寓意未来每一个参与共创的设计开发者,都能使用此技术引擎,构建自己心目中的元宇宙场景。而 Soul App 中用户捏脸的玩法和功能也让用户体味到 NAWA 带来的「创世」(创脸)的意境。
NAWA 从功能上可大致分为 2/3D 两大类,2D 能力包括人像美化、贴纸、镜头特效、风格化滤镜等;3D 能力中最重要的就是 3D Avatar,以及 3D 贴纸、AR 面具、场景渲染等,供给数以亿计的用户在 Soul App 中的各种玩法和场景中,充分展示自己的创意。
作为 Soul App 研发团队独立打造的渲染引擎,NAWA 无论是在研发技术层面还是美术设计层面,都在某些特定的程度上到达了行业头部水平,尤其是 3D Avatar 的能力。
首先,美术表现和设计风格独树一帜。NAWA 的研发延续了 Soul App 资深美术设计团队高品质的审美,沿用了该平台标志性的 2D 超萌捏脸的整套风格化,打造辨识度高的虚拟形象,融合了中国风元素,适用亚洲人的容貌特征和美型,兼具可爱度和美感。
其次,表情识别的维度丰富。NAWA 支持嘴形、舌头、眼睛等多点位识别,共有 56 个基础表情,可组合成千万个表情形态。其中,仅眼部和嘴部的识别都均有 20+的表情变化维度,且还包含眼球跟随、吐舌头、鼓腮等生动性表情识别,无论是大笑、浅笑,还是生气、悲伤,这些复杂表情的精准识别更有助于传递用户在社交过程中的情绪温度,加深彼此的交流与连接。
三是渲染性能极大的提升,整体帧率得到巨大优化。NAWA 实现了材质渲染纹理和打光的更加细腻,同时对相关算法进行了优化,在主流品牌手机上都能达到速度更快、质量更高的渲染效果,用户可明显感知到虚拟形象生成等过程更快、更及时、更具美感。
最后是素材的组合和构建更多元。NAWA 团队对虚拟原型进行重构,使得虚拟形象具备多维度捏脸系数与生动的表情成为可能,不同的形状、人脸素材和配饰素材均可以自然的驱动和组合,捏脸系数增加至 74 个维度,使用户在捏脸过程中可选择性更多,更有助于他们发挥无穷想象和创意,创造属于他们个性化的虚拟头像。
事实上,Soul App 作为新型开放式社交平台,用户的虚拟形象打造一直以来都是该平台的一大特色,而虚拟形象同时也是国内外科技巨头对元宇宙构想的一大要素。
如何将这一要素从底层技术创新上慢慢地增加构建,寻找体验更好、成本更低、更高效的解决方案,无疑是行业发展的方向和共识,Soul App 也不例外。
据悉,NAWA 项目小组成员接近 40 人,其中研发人员接近 20 人,美术设计人员有 10 多人。该项目在 2021 年 3 月立项,到现在正式对外发布历经了一年左右时间。团队扎根基础研发技术,逐步实现核心能力的自研化,使 Soul App 能在 AR/VR/元宇宙的领域内具备竞争力的同时,让其不同质于其他的产品,具备自己的独特调性。
同时,NAWA 也为更好满足产品和用户的需求创造了更宽阔的便利空间。一旦用户和产品涌现个性化需求,Soul App 就有自主能力直接为他们打造拥有独特印记和风格的形象及特效,而再不用借由第三方引擎能力去实现,达到快速响应各方需求,紧跟市场变化,获取更多用户青睐的成效。
当前,NAWA 已大范围的应用于 Soul App 的广场相机、视频匹配等功能场景中。在近期平台上火热的视频群聊功能中,有用户自发组织的云蹦迪玩法备受欢迎,用户自发组建视频群聊小组,有人充当 DJ 制造动感音乐,其余人随音乐自由舞动,每个用户都戴着自己创作的 3D 头像,兼具娱乐性和科技感。而其中,多人 3D Avatar 视频交互的方式就涵盖了 NAWA 自研技术的流畅使用。
据了解,后续在现有 2D 捏脸个性商城的基础上,Soul App 还将上线D Avatar 捏脸商城,同时也会开放用户共创机制,让 2D 虚拟头像的捏脸师们可以在 3D Avatar 的场景中继续发挥个人的创意,并创造经济收益,延续用户共创的产品生态。
目前,市场上将具有 3D Avatar 等功能的渲染引擎作为自研技术研发的产品案例并不多见,而 Soul App 则是形成了从技术自研到产品落地、使用者真实的体验的闭环。未来,NAWA 团队还将在自动化捏脸、身体形象虚拟化、场景虚拟化等功能上开展进一步研发。这也代表着,对 Soul App 未来生态的探索将不仅仅局限于虚拟社交平台的产品形态,它更是一个集自主研发、科学技术创新、设计引领等为一体的具有独特设计美感和强大技术能力的新兴企业,必将给相关行业的发展注入新鲜血液。
公司地址:北京市朝阳区酒仙桥路4号751 D·Park正东集团院内 C8座105室 极客公园