上科大学生团队研发的二次元虚拟形象生成器登上苹果中国App Store热榜

发布时间:2021-08-30浏览次数:2159

近日,一款名叫“WAND”的应用软件在苹果应用商店上线,并迅速登上中国App Store图形与设计榜下载量榜首。这是一款能便捷画出二次元虚拟形象的应用软件,由上科大孵化的叠境数字与影眸科技合作开发,目前已经提供 iPhone 和 iPad 两类设备的限时免费下载。



由一篇论文引发的创意

据团队成员,上科大信息学院2018级本科生张启煊介绍,“该软件的设计构想源于上科大计算视觉课题组的最新研究成果”。该课题组发表的研究论文”SofGAN: A Portrait Image Generator with Dynamic Styling“,提出了一个名为 SofGAN 的图像生成器,将人像的潜在空间解耦为两个子空间:几何空间和纹理空间。从两个子空间采样的潜在代码分别馈送到两个网络分支,一个生成具有规范姿态人像的 3D 几何图形,另一个生成纹理。大量实验证明该方法不仅可以生成具有独立可控几何和纹理属性的高质量人像图像,还可以很好地推广到各种应用中,例如外观一致的面部动画生成等。“学生们基于研究兴趣,自发训练了一个二次元的动画生成,于是‘WAND便这样诞生了。”


该研究提出的生成 pipeline 概览


目前,张启煊提到的这篇论文已经被计算机图形学顶级学术期刊ACM Transactions on Graphics 所接收。论文的第一作者是上科大2018级博士生陈安沛和2017级博士生刘睿洋,通讯作者为虞晶怡教授。

集娱乐与创作为一体的动漫人物形象画图软件

影眸科技研发团队(上科大信息学院学生:张启煊、张龙文、黄嘉浩、王一玮、吴迪) 一起进行讨论研发,利用课余时间与陈安沛和叠境数字的开发人员一起反复打磨优化,终于顺利推出了这款动漫人物形象画图软件。“对于喜欢二次元动漫的人来说,如果不具备专业的动漫绘画基础,就能根据自己的喜好设计人物形象,那一定很有趣。”张启煊介绍,“‘WAND‘就是这样一款软件。你只需要涂抹出人物的轮廓,它便可以通过AI来帮你生成一副人物形象。”  



不仅如此,“WAND”还可以帮助改变图片的风格,“上传一张二次元头像,通过应用软件强大的功能可以调整生成其他各类风格的版本”。画板上还有各类工具,可以供使用者来任意调整改变人物图像的细节。

软件还为使用者提供创作空间,可以从零开始进行原创,也可以导入线稿来进行上色,调整风格。目前这个软件已经受到了不少使用者的青睐,也收到了不少反馈意见,设计团队正在不断作调整,也将继续推出安卓版本,将AI图形学的相关专业技术应用于大众娱乐生活。


Wand研发团队合影


“元宇宙”形象生成技术的一次探索

近期,张启煊受邀参加了第一财经的采访,在采访中,张启煊表示他们同龄人接触到的文化是非常多元的,Wand的研发团队中既有老二次元,也有星战、国风、热血漫画等不同内容的爱好者。在他看来,Wand项目是在用户主导、AI为辅的“元宇宙”形象生成技术中的一次探索,也是他们在“二次元风格元宇宙”的一次涉足。影眸科技是上海科技大学孵化的科技创新公司,由上科大信息学院研究生吴迪同学创办,致力于探索前沿人工智能与影视特效的结合与应用。

“元宇宙”术语源自于美国著名科幻作家尼尔・斯蒂芬森1992年的小说《雪崩》。书中,尼尔・斯蒂芬森描述了一个平行于现实世界的网络世界,并将其命名为“元界”。”元宇宙“术语现在被用于描述跨不同平台访问的沉浸式共享空间,或将成为互联网巨头们竞逐的新赛道。