【师者】曹迎：数据驱动的设计智能

新入职教授介绍PROFILE

写给学生的话

我相信这个世界上的每一个个体都是独一无二的，具有独特的潜能和优势。所以，我希望每一位同学都可以在学习和科研的过程中，在教授的鼓励和引导下，逐渐发掘自身独特的潜能，不断探索并最终找到自己热爱且擅长的事物，并通过不懈的努力和坚持走出一条属于自己的独特道路。

研究方向和研究内容

曹迎教授的研究聚焦于计算机图形学和计算机视觉，主要是数据驱动的设计智能(Data-driven Design Intelligence)。该方向主要研究如何让计算机从数据中学习获得设计智能(即像人类一样感知、理解和创作设计的能力)，并在设计的过程中对人类进行增强。它是一个新兴的研究领域，逐渐受到像Google、Adobe等各大科技公司和一些顶级设计学院的广泛关注。构建设计智能在内容创作、在线广告、设计师能力增强等方面有着巨大的应用价值。曹迎教授为最早使用数据驱动的方法研究设计智能的研究人员之一，多年来一直致力于该方向的研究。

设计由许多不同的基本元素(例如形状、颜色、布局等)构成，并具有一些特定的功能（例如吸引眼球、引导视线、建立个性、传递信息等）。曹迎教授近年来的工作系统性地研究了如何建模和理解设计的基本元素和功能，并展示了其在设计过程中的应用。研究内容主要集中在设计布局生成、用户视觉行为预测、设计个性理解三个方面：

1）生成设计布局是设计当中的一个核心任务，基本元素的摆放可以极大地影响设计的视觉审美、用户的感官以及对设计内容的呈现。传统的布局生成模型基于启发式规则，因此生成的结果单调且无法满足一些复杂的功能性需求。为了解决这些问题，曹迎教授研究了一系列基于学习的布局生成模型，可以从数据中自动学习独特的布局风格、不同设计原则的最优平衡、内容语义和布局的关联，从而生成更加专业的设计布局。

基于内容的设计布局生成

2）预测用户在设计上的视觉行为可以为理解设计如何被用户感知和使用提供有用的信息，并为设计的优化提供重要的线索。已有的针对自然图像的模型不能在设计上进行有效预测。同时，收集用户的视觉行为数据通常需要专业的设备和严格控制的实验室环境，因此十分耗时、昂贵。为了解决这些问题，曹迎教授研究了一系列针对设计的视觉行为预测模型，可以使用少量的用户视觉行为数据取得较好的测效果。

任务驱动的用户视觉行为预测。在模型预测的热度图中，红色区域代表用户在特定任务下更可能注意的地方。

3）理解设计个性是对人们如何感知设计进行建模的关键，也是生成有效设计的重要组件之一。然而，在大量的设计数据上进行用于个性理解的细粒度标注是十分主观且昂贵的。为了解决这一问题，曹迎教授研究了一个基于深度学习的设计个性理解框架，通过弱监督的方式学习一个个性评分模型，用来分析什么使一个设计具有某种个性，并展示了该模型在各种实际设计任务中的应用。

设计个性理解。在右侧的热度图中，红色区域表示使左侧设计具有“可爱”个性的部分。

国际上对设计智能的研究仍处于起步阶段，还有很多重要的问题亟待解决。例如，如何客观地、量化地评估一个设计的好坏，如何增强人工智能生成设计的创造性和多样性，如何在使用人工智能增强的设计过程中更加充分地发挥人类的智能。这些都是未来一段时间内值得深入研究的问题。另外，随着短视频的流行，如何使用人工智能来辅助视频的设计从而更好地呈现所要讲述的故事也是一个有趣且有前景的研究方向。

对课题组学生的寄语/期待

课题组的研究属于艺术、设计和人工智能的交叉领域。如果你对人工智能如何帮做艺术和设计的创作过程有强烈的兴趣，并对科研有极大的热情，欢迎加入课题组，一同探索这个新兴的、具有挑战性的、激动人心的领域。我希望你积极、有创造力并且执着。同时，我会根据你的个人兴趣、过往经验、未来职业发展规划和目标，帮你选定相关的研究课题，并引导你有效地完成研究目标，以便让你有一段美好、难忘、成功的研究旅程。