中国科学院虚拟经济与数据科学研究中心

2024年2月27日，中国科学院大学计算机科学与技术学院博士研究生苏铎、中丹学院硕士研究生侯俊杰、北卡州立大学博士研究生高伟智、中国科学院虚拟经济与数据科学研究中心田英杰研究员以及华为2012实验室唐博文博士合作的科研论文“D⁴M: Dataset Distillation via Disentangled Diffusion Model”被人工智能领域的顶级会议CVPR 2024接收。

CVPR会议全称为The IEEE/CVF Conference on Computer Vision and Pattern Recognition，是人工智能和计算机视觉领域的国际顶级学术会议。在中国计算机学会的国际学术会议排名中，CVPR为人工智能领域的A类会议。

该论文提出了一种利用生成扩散模型进行大规模数据集蒸馏的新架构：D⁴M。该方法对每个类别提取其在隐式空间中的原型，并利用类别标签作为提示词来指导生成（蒸馏）过程。与传统依赖网络架构的蒸馏方法相比，D⁴M大大减少了计算开销，并且能够快速生成具有更高分辨率和更强真实性的蒸馏图像。此外，由于D⁴M的蒸馏过程不依赖于特定的网络架构，其得到的图像具有通用性，能够转换为直接可用的子数据集而无需重新生成。在大规模数据集（如ImageNet-1K）蒸馏任务上，D⁴M表现出了卓越的性能，其构建的生成模型与数据蒸馏之间的关系为该领域提供了全新的视角。