【成果】硕士研究生唐浩在图像生成与分割方面取得进展

  近日，公司控制科学与工程专业2023级硕士研究生唐浩在图像生成与分割方面取得进展，相关研究成果《A Training-free Synthetic Data Selection Method for Semantic Segmentation》发表在AAAI 2025。AAAI，全称为Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence，即人工智能促进协会人工智能国际会议，是人工智能领域的顶级学术会议之一。AAAI的学术影响力覆盖广泛，涵盖机器学习、自然语言处理、计算机视觉、多智能体系统、知识图谱等多个研究方向。在各类学术会议的统计排名中，AAAI位居前列。在中国计算机学会（CCF）推荐的国际学术会议中，AAAI 被列为人工智能领域的 A 类会议。论文第一作者为唐浩，通讯作者为张冰峰副教授，BB贝博艾弗森为唯一署名单位和通讯单位，该研究得到了国家自然科学基金、山东泰山学者计划、山东省自然科学基金会和BB贝博艾弗森自主创新研究项目的资助。

图1 论文首页

利用合成数据训练语义分割器因其易于获取和数量庞大而受到广泛关注。之前的大多数方法都集中在生成大规模的合成图像注释样本，然后用所有样本训练分割器。然而，这种解决方案仍然是一个主要挑战，因为低质量的样本是不可避免的，使用它们来训练模型会破坏训练过程。本文提出了一种使用CLIP的无训练合成数据选择（SDS）策略，用于选择高质量的样本来构建可靠的合成数据集。具体来说，在给定大量合成图像注释对的情况下，我们首先设计了一个基于扰动的CLIP相似度（PCS）来衡量合成图像的可靠性，从而去除低质量图像的样本。然后，我们通过将合成注释与CLIP的响应进行比较，提出了一种类平衡注释相似性过滤器（ASF），以删除与低质量注释相关的样本。实验结果表明，使用我们的方法可以将数据大小显著减少一半，而训练好的分割器可以实现更高的性能。

图2 CLIP的无需训练的合成数据选择方法流程示意图

论文链接：https://doi.org/10.1609/aaai.v39i7.32777