字节跳动与新加坡国立大学联手打造“AI调色师“

这项由字节跳动旗下ByteDance Seed、新加坡国立大学NUS、马里兰大学UMD和香港科技大学HKUST共同完成的研究以预印本形式于2026年6月25日发布在arXiv平台论文编号为arXiv:2606.27377。感兴趣的读者可以通过这个编号在arXiv上找到完整论文。当你打开一款AI画图软件你希望它既能根据你的文字描述凭空生成一张漂亮的图又能把你手里一张普通的咖啡馆照片改成油画风格还能只把照片里的咖啡杯换掉而保留其他一切。这三件事听起来都不难但要让同一个AI模型同时做好这三件事却是一件极其头疼的事情。这就像要求同一个厨师既要做出米其林级别的原创料理又要按照顾客的菜单精准复刻一道老菜还要在不改变整桌菜肴风味的前提下悄悄换掉其中一道菜的食材。这三件事对厨师的要求完全不同甚至有时候相互冲突——追求极致创意的厨师往往很难忍受照单复刻而专门改菜的厨师又会不断受到别动其他菜的束缚。研究团队把这个困境提炼成一个核心问题怎样让一个AI模型同时掌握多种能力并且这些能力之间不会互相拖后腿他们的答案就是这篇论文所介绍的方法——DanceOPD一个现场取经式的生成能力蒸馏框架。一、为什么AI同时学多种技能这么难要理解这个问题先得知道现代AI图像生成模型是怎么工作的。这类模型的本质是在一张满是噪点的雪花屏上一步一步地擦去噪点最终还原出一张清晰的图像。每一步擦除的方向和力度就是所谓的速度场——模型在每个时刻、每个位置都需要判断应该往哪个方向擦。当模型只需要做一件事比如纯粹的文字生图它只需要学会一种擦除方式。但当你要求它同时掌握自由创作、局部精确修改和整体风格改变三种截然不同的能力时麻烦就来了。文字生图需要模型放开手脚天马行空地创作追求整体的视觉冲击力和对文字描述的忠实还原。局部编辑却要求模型小心翼翼改变指定区域的同时必须像外科手术一样保证周围区域纹丝不动。全局编辑则介于两者之间——要大幅度改变整体氛围比如把照片改成梵高风格但又不能让照片里的人变成另一个人。这三种能力的拧劲极为明显。一旦你把它们混在一起训练模型就会变得不上不下文字生图的能力被编辑任务拉偏编辑任务又被全局风格改变的思路带跑最终三种能力都只剩下平庸的平均水平。就像要求一个人同时学钢琴、游泳和举重不仅进步缓慢还可能因为肌肉记忆相互干扰而三项都学得一塌糊涂。现有的解决方案都有各自的局限。把不同类型的数据混在一起训练会导致每种能力的专项监督信号被稀释就像把三种颜料混在一起最后只会得到一锅浑浊的泥色。把不同模型的参数直接合并则像把三个厨师的菜谱强行叠加往往只会得到一个不伦不类的折中产物。而另一种思路——在推理的时候才把不同模型的信号合并相当于把问题踢给了用户模型本身根本没有真正学会如何协调这些能力。二、把每种能力看作一种速度场换个角度豁然开朗DanceOPD的出发点是一个非常优雅的重新定义。研究团队不再把文字生图能力、局部编辑能力、全局编辑能力当作三种完全不同的东西而是把它们统一看作同一片地图上的三种不同导航方式。这片地图就是模型在去噪过程中经过的状态空间——也就是从满是噪点的雪花屏到清晰图像之间的所有中间状态。无论是文字生图、局部编辑还是全局编辑模型都在同一片地图上行走只是走的路线不同。每种能力本质上就是在每个位置、每个时刻告诉模型该往哪走——这就是速度场的含义。有了这个统一视角多能力的组合问题就变成了一个如何在地图上同时服从多个向导的问题。研究团队把每个已经训练好的专项模型文字生图专家、编辑专家、风格转换专家都当作一个冻结的向导它们已经知道在每个位置该往哪走而要训练的学生模型需要学会在合适的时候听从合适的向导。这种框架带来了一个意想不到的好处连分类器自由引导CFG一种让AI生成更符合文字描述的技术手段通俗来说就是让AI更听话的程度调节器也可以被看作一种速度场被直接学进模型里省去了推理时反复计算的麻烦。三、三个关键问题向哪个向导取经、在哪里取经、取几次一旦把多能力组合转化为向多个向导取经的问题紧接着就有三个具体的设计选择必须做出而这三个选择直接决定了最终效果的好坏。第一个问题是同一张训练图应该同时向所有向导取经还是每次只向一个向导取经乍看起来同时听所有向导的建议似乎更高效——汇总所有信息不是更全面吗但问题在于不同向导给出的建议方向可能截然相反。文字生图向导说往左走局部编辑向导说往右走把两个指令平均一下结果就是哪儿也不去。这就好像你同时接到两个朋友的电话一个让你去北京一个让你去上海折中一下你就在两个城市之间的某个小城待着了哪边的会议都赶不上。DanceOPD的解决方案是硬路由每张训练图只听一个向导。文字生图的样本就向文字生图专家取经编辑样本就向编辑专家取经风格样本就向风格专家取经绝不混搭。长期下来学生模型通过大量的分门别类的训练自然而然地学会了每种情境下该走哪条路。各个能力的学习互不干扰每次更新都有清晰的语义指向。第二个问题是应该在向导熟悉的路上取经还是在学生自己走过的路上取经一个向导在自己熟悉的路上走得游刃有余但学生走的路可能和向导习惯的路有所不同。如果学生在一条向导从未走过的路上却按照向导在另一条路上给出的建议行动结果往往是南辕北辙。这就是所谓的分布偏移问题。打个比方你在一座陌生的城市迷路了打电话给在北京生活的朋友问路他按照北京的路况给你指路结果对你毫无用处因为你们根本不在同一个城市。DanceOPD的做法是每次取经都发生在学生自己走路过程中经过的真实状态上。具体来说训练时先让学生模型完整地走一遍去噪的路记录下自己实际经过的中间状态然后再在这些状态上向对应的向导取经用向导在这个状态下的建议来纠正学生。这样取经的地点就始终和学生真实的生成路径保持一致从根本上消除了路况不符的问题。第三个问题是在学生走的这条路上应该在很多地方取经还是只在一个地方取经直觉上取经的次数越多、覆盖的位置越全学习的信号越丰富效果应该越好。但研究团队发现事情没这么简单。学生在一次完整的去噪过程中所经过的所有中间状态都有一个共同点它们来自同一个初始噪点、同一段文字描述、同一次生成过程。这就像一个人在一段旅途中拍的所有照片背景都是同一片风景构图都带着同一种风格——这些照片携带的信息高度重叠你多拍一千张也不会比拍一张多告诉你太多新东西。用专业一点的说法同一次生成过程中的多个状态之间存在高度相关性用它们反复调整模型相当于反复用同一个方向的力推同一个方向结果可能适得其反——不仅浪费计算资源还可能让某些能力的训练信号被过度强调打破了不同能力之间原本的平衡。DanceOPD的选择是每次只取一个经而且专门选在去噪路径接近终点的地方取经。为什么是接近终点因为越靠近最终的清晰图像状态中包含的信息越具体——风格细节、颜色倾向、局部属性都集中在这个区域恰恰是编辑和风格相关能力最需要学习的信号最密集的地方。高噪点区域的状态主要携带的是粗糙的结构信息和具体能力关联不大。四、一步训练的完整流程把三个设计打包在一起把上面三个设计组合在一起DanceOPD的每一步训练就变成了一个简洁的流程。首先随机抽一个能力方向比如今天这个样本属于局部编辑从对应的训练数据里取一张图。接着让学生模型对这张图从头到尾走一遍去噪的路记录下整个路径但这次走路的过程不用来计算梯度只是用来看学生走到哪了。然后在靠近终点的地方选一个具体位置问局部编辑向导在这里你会怎么走把向导的建议和学生自己的判断做对比计算差距用这个差距来更新学生模型的参数。整个过程用的损失函数是最简单的速度均方误差——也就是向导建议的方向和学生实际走的方向之间的距离平方。研究团队在理论上证明了这种最简单的均方误差在一定的数学假设下等价于更复杂的KL散度一种衡量两个概率分布差异的指标所以用它作为训练目标在理论上是有充分依据的。五、实验结果四种场景全面验证研究团队在四种不同的场景下对DanceOPD进行了测试涵盖能力组合和能力吸收两大类任务使用的主要底座模型是字节跳动自研的Z-Image另外还用了SD3.5-M做真实感增强测试。第一个场景是文字生图加图像编辑的组合。这里的挑战是在让模型学会各种编辑操作换背景、换风格、换颜色、删除对象、替换对象等的同时保住它原本强大的文字生图能力。用来衡量编辑能力的指标叫GEditBench衡量文字生图能力的指标叫GenEval。DanceOPD在GEditBench的平均分上比最强的其他在线蒸馏方法高出8.1%比单独的编辑专家模型还高出8.5%。同时GenEval总分比文字生图专家模型还略高2%比所有对比方法都强。特别值得一提的是在需要大幅度视觉改变的类别上比如背景更换、风格转换DanceOPD的优势尤为明显——背景更换比DiffusionOPD高了21.9%风格转换高了21.3%。第二个场景是局部编辑和全局编辑的组合。这个场景更为棘手因为局部编辑强调保住大局只动局部而全局编辑要求大刀阔斧整体变换两种哲学几乎正面冲突。DanceOPD在GEditBench平均分上比最强竞争方法高16.1%比局部编辑专家模型还高7.9%GenEval总分也高于所有对比方法2.5%。具体来看背景更换比最强对比方法高33.5%风格转换高12.9%颜色调整高11.6%。第三个场景是真实感增强能力的吸收。这里的任务是让一个基础文字生图模型通过向一个专门训练过的高真实感向导学习让生成的图像更接近真实照片的质感同时不损失原来的文字理解能力。DanceOPD的真实感评分比离线蒸馏方法高9.9%成功弥合了学生模型和真实感向导之间85.3%的差距而文字生图能力的得分不仅没有下降反而比未蒸馏的学生模型提高了7.6%。第四个场景是分类器自由引导CFG的吸收。这个场景测试的是能否把通常在推理时才用到的听话程度调节直接烤进模型里减少推理时的计算量。实验发现在训练时用α作为引导强度、在推理时再用β做额外引导的话两者的效果会叠加大约相当于α×β的综合强度。最佳组合配置下GEditBench平均分比仅在训练时做吸收的方案高7.6%比仅在推理时使用引导的方案高1.4%。但如果训练和推理都用了很大的引导强度两者叠加会导致过度引导效果反而大幅下降31.2%。六、拆解实验每个设计选择到底贡献了多少为了验证每个设计选择的必要性研究团队还做了一系列仔细的消融实验一个一个地改变设计看效果如何变化。关于硬路由vs软混合的对比数据非常清晰。用均方误差损失时硬路由比软混合把所有向导的建议平均在一起高出15.2%在背景更换和删除对象这两个类别上优势分别达到20.8%和26.8%。换用另一种加权损失函数硬路由依然高出10.6%。这说明核心问题不在于用什么损失函数而在于每次取经时目标是否清晰。关于同步积累vs轮流更新的对比实验设置了每次更新同时考虑三种能力的情况同步积累结果平均分比单次更新下降了4.6%而且不同能力之间的平衡被打乱——某些能力的分数上升了但另一些能力特别是删除对象和添加对象分别下降了13.5%和17.5%。当同步积累还叠加了多状态密集取经时情况更糟平均分下降22.8%添加对象下降28.9%删除对象更是暴跌46%。关于密集取经时的相关性问题研究团队用了一个有趣的验证方式把原本确定性的去噪路径ODE换成加了随机噪声的路径SDE看能不能减少不同取经点之间的相关性从而缓解密集取经的问题。结果发现加噪声确实把密集取经的差结果改善了18.4%这是对相关性是问题根源的间接证明。但即便如此改善后的结果依然比单次语义侧取经低8.6%而且加噪声本身也影响了另外一些情况下的表现。所以最安全的选择依然是从一开始就用单次语义侧取经。关于取经位置的选择实验对比了在靠近终点低噪声、中间位置中噪声和远离终点高噪声三种区域取经的效果。在2000步训练时低噪声取经比中噪声高出23.7%比高噪声高出19.5%。其中添加对象类别上低噪声分别比中、高噪声高出35.9%和46.1%背景更换比中噪声高36.1%删除对象比中噪声高42.3%。这强有力地支持了能力相关信息在低噪声区域更密集的判断。关于损失函数的选择纯粹的速度均方误差在所有测试的变体中表现最好比加权均方误差和DMD-EMA混合方案高2.8%比一致性正则化方案高4.1%比KL加权方案高4.5%。更复杂的DMD2系列变体和辅助特征蒸馏方案平均分比最简单的均方误差低15.6%到21.1%。这说明当目标是一个确定性的速度场时直接做速度回归是最稳定、最有效的选择。关于学生模型的初始化实验比较了从局部编辑专家、全局编辑专家、文字生图专家和合并初始化四种起点出发的效果。从局部编辑专家出发2000步训练后比合并初始化高37.2%比全局编辑初始化高112.8%比文字生图初始化高204.4%。这说明一个更好的初始学生意味着它从一开始走的路就更接近正确的区域向导在这些状态上给出的建议也更有价值、更可用。关于训练时用多少步数的去噪路径来生成取经位置实验发现16步是一个不错的默认选择——比8步、20步和28步在GEditBench平均分上分别高出0.2%、3%和0.9%GenEval总分也更均衡。特别值得注意的是28步的路径在某些编辑子类上表现不错但删除对象能力比16步低了33.7%文字生图保留能力也更差。这说明更长的路径并不等于更好的取经信号因为随着路径变长靠近终点的那个取经点对应的概率质量被分散到了更多的候选位置取经的确定性反而降低了。七、理论支撑为什么这些设计选择是对的研究团队不仅做了实验验证还提供了相应的理论分析解释了为什么每个设计选择在数学上是合理的。关于均方误差等价于KL散度的问题推导的核心思路是如果把学生模型和向导在每一小步去噪中产生的状态转移都近似看作一个高斯分布也就是一个以预测方向为中心、散布开来的概率云那么两个具有相同协方差矩阵的高斯分布之间的KL散度其计算结果恰好是两个均值之间距离的平方再乘以一个与时间步相关的系数。这就是为什么速度均方误差在这个框架下是KL散度的自然近似。关于为什么要在学生自己走的路上取经研究给出了一个简单的误差界如果向导的速度场满足Lipschitz条件大意是速度场不会在空间上剧烈震荡那么在一个状态上取经和在另一个状态上取经误差最多是两个状态距离乘以一个常数。当学生走的路和取经的离线状态离得越远误差就越大。在线取经直接把这个距离压缩到零。关于软混合导致目标偏差的问题数学表达非常直接如果把多个向导的速度场加权平均得到的混合目标和当前样本的正确向导之间差距是所有非当前向导的速度场与当前向导的加权差之和。当不同向导对应不同任务、携带不同能力方向时这个差距的方向往往是无意义的混合会把学生的更新引向错误的方向。关于密集取经导致梯度相关的问题理论分析引入了一个标准的相关性分解公式如果你从同一条路径上取K个点每个点给出一个梯度估计这K个梯度的平均值的方差并不是单个梯度方差除以K而是单个梯度方差除以K、再乘以一个1(K-1)×相关系数的因子。当相关系数接近1时不管K多大平均梯度的方差几乎等于单个梯度的方差多取几次经完全没有降噪效果。说到底DanceOPD做的事情是把一个看起来复杂的多能力组合问题通过换个角度来看统一速度场视角拆解为三个具体的设计问题再用三个有理论依据的设计选择硬路由、在线取经、单次语义侧查询分别解决最后用最简单的损失函数串联起来得到一个稳定、高效、效果出色的框架。整个思路的精华在于它没有试图发明什么复杂的融合机制而是搞清楚了为什么不能混和在哪里听向导最有用这两个根本性的问题。当然这套方法也有其边界。它要求所有向导和学生都工作在同一个状态空间里用同一种速度场的语言说话这在现有的同系列模型里很容易满足但对于架构差异巨大的模型就不适用了。此外目前的路由是预先定好的——每种样本对应哪个向导在训练开始前就确定了这对于边界清晰的任务文字生图、编辑很合适但对于这张图既要局部改又要整体换风格这样的混合需求还需要进一步探索比如引入一个判断模型来动态分配路由。QAQ1DanceOPD解决的是什么问题ADanceOPD解决的是让一个AI图像生成模型同时掌握文字生图、局部编辑、全局风格转换等多种能力并且这些能力之间不会互相干扰的问题。传统方法把多种能力混在一起训练往往导致每种能力都变得平庸而DanceOPD通过每次只向一个向导取经、在学生自己走过的路上取经、每次只取一次经这三个设计让各种能力的学习互不干扰同时还能相互加强。Q2DanceOPD为什么只在去噪路径接近终点的地方取一次经而不是多取几次A因为同一次去噪过程中的多个状态都来自同一个初始噪点和同一段提示词携带的信息高度重叠多取几次经本质上是在用同一个方向的力反复推效果和取一次差不多但还可能打乱不同能力之间的平衡。接近终点的低噪声区域集中了风格、颜色、局部属性等能力相关信号取经效率最高。实验证明单次低噪声取经比多次取经的效果平均高出7.9%到16.6%。Q3DanceOPD与直接把多个模型参数合并有什么本质区别A直接合并参数相当于把几个厨师的菜谱强行混在一起假设不同能力在参数空间里可以线性叠加而实际上往往做不到结果是三种能力都变弱。DanceOPD让一个学生模型通过动态地、分门别类地向各个专家模型的速度场学习学生学的是在每种情况下该怎么走而不是直接把专家的记忆复制过来。实验中直接参数合并的编辑平均分只有0.344而DanceOPD达到了5.347差距极为悬殊。