195、视频超分中的时序一致性：光流引导的帧间约束与闪烁抑制

195、视频超分中的时序一致性：光流引导的帧间约束与闪烁抑制一段让人抓狂的调试经历去年夏天，我在处理一段监控视频的超分任务。单帧超分效果已经调得不错，PSNR能到32dB以上，但一跑视频，问题就来了——画面像得了帕金森，每一帧都在轻微抖动，尤其是边缘区域，一会儿亮一会儿暗，像老式CRT电视的闪烁。更诡异的是，这种闪烁在静态背景上最明显，树叶不动的时候反而在“呼吸”。我盯着屏幕看了半小时，差点以为自己眼花了。后来用差分图一算，相邻帧的像素差异居然有15%以上，而原始低分视频的帧间差异只有2%。问题很明确：单帧超分模型把每一帧当成独立图片处理，完全没考虑时序一致性。闪烁的本质：帧间高频信息的“失配”视频超分里的闪烁，说白了就是模型对同一场景在不同帧里“画”出了不同的高频细节。比如一堵砖墙，第1帧超分结果在砖缝位置加了锐化，第2帧却把锐化加在了砖面中间，人眼对这类高频变化极其敏感，哪怕只有1-2个像素的偏移，看起来就像在闪。更坑爹的是，这种闪烁在低分辨率输入本身就有噪声或轻微运动时会被放大。我曾经试过用EDSR直接逐帧处理一段720p视频，结果输出里出现了明显的“呼吸效应”——静态区域的亮度周期性波动，频率大概在3-5Hz，看得人头晕。光流：给帧间信息“牵线搭桥”解决闪烁的核心思路，是让模型知道“这一帧的像素和上一帧的哪个像素对应”。光流就是干这个的——它计算每个像素点在相邻帧之间的位移矢量。我最早踩过的一个坑：直接用O