你肯定遇到过这种情况手里有一张任务清单比如“去厨房拿个杯子然后到客厅把遥控器放到茶几上”你闭着眼睛都能完成。但如果把同样的任务交给一个机器人尤其是让它飞在空中只通过摄像头“看”世界用自然语言“听”指令事情就变得无比复杂。它看到的每一帧图像都是局部的、扁平的它需要理解“厨房”在哪里“客厅”又是什么样子杯子可能在哪个柜子里茶几在沙发的哪个方位。这不仅仅是识别物体更是要在动态的、三维的空间里建立对环境的因果理解并规划出一条能完成复杂指令的飞行路径。这就是“空中视觉语言导航”要解决的核心难题。最近一个名为DreamFly的研究项目引起了我的注意。它没有停留在简单的“看图说话”或“指令跟随”而是提出了一个听起来就很有深度的组合因果记忆与滚动时域扩散规划。光看这两个词你可能觉得又是堆砌复杂算法的学术论文。但在我看来DreamFly 真正有价值的是它尝试解决 VLN 任务中两个最根本的痛点如何让智能体记住“为什么”要来这里以及如何在充满不确定性的未来中做出“接下来”最好的决策。这篇文章我想和你一起拆解 DreamFly。我们不只关心它“是什么”更要弄明白它为什么选择这样的技术路径以及这种思路对我们理解具身智能、机器人决策乃至更广泛的序列决策问题有什么启发。你会发现它的核心不是某个炫酷的模型而是一套关于记忆、推理与行动如何协同的工程哲学。1. 空中视觉语言导航当“看”和“听”不足以决定“飞”在深入 DreamFly 之前我们必须先理解它要解决的问题域到底有多棘手。视觉语言导航听起来很美给一句自然语言指令智能体就能在环境中移动到目标位置。但当场景从地面扩展到空中复杂度是指数级上升的。1.1 三维空间的“词汇鸿沟”地面机器人通常在一个近似二维的平面运动视角变化相对缓慢。而空中智能体如无人机在三维空间运动视角是全方位、快速变化的。一个简单的“去客厅”指令在地面可能意味着穿过一扇门在空中它可能需要智能体判断从哪个高度飞入、避开吊灯、并最终悬停在客厅区域的中心上方。这里最大的挑战是视角差异。人类说“客厅”是基于我们对客厅这个概念的抽象理解它包含沙发、电视、茶几、特定装修风格等元素。但无人机摄像头捕捉到的是一系列第一人称的、局部的、可能畸变的图像帧。它需要从这些瞬息万变的像素流中实时构建出一个与人类语言指令对齐的场景理解。这不仅仅是目标检测更是空间语义的即时推理。1.2 指令的时序依赖与因果链“拿起桌子上的红色杯子然后飞到窗边”这类指令包含了明确的时序和因果关系。执行“飞到窗边”这个动作的前提是“红色杯子”已经被拿在手中或至少被操作过。传统的 VLN 模型往往将指令作为一个整体嵌入来处理容易忽略这种动作间的因果依赖。智能体可能会直接飞向窗户完全忘记了杯子的存在。这就是“因果记忆”需要登场的原因。智能体不仅要知道自己“看过”什么更要记住自己“做过”什么以及这些“做过”的事情如何影响了当前的状态和未来的目标。它需要一种记忆机制来显式地建模“因为A所以现在B因此接下来要做C”这样的逻辑链。1.3 长视野规划的不确定性即使智能体完美理解了指令和当前环境规划路径依然是噩梦。空中路径不是简单的 A* 寻路。它需要考虑动力学约束无人机有速度、加速度、转弯半径的限制。障碍物规避障碍物是三维的且可能部分遮蔽。部分可观测性摄像头只能看到前方对于侧方和后方的环境是未知的。长程目标目标可能不在当前视野内需要一系列中间决策才能抵达。一次性规划从起点到终点的完整路径在如此不确定的环境中几乎注定失败。因为随着移动新的信息新的障碍、更好的视角会不断出现。这就需要一种能够边探索、边规划、边调整的方法也就是“滚动时域”规划的思想不要试图一眼看到底而是基于当前最佳认知规划未来一小段最优路径执行一步然后根据新的观察重新规划。DreamFly 的巧妙之处就在于它用“因果记忆”来解决历史依赖问题用“滚动时域扩散规划”来解决未来不确定性问题并将两者紧密耦合。2. 因果记忆不只是记住而是理解“为何而来”记忆模块是许多智能系统的标配但 DreamFly 中的Causal Memory有更特定的设计目的。它不是简单地存储过去的图像或状态特征而是要构建一个能支持因果推理的记忆结构。2.1 记忆什么从观测到“因果图景”想象一下你在完成一个多步骤任务。你的大脑里不会像录像机一样回放所有画面而是会形成一些关键节点“我进了厨房”、“我看到了杯子在桌上”、“我拿起了杯子”、“我现在手里有杯子”。这些节点之间通过因果关系连接。DreamFly 的因果记忆试图模拟这个过程。它可能通过以下方式工作提取关键事件从连续的视频流和已执行的动作中识别出重要的状态改变时刻如“抵达某个房间”、“抓取物体”、“放下物体”。编码因果关系将这些事件以及它们对应的视觉观察、语言指令子目标以一种结构化的方式关联起来。例如形成(状态S1, 动作A1) - (状态S2)这样的关联对其中A1是为了满足指令的某一部分。记忆检索与推理当需要决定下一步动作时系统不仅查询当前的视觉观察还会主动从因果记忆中检索相关的历史事件。例如当前指令是“然后飞到窗边”记忆模块会提供“你刚刚拿起了红色杯子”这个因果前提确保当前决策不会与前提矛盾。2.2 如何实现可能是基于图的记忆网络虽然项目正文未提供细节但结合“因果”和“记忆”这两个关键词以及 VLN 领域的常见技术我们可以推测其实现可能借鉴了图神经网络或记忆增强神经网络。记忆体一个可更新的存储矩阵每个记忆槽可以存储某个时间步的压缩状态融合了视觉、语言和动作信息。因果链接记忆槽之间可以通过注意力机制或显式的边进行连接边的权重或类型表示事件间的因果强度如“导致”、“先于”。查询机制当前的状态作为查询向量与记忆体中的所有记忆进行相关性匹配最相关的记忆尤其是那些表征了因果前提的记忆会被加权读出影响当前的决策。这种设计使得记忆不再是背景信息而是直接参与前向推理的主动组件。它回答了智能体在导航中常常迷失的根本问题“我当初为什么要朝这个方向飞”3. 滚动时域扩散规划在噪声中“想象”并“筛选”未来如果说因果记忆是关于“过去为何重要”那么Receding-Horizon Diffusion Planning就是关于“未来如何抉择”。这是一个非常前沿且强大的组合。3.1 拆解“滚动时域规划”这是一个经典的控制理论概念在机器人、自动驾驶中广泛应用。其核心思想非常简单却有效预测模型基于当前状态有一个能预测未来短时间内状态变化的模型可以是动力学模型也可以是学习得到的。优化窗口只对未来固定步长例如未来5秒或10个动作的轨迹进行优化计算出一系列最优动作。执行与滚动只执行优化出的第一个动作。执行后系统状态更新收到新的传感器观测。重复以新的状态为起点再次对未来相同长度的窗口进行优化如此循环往复。这样做的好处是能及时反馈每走一步都根据最新的“现场情报”重新规划对模型误差和环境不确定性非常鲁棒。DreamFly 将其应用于 VLN意味着无人机每做一个移动决策都会基于最新的视觉观察和记忆状态重新规划未来几步的飞行路径。3.2 注入“扩散模型”的魔力传统的滚动时域规划其优化过程可能基于梯度下降或采样方法。DreamFly 引入了扩散模型这是一个关键的创新点。扩散模型的核心能力是从噪声中生成高质量数据。在规划语境下可以这样理解将规划视为生成过程我们需要生成一条未来动作序列轨迹。一开始我们只有模糊的想法噪声。迭代去噪扩散模型通过一个“去噪”过程逐步将随机的动作序列优化成一条既符合动力学约束、又能高效完成导航任务的合理轨迹。条件生成这个去噪过程不是盲目的它受到严格的条件约束当前视觉观察、因果记忆的内容、以及最终的语言指令。扩散模型学会在所有这些条件的共同指导下“想象”出最优的未来动作序列。“滚动时域”“扩散模型”的优势在于处理多模态性对于同一个当前状态可能存在多条同样好的未来路径比如绕左或绕右。扩散模型擅长捕捉这种概率分布能生成多样化的合理轨迹样本。强大的表达能力扩散模型在图像、视频生成上已证明能建模极其复杂的分布。用于轨迹生成理论上可以捕捉到非常精细、复杂的动作模式。端到端优化整个扩散规划器可以从导航成功的经验中端到端地学习不需要人工设计复杂的代价函数。在实际操作中DreamFly 的规划循环可能是这样的循环 直到任务完成 1. 感知获取当前视觉观察。 2. 记忆融合结合因果记忆形成当前状态表示。 3. 扩散规划以当前状态和指令为条件运行扩散模型生成未来K步的多个候选动作序列。 4. 评估与选择利用一个价值模型或奖励预测评估哪个候选序列最有可能成功完成指令。 5. 执行执行被选中的动作序列的第一个动作。 6. 更新记忆将新的观察和已执行的动作以因果形式更新到记忆模块。4. 从理论到实践DreamFly 思路的工程启示DreamFly 作为一个研究项目其具体架构和参数需要查阅论文才能获知。但它的设计理念给我们构建复杂的感知-决策系统提供了极具价值的工程启示。4.1 启示一记忆的设计应有“目的性”不要为了加记忆而加记忆。在工程实践中如果你觉得系统需要记忆首先要问记忆是为了解决什么具体问题如果是为了防止重复探索可能需要一个空间占据地图。如果是为了理解长指令可能需要一个存储指令子目标的栈。如果是为了维持任务逻辑一致性就像 DreamFly则需要一个能存储事件-因果关系的结构化记忆。在设计记忆模块时应明确其查询接口。下游的决策模块如何从记忆中获取信息是简单的键值查找还是复杂的图遍历这决定了记忆的编码和存储方式。4.2 启示二规划需要分层与重规划能力对于长周期、不确定的任务单层、一次性的规划器是脆弱的。DreamFly 展示了有效的分层策略高层任务理解通过语言模型和因果记忆将指令分解为逻辑步骤理解当前处于哪一步。中层滚动规划扩散模型负责在物理动作层面生成短期、精细、多模态的轨迹选项。底层控制执行规划器输出的具体动作指令。其中重规划能力至关重要。工程实现上需要设定明确的重规划触发条件固定频率如每秒一次。状态估计不确定性超过阈值。实际观测与规划预测严重偏离。任务子目标发生变化。4.3 启示三扩散模型用于规划的实际考量将扩散模型应用于机器人规划是研究热点但落地时有几点需要谨慎推理速度扩散模型的迭代去噪过程计算量较大可能无法满足高频实时控制的要求。可能需要使用蒸馏技术、更小的模型或采用“一步”近似。训练数据与稳定性需要大量高质量的轨迹数据可以是仿真或真实数据来训练扩散模型。训练过程可能不稳定需要仔细调参。安全性与约束满足生成的轨迹必须在动力学上是可行的且必须避开障碍。这需要在扩散过程中加入硬约束或通过后处理进行修正这是一个活跃的研究领域。在项目中一个务实的做法是先在仿真环境中验证扩散规划器的有效性再考虑如何优化其性能以满足真实平台的实时性要求。4.4 一个简化的系统设计思考框架基于 DreamFly 的理念我们可以为一个复杂的视觉语言导航任务勾勒一个简化的系统设计框架模块核心职责关键技术候选输出感知与理解提取视觉特征理解语言指令进行初步对齐ViT, CLIP, 语言模型当前场景的语义嵌入指令的解析表示因果记忆存储历史关键状态与动作建模其因果关联图神经网络记忆网络Transformer与当前决策相关的历史因果上下文状态融合融合当前感知、记忆上下文和任务目标注意力机制多层感知机用于规划的当前综合状态表示滚动时域规划器基于当前状态生成未来短期最优动作序列扩散模型模型预测控制强化学习未来K步的动作序列候选集轨迹评估与选择从候选序列中选出最佳序列价值网络奖励预测可行性检查即将执行的动作序列的第一个动作控制执行将离散动作转换为底层控制指令PID控制器模型预测控制电机转速、舵机角度等这个框架强调信息流的闭环执行动作后产生新的观测更新记忆进而影响下一轮的规划。这正是一个智能体“在思考中行动在行动中思考”的体现。DreamFly 项目将因果记忆和滚动时域扩散规划这两个深刻的思想结合起来指向了下一代具身智能系统的核心能力拥有对过去经历进行因果解释的能力并在此基础上对未来进行富有想象力的、稳健的规划。它不仅仅是一个导航算法更是一次关于如何让机器拥有更接近人类的、基于经验的决策智慧的探索。对于我们开发者而言或许暂时无法复现这样一个复杂的系统但可以从中汲取养分在设计下一个需要记忆和规划的系统时思考你的“记忆”是否有因果性你的“规划”是否能够面对不确定性并滚动向前。这些思想的价值远远超出一个无人机导航任务本身。 你肯定遇到过这种情况手里有一张任务清单比如“去厨房拿个杯子然后到客厅把遥控器放到茶几上”你闭着眼睛都能完成。但如果把同样的任务交给一个机器人尤其是让它飞在空中只通过摄像头“看”世界用自然语言“听”指令事情就变得无比复杂。它看到的每一帧图像都是局部的、扁平的它需要理解“厨房”在哪里“客厅”又是什么样子杯子可能在哪个柜子里茶几在沙发的哪个方位。这不仅仅是识别物体更是要在动态的、三维的空间里建立对环境的因果理解并规划出一条能完成复杂指令的飞行路径。这就是“空中视觉语言导航”要解决的核心难题。最近一个名为DreamFly的研究项目引起了我的注意。它没有停留在简单的“看图说话”或“指令跟随”而是提出了一个听起来就很有深度的组合因果记忆与滚动时域扩散规划。光看这两个词你可能觉得又是堆砌复杂算法的学术论文。但在我看来DreamFly 真正有价值的是它尝试解决 VLN 任务中两个最根本的痛点如何让智能体记住“为什么”要来这里以及如何在充满不确定性的未来中做出“接下来”最好的决策。这篇文章我想和你一起拆解 DreamFly。我们不只关心它“是什么”更要弄明白它为什么选择这样的技术路径以及这种思路对我们理解具身智能、机器人决策乃至更广泛的序列决策问题有什么启发。你会发现它的核心不是某个炫酷的模型而是一套关于记忆、推理与行动如何协同的工程哲学。1. 空中视觉语言导航当“看”和“听”不足以决定“飞”在深入 DreamFly 之前我们必须先理解它要解决的问题域到底有多棘手。视觉语言导航听起来很美给一句自然语言指令智能体就能在环境中移动到目标位置。但当场景从地面扩展到空中复杂度是指数级上升的。1.1 三维空间的“词汇鸿沟”地面机器人通常在一个近似二维的平面运动视角变化相对缓慢。而空中智能体如无人机在三维空间运动视角是全方位、快速变化的。一个简单的“去客厅”指令在地面可能意味着穿过一扇门在空中它可能需要智能体判断从哪个高度飞入、避开吊灯、并最终悬停在客厅区域的中心上方。这里最大的挑战是视角差异。人类说“客厅”是基于我们对客厅这个概念的抽象理解它包含沙发、电视、茶几、特定装修风格等元素。但无人机摄像头捕捉到的是一系列第一人称的、局部的、可能畸变的图像帧。它需要从这些瞬息万变的像素流中实时构建出一个与人类语言指令对齐的场景理解。这不仅仅是目标检测更是空间语义的即时推理。1.2 指令的时序依赖与因果链“拿起桌子上的红色杯子然后飞到窗边”这类指令包含了明确的时序和因果关系。执行“飞到窗边”这个动作的前提是“红色杯子”已经被拿在手中或至少被操作过。传统的 VLN 模型往往将指令作为一个整体嵌入来处理容易忽略这种动作间的因果依赖。智能体可能会直接飞向窗户完全忘记了杯子的存在。这就是“因果记忆”需要登场的原因。智能体不仅要知道自己“看过”什么更要记住自己“做过”什么以及这些“做过”的事情如何影响了当前的状态和未来的目标。它需要一种记忆机制来显式地建模“因为A所以现在B因此接下来要做C”这样的逻辑链。1.3 长视野规划的不确定性即使智能体完美理解了指令和当前环境规划路径依然是噩梦。空中路径不是简单的 A* 寻路。它需要考虑动力学约束无人机有速度、加速度、转弯半径的限制。障碍物规避障碍物是三维的且可能部分遮蔽。部分可观测性摄像头只能看到前方对于侧方和后方的环境是未知的。长程目标目标可能不在当前视野内需要一系列中间决策才能抵达。一次性规划从起点到终点的完整路径在如此不确定的环境中几乎注定失败。因为随着移动新的信息新的障碍、更好的视角会不断出现。这就需要一种能够边探索、边规划、边调整的方法也就是“滚动时域”规划的思想不要试图一眼看到底而是基于当前最佳认知规划未来一小段最优路径执行一步然后根据新的观察重新规划。DreamFly 的巧妙之处就在于它用“因果记忆”来解决历史依赖问题用“滚动时域扩散规划”来解决未来不确定性问题并将两者紧密耦合。2. 因果记忆不只是记住而是理解“为何而来”记忆模块是许多智能系统的标配但 DreamFly 中的Causal Memory有更特定的设计目的。它不是简单地存储过去的图像或状态特征而是要构建一个能支持因果推理的记忆结构。2.1 记忆什么从观测到“因果图景”想象一下你在完成一个多步骤任务。你的大脑里不会像录像机一样回放所有画面而是会形成一些关键节点“我进了厨房”、“我看到了杯子在桌上”、“我拿起了杯子”、“我现在手里有杯子”。这些节点之间通过因果关系连接。DreamFly 的因果记忆试图模拟这个过程。它可能通过以下方式工作提取关键事件从连续的视频流和已执行的动作中识别出重要的状态改变时刻如“抵达某个房间”、“抓取物体”、“放下物体”。编码因果关系将这些事件以及它们对应的视觉观察、语言指令子目标以一种结构化的方式关联起来。例如形成(状态S1, 动作A1) - (状态S2)这样的关联对其中A1是为了满足指令的某一部分。记忆检索与推理当需要决定下一步动作时系统不仅查询当前的视觉观察还会主动从因果记忆中检索相关的历史事件。例如当前指令是“然后飞到窗边”记忆模块会提供“你刚刚拿起了红色杯子”这个因果前提确保当前决策不会与前提矛盾。2.2 如何实现可能是基于图的记忆网络虽然项目正文未提供细节但结合“因果”和“记忆”这两个关键词以及 VLN 领域的常见技术我们可以推测其实现可能借鉴了图神经网络或记忆增强神经网络。记忆体一个可更新的存储矩阵每个记忆槽可以存储某个时间步的压缩状态融合了视觉、语言和动作信息。因果链接记忆槽之间可以通过注意力机制或显式的边进行连接边的权重或类型表示事件间的因果强度如“导致”、“先于”。查询机制当前的状态作为查询向量与记忆体中的所有记忆进行相关性匹配最相关的记忆尤其是那些表征了因果前提的记忆会被加权读出影响当前的决策。这种设计使得记忆不再是背景信息而是直接参与前向推理的主动组件。它回答了智能体在导航中常常迷失的根本问题“我当初为什么要朝这个方向飞”3. 滚动时域扩散规划在噪声中“想象”并“筛选”未来如果说因果记忆是关于“过去为何重要”那么Receding-Horizon Diffusion Planning就是关于“未来如何抉择”。这是一个非常前沿且强大的组合。3.1 拆解“滚动时域规划”这是一个经典的控制理论概念在机器人、自动驾驶中广泛应用。其核心思想非常简单却有效预测模型基于当前状态有一个能预测未来短时间内状态变化的模型可以是动力学模型也可以是学习得到的。优化窗口只对未来固定步长例如未来5秒或10个动作的轨迹进行优化计算出一系列最优动作。执行与滚动只执行优化出的第一个动作。执行后系统状态更新收到新的传感器观测。重复以新的状态为起点再次对未来相同长度的窗口进行优化如此循环往复。这样做的好处是能及时反馈每走一步都根据最新的“现场情报”重新规划对模型误差和环境不确定性非常鲁棒。DreamFly 将其应用于 VLN意味着无人机每做一个移动决策都会基于最新的视觉观察和记忆状态重新规划未来几步的飞行路径。3.2 注入“扩散模型”的魔力传统的滚动时域规划其优化过程可能基于梯度下降或采样方法。DreamFly 引入了扩散模型这是一个关键的创新点。扩散模型的核心能力是从噪声中生成高质量数据。在规划语境下可以这样理解将规划视为生成过程我们需要生成一条未来动作序列轨迹。一开始我们只有模糊的想法噪声。迭代去噪扩散模型通过一个“去噪”过程逐步将随机的动作序列优化成一条既符合动力学约束、又能高效完成导航任务的合理轨迹。条件生成这个去噪过程不是盲目的它受到严格的条件约束当前视觉观察、因果记忆的内容、以及最终的语言指令。扩散模型学会在所有这些条件的共同指导下“想象”出最优的未来动作序列。“滚动时域”“扩散模型”的优势在于处理多模态性对于同一个当前状态可能存在多条同样好的未来路径比如绕左或绕右。扩散模型擅长捕捉这种概率分布能生成多样化的合理轨迹样本。强大的表达能力扩散模型在图像、视频生成上已证明能建模极其复杂的分布。用于轨迹生成理论上可以捕捉到非常精细、复杂的动作模式。端到端优化整个扩散规划器可以从导航成功的经验中端到端地学习不需要人工设计复杂的代价函数。在实际操作中DreamFly 的规划循环可能是这样的循环 直到任务完成 1. 感知获取当前视觉观察。 2. 记忆融合结合因果记忆形成当前状态表示。 3. 扩散规划以当前状态和指令为条件运行扩散模型生成未来K步的多个候选动作序列。 4. 评估与选择利用一个价值模型或奖励预测评估哪个候选序列最有可能成功完成指令。 5. 执行执行被选中的动作序列的第一个动作。 6. 更新记忆将新的观察和已执行的动作以因果形式更新到记忆模块。4. 从理论到实践DreamFly 思路的工程启示DreamFly 作为一个研究项目其具体架构和参数需要查阅论文才能获知。但它的设计理念给我们构建复杂的感知-决策系统提供了极具价值的工程启示。4.1 启示一记忆的设计应有“目的性”不要为了加记忆而加记忆。在工程实践中如果你觉得系统需要记忆首先要问记忆是为了解决什么具体问题如果是为了防止重复探索可能需要一个空间占据地图。如果是为了理解长指令可能需要一个存储指令子目标的栈。如果是为了维持任务逻辑一致性就像 DreamFly则需要一个能存储事件-因果关系的结构化记忆。在设计记忆模块时应明确其查询接口。下游的决策模块如何从记忆中获取信息是简单的键值查找还是复杂的图遍历这决定了记忆的编码和存储方式。4.2 启示二规划需要分层与重规划能力对于长周期、不确定的任务单层、一次性的规划器是脆弱的。DreamFly 展示了有效的分层策略高层任务理解通过语言模型和因果记忆将指令分解为逻辑步骤理解当前处于哪一步。中层滚动规划扩散模型负责在物理动作层面生成短期、精细、多模态的轨迹选项。底层控制执行规划器输出的具体动作指令。其中重规划能力至关重要。工程实现上需要设定明确的重规划触发条件固定频率如每秒一次。状态估计不确定性超过阈值。实际观测与规划预测严重偏离。任务子目标发生变化。4.3 启示三扩散模型用于规划的实际考量将扩散模型应用于机器人规划是研究热点但落地时有几点需要谨慎推理速度扩散模型的迭代去噪过程计算量较大可能无法满足高频实时控制的要求。可能需要使用蒸馏技术、更小的模型或采用“一步”近似。训练数据与稳定性需要大量高质量的轨迹数据可以是仿真或真实数据来训练扩散模型。训练过程可能不稳定需要仔细调参。安全性与约束满足生成的轨迹必须在动力学上是可行的且必须避开障碍。这需要在扩散过程中加入硬约束或通过后处理进行修正这是一个活跃的研究领域。在项目中一个务实的做法是先在仿真环境中验证扩散规划器的有效性再考虑如何优化其性能以满足真实平台的实时性要求。4.4 一个简化的系统设计思考框架基于 DreamFly 的理念我们可以为一个复杂的视觉语言导航任务勾勒一个简化的系统设计框架模块核心职责关键技术候选输出感知与理解提取视觉特征理解语言指令进行初步对齐ViT, CLIP, 语言模型当前场景的语义嵌入指令的解析表示因果记忆存储历史关键状态与动作建模其因果关联图神经网络记忆网络Transformer与当前决策相关的历史因果上下文状态融合融合当前感知、记忆上下文和任务目标注意力机制多层感知机用于规划的当前综合状态表示滚动时域规划器基于当前状态生成未来短期最优动作序列扩散模型模型预测控制强化学习未来K步的动作序列候选集轨迹评估与选择从候选序列中选出最佳序列价值网络奖励预测可行性检查即将执行的动作序列的第一个动作控制执行将离散动作转换为底层控制指令PID控制器模型预测控制电机转速、舵机角度等这个框架强调信息流的闭环执行动作后产生新的观测更新记忆进而影响下一轮的规划。这正是一个智能体“在思考中行动在行动中思考”的体现。DreamFly 项目将因果记忆和滚动时域扩散规划这两个深刻的思想结合起来指向了下一代具身智能系统的核心能力拥有对过去经历进行因果解释的能力并在此基础上对未来进行富有想象力的、稳健的规划。它不仅仅是一个导航算法更是一次关于如何让机器拥有更接近人类的、基于经验的决策智慧的探索。对于我们开发者而言或许暂时无法复现这样一个复杂的系统但可以从中汲取养分在设计下一个需要记忆和规划的系统时思考你的“记忆”是否有因果性你的“规划”是否能够面对不确定性并滚动向前。这些思想的价值远远超出一个无人机导航任务本身。 
