每日推送 · 2026年07月07日

📄 arXiv 论文	📕 小红书笔记
LLM Agent 2026-07-04 Agent Reinforcement Learning via Pivotal-Aware Self-Feedback Retry Weiyang Guo, Zesheng Shi, Longhui Zhang, Zeen Zhu, Min Zhang 💡 一句话总结 PivoARL通过关键感知自反馈重试框架提升Agent对失败轨迹的利用效率 arXiv PDF 📋 详细解读论文解读论文针对LLM Agent难以有效利用失败轨迹的问题，提出自反馈重试框架。核心创新是识别关键决策点，仅对这些点进行重试而非全轨迹重试，平衡计算成本和信息价值。实验表明该方法能高效提取失败经验中的关键信号，提升Agent的决策能力。	—
LLM Agent 2026-07-06 RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents Qiang Liu, Taian Guo, Ruizhi Qiao, Xing Sun 💡 一句话总结 RSPO通过奖励交换策略优化提升多轮LLM Agent的收敛速度 arXiv PDF 📋 详细解读论文解读论文研究多轮交互任务的LLM Agent强化学习训练，针对稀疏奖励导致收敛慢的问题。核心创新是奖励交换机制，在多轮交互中动态分配和交换不同步骤的奖励信号，提供更细粒度的学习信号。实验表明该方法显著加速收敛并提升最终性能。	—
LLM Agent 2026-07-06 STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training Qiuyi Qi, Tian Liang, Mutian Bao, Jinjian Zhang, Dongnan Liu 💡 一句话总结 STAPO通过选择性轨迹感知策略优化解决LLM Agent训练中的轨迹遗忘问题 arXiv PDF 📋 详细解读论文解读论文聚焦LLM Agent强化学习中的轨迹遗忘问题，即稀疏奖励下Agent丢失任务目标和交互历史。核心创新是选择性轨迹感知策略，利用语义相似性信号区分Agent内在不确定性与任务漂移。在多个长时域任务上的实验表明，STAPO显著优于基线方法，能更好地保持Agent对任务目标的关注。	—
LLM Agent 2026-07-06 MetaSkill-Evolve: Recursive Self-Improvement of LLM Agents via Two-Timescale Meta-Skill Evolution Zefeng Wang, Minxi Yan, Jinhe Bi, Sikuan Yan, Volker Tresp 💡 一句话总结 MetaSkill-Evolve通过双时间尺度元技能演化实现LLM Agent的递归自我改进 arXiv PDF 📋 详细解读论文解读论文研究了LLM Agent如何通过元技能演化实现自我改进。核心问题是固定的手写技能无法适应多样化任务。创新点在于提出双时间尺度演化机制，允许Agent根据执行轨迹重写自身技能文件。实验表明该方法能显著提升Agent在长时域开放任务中的适应性，超越了固定技能和单一时间尺度的方法。	—
LLM Agent 2026-07-06 CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents Yujiang Li, Zhenyu Hou, Yi Jing, Jie Tang, Yuxiao Dong 💡 一句话总结 CompactionRL通过上下文压缩强化学习解决长时域LLM Agent的上下文窗口限制 arXiv PDF 📋 详细解读论文解读论文针对长时域LLM Agent受限于有限上下文窗口的问题，提出将上下文压缩整合到强化学习中。核心创新是让Agent学会在交互过程中主动总结并压缩历史状态，从而在压缩上下文下继续 rollout。实验验证了该方法能有效延长Agent处理长任务的能力。	—
LLM Agent 2026-07-05 Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations Zichao Li, Gang Wu, Zichao Wang, Ruiyi Zhang, Wanrong Zhu 💡 一句话总结 HSL通过回顾性重标记从Agent轨迹中挖掘成功演示的监督信号 arXiv PDF 📋 详细解读论文解读论文针对部分可观测长时域环境中监督信号获取困难的问题，提出回顾性监督学习方法。核心创新是利用辅助LLM分析轨迹中嵌入的意外成功目标，将其转化为有效监督。在多个基准上的实验表明该方法显著提升了Agent学习效率。	—
arxiv 2026-07-06 EEG-SpikeAgent: Agentic Closed-Loop Program Synthesis for Automated EEG Spike Detection Sonali Santhosh, Kelly Shuhong Yu, Eugene Chang, Jonathan Kim, Kie Shidara 💡 一句话总结 EEG-SpikeAgent利用LLM Agent系统实现脑电癫痫放电的自动化程序综合 arXiv PDF 📋 详细解读论文解读论文提出用于头皮脑电癫痫放电检测的闭环程序综合框架。核心创新是利用LLM Agent生成信号处理特征，平衡可解释性与准确性。实验表明该方法在癫痫放电检测任务上性能接近深度学习模型，同时提供可解释的信号处理流程。	—
LLM Agent 2026-07-06 ToolFailBench: Diagnosing Tool-Use Failures in LLM Agents Harsh Soni 💡 一句话总结 ToolFailBench提供诊断LLM Agent工具使用失败的详细基准测试 arXiv PDF 📋 详细解读论文解读论文指出聚合benchmark分数掩盖了工具使用的具体失败模式，如未调用工具或忽略工具结果。核心创新是提出细粒度诊断基准，分解工具使用失败类型。在金融、医学、法律、网络安全等1000个任务上的实验揭示了当前模型在工具调用各阶段的薄弱环节。	—
LLM Agent 2026-07-06 Your Agent's Memories Are Not Its Own: Forged Reasoning Attacks on LLM Agent Memory and Defenses Neeraj Karamchandani, Piyush Nagasubramaniam, Sencun Zhu, Dinghao Wu 💡 一句话总结论文揭示针对LLM Agent记忆的伪造推理攻击并提出防御机制 arXiv PDF 📋 详细解读论文解读论文发现Agent自身的推理历史成为新的攻击面，攻击者可植入伪造记忆。核心问题是持久化记忆虽提升功能但引入安全风险。创新点在于系统性地提出伪造放大推理记忆攻击及其防御方法。实验验证了攻击的有效性和防御措施的必要性。	—
LLM Agent 2026-07-06 AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments Zhiheng Xi, Dingwen Yang, Jiaqi Liu, Jixuan Huang, Honglin Guo 💡 一句话总结 AgentGym2提出在非理想真实环境中对LLM Agent进行严格评估的基准 arXiv PDF 📋 详细解读论文解读论文指出现有Agent基准测试过于简化，脱离实际生产环境。核心问题是预封装工具接口、忽略关键步骤、假设输入干净完整。创新点在于构建更接近真实场景的评估环境，涵盖多个领域。实验揭示了当前Agent在理想环境下性能被高估的现象。	—

今日推送