Practice Ledger · 实战验证档案
实战验证与淘汰档案
任何新工具或新套路进入 SOTA 之前,都必须经过「前沿观察 → 实测中 → 已验证推荐 / 已淘汰回退」四道关。 未完成对照验证前绝不包装成定论;发现华而不实的做法,也会公开留档提醒大家避坑。
短目录式 AGENTS.md(地图而非百科)+ 机械化文档保鲜
跨厂商强收敛信号(OpenAI 与 Anthropic 独立报告巨型常驻指令文件会稀释注意力并腐化);尚未执行 SOTA 本地 Tier 1 基准实测,保持 Candidate 等待 2026-W48 验证。
要验证什么:在 SE-01/SE-03 等多文件任务中,将常驻注入的 AGENTS.md 严格控制在 <=120 行索引地图并把细则下沉至按需读取的 docs/,相比将全部规范塞入 600+ 行单文件说明,可降低 >=25% 无关上下文消耗并减少关键约束遗漏。
离线记忆整理与知识 Wiki 蒸馏(Sleep-Time Compute / Dreaming)
高价值前沿机制,但原文已坦承明显边界反例(单文档任务无收益、极端情况下 Wiki 比原文还大);当前暂留 Observation 观察,不急于增加 L2 架构复杂度。
要验证什么:在超大规模、跨多文档综合的长期知识库场景中,通过离线重放会话轨迹(Dreaming)纠错并维护链接式 Wiki,再与搜索工具并用,可在 DR-04 类跨文档追问中优于纯检索基线并节省单次查询 token。
本地确定性 CLI 优先 + MCP 按需披露/代码执行混合路由
多源交叉研究已证伪“全盘 CLI”或“全量预加载 MCP”两种极端;提炼出基于安全边界与上下文开销的混合选型规则,进入 Candidate 待 Benchmark v0 对照验证。
要验证什么:在单用户本地 SE/DA 任务中优先采用原生 CLI 与代码沙箱,仅在需要跨服务凭证隔离或结构化权限审计时使用支持按需披露/代码执行的 MCP,相比全量预加载 15+ MCP 工具定义可减少 >=30% 初始上下文开销并提升工具选择首轮命中率。
确定性机械护栏(自带修复提示 Linter)+ 经校准的独立对抗式评估器
OpenAI 与 Anthropic 在「机械化护栏 + 独立评估器须经校准」上高度共识,且后者诚实披露了开箱 LLM 做 QA 会放水失效的痛点;进入 Candidate 待 Tier 2 基准对照。
要验证什么:将高频架构与数据口径不变量编码为自带修复指引的确定性检查脚本,并对开放式质量叠加经历史错题校准的独立对抗式评估器,相比 Baseline v0 常规单测+通用自检,可将 SE/DA 预设陷阱逃逸率降低 >=40%。
并行只读调研子代理 + 耦合写入保持单线程
多方实证高度一致地支持 SOTA Baseline v0 的 L3 初始直觉(反盲目多 Agent);暂列为 Observation 作为 H-L3-01 的背景证据,待后续与单代理并行工具调用做同题对照。
要验证什么:仅在天然可并行且只读的广度调研任务(DR-01/03/04)中启用 Orchestrator + 并行子代理,而在强上下文耦合的代码写入任务(SE-01/03)保持单主写线程,可在控制 15x Token 成本爆炸的同时避免多写者上下文割裂。