反馈闭环设计

章节：专家篇第14章
难度：⭐⭐⭐⭐ 专家级
阅读时间：25-30 分钟
核心收获：建立反馈闭环，让系统持续自我优化

17.1 理论要点：自动化的最后一公里

17.1.1 反馈闭环的本质

核心公式：

自我进化 = 运行数据 → 人工反馈 → Prompt 迭代 → A/B 验证

17.1.2 反馈循环的三个环节

17.1.3 关键原则

没有反馈的自动化是"黑盒"，会随着时间和环境变化而逐渐失效。

17.2 实战案例：热点选题的反馈闭环

17.2.1 反馈数据收集

表格：【选题反馈记录】
字段：
├── 日期（日期）
├── 标题（文本）
├── 类别（单选）
├── 采纳状态（单选：已采纳/已忽略/待定）
├── 未采纳原因（文本）
├── 反馈人（人员）
└── 备注（文本）

17.2.2 定期复盘

周复盘：

1. 统计本周采纳率
   - 工具类：采纳率 80%（15/19）
   - 观点类：采纳率 30%（3/10）

2. 分析未采纳原因
   - 工具类未采纳：角度重复、时效性不足
   - 观点类未采纳：角度太老、缺乏新意

3. 调整 Prompt
   - 增加权重："优先收录新发布工具和开源项目"
   - 降低权重："观点分析类需有最新案例支撑"
   - 新增过滤："排除 7 天前的旧话题"

17.2.3 Prompt 版本管理

文件命名：ai-hotspot-prompt-v{版本号}.md

版本记录：
- v1.0：初始版本
- v1.1：2026-07-15，增加"排除旧话题"过滤
- v1.2：2026-07-20，调整工具类权重
- v1.3：2026-07-25，增加"排除已覆盖话题"过滤

每次迭代流程：
1. 修改 Prompt → v1.4
2. 手动运行 3 次验证效果
3. 记录变更原因和效果
4. 更新自动化配置
5. 保留旧版本，必要时回滚

17.3 反馈闭环架构

┌─────────────────────────────────────────┐
│           运行数据采集                    │
│  - 批次 ID、触发时间、数据源状态           │
│  - 聚合条目数、过滤后条目数               │
│  - 推送结果、耗时、成本                   │
└─────────────────────────────────────────┘
              ↓
┌─────────────────────────────────────────┐
│           人工反馈收集                    │
│  - 采纳/忽略状态                          │
│  - 未采纳原因                             │
│  - 改进建议                               │
└─────────────────────────────────────────┘
              ↓
┌─────────────────────────────────────────┐
│           定期复盘分析                    │
│  - 周度/月度复盘会议                      │
│  - 分析采纳率趋势                         │
│  - 识别系统性问题                         │
└─────────────────────────────────────────┘
              ↓
┌─────────────────────────────────────────┐
│           Prompt 迭代                     │
│  - 调整过滤维度                           │
│  - 优化输出格式                           │
│  - 更新关键词和权重                       │
└─────────────────────────────────────────┘
              ↓
┌─────────────────────────────────────────┐
│           A/B 验证                        │
│  - 新旧 Prompt 对比测试                   │
│  - 手动验证 3 次                          │
│  - 确认效果提升后上线                     │
└─────────────────────────────────────────┘
              ↓
         回到运行数据采集（循环）

17.4 图文说明

📌 待补充：建议绘制以下示意图 1. 反馈闭环流程图 2. Prompt 版本管理时间线 3. 数据源健康度仪表盘 4. 迭代效果对比图

17.5 常见错误

📝 版本迭代记录