自演进系统与反馈闭环

章节：专家篇第2章
难度：⭐⭐⭐ 专家级
阅读时间：25-30 分钟
核心收获：掌握反馈闭环设计，让自动化系统持续自我优化

7.1 理论要点：自动化的最后一公里

7.1.1 核心公式

自我进化 = 运行数据 → 人工反馈 → Prompt 迭代 → A/B 验证

7.1.2 为什么需要反馈闭环

没有反馈的自动化是"黑盒"： - Prompt 写的时候觉得很好，运行一段时间后发现不准 - 数据源质量下降，但没有及时发现 - 用户需求变化，但系统没有适应

反馈闭环的价值： - 让系统随时间推移越来越准 - 把人的经验沉淀到 Prompt 中 - 形成"数据 → 洞察 → 行动"的正循环

7.1.3 反馈循环的三个环节

7.2 实战案例：热点选题的反馈闭环

7.2.1 场景描述

AI 热点清单运行一个月后，发现： - 工具类内容被采纳率高（80%） - 观点类内容被采纳率低（30%） - 某些数据源长期质量差

7.2.2 反馈数据收集

表格设计：

表格名称：选题反馈记录

字段：
├── 日期（日期）
├── 标题（文本）
├── 类别（文本）- AI工具/AI Coding/观点分析/其他
├── 来源（文本）
├── 采纳状态（单选）- 已采纳 / 已忽略 / 待定
├── 未采纳原因（文本）- 角度太老/缺乏新意/与定位不符/其他
├── 备注（文本）

7.2.3 定期复盘流程

每周复盘（15分钟）： 1. 打开「选题反馈记录」表格 2. 筛选本周已采纳/已忽略条目 3. 统计各类别采纳率 4. 分析未采纳原因Top 3 5. 调整下周 Prompt 策略

每月深度复盘（1小时）： 1. 统计月度采纳率趋势 2. 分析数据源质量变化 3. 评估 Prompt 迭代效果 4. 制定下月优化计划

7.2.4 Prompt 迭代示例

初始 Prompt（v1.0）：

找今日AI热点，输出格式：标题/摘要/来源/建议角度

问题反馈： - 观点类内容太多，真正工具类不足 - 某些来源（如微信公众号）质量不稳定 - 缺少"本周已覆盖"标记，导致重复选题

迭代后 Prompt（v1.5）：

找今日AI热点，优先收录：
1. 新发布工具和开源项目（权重：高）
2. AI Coding 相关更新（权重：中高）
3. 有最新案例支撑的观点分析（权重：中）

排除：
- 7天前的旧话题
- 泛科技内容（非AI领域）
- 缺乏新意的观点文章

输出格式：
1. 标题
2. 一句话摘要
3. 来源
4. 建议角度
5. 是否本周已覆盖（是/否）

验证流程： 1. 修改 Prompt → v1.5 2. 手动运行 3 次，确认效果 3. 记录变更原因和效果 4. 更新自动化配置 5. 保留旧版本，必要时回滚

7.3 Prompt 版本管理

7.3.1 版本命名规范

文件命名：ai-hotspot-prompt-v{版本号}.md
示例：
- ai-hotspot-prompt-v1.0.md（初始版本）
- ai-hotspot-prompt-v1.1.md（2026-07-15，增加"排除旧话题"）
- ai-hotspot-prompt-v1.2.md（2026-07-20，调整工具类权重）

7.3.2 变更记录模板

## 变更记录

### v1.2（2026-07-20）
**变更内容**：
- 增加工具类内容权重（高 → 中高）
- 新增排除规则：7天前的旧话题
- 增加"是否本周已覆盖"字段

**验证结果**：
- 手动运行 3 次，工具类采纳率从 30% 提升到 60%
- 重复选题率从 15% 降到 5%

**回滚条件**：
- 如采纳率下降超过 20%，回滚到 v1.1

### v1.1（2026-07-15）
**变更内容**：
- 增加排除规则：泛科技内容
- 调整最低数量阈值：5 → 8

**验证结果**：
- 手动运行 3 次，有效条目平均 12 条
- 泛科技内容从 30% 降到 5%

7.3.3 迭代流程

1. 收集反馈（1周）
   ↓
2. 分析问题（30分钟）
   ↓
3. 修改 Prompt（30分钟）
   ↓
4. 手动验证 3 次（1小时）
   ↓
5. 记录变更（15分钟）
   ↓
6. 更新自动化配置（5分钟）
   ↓
7. 观察效果（1周）
   ↓
8. 效果不好则回滚，效果好则保留

7.4 数据源动态调整

7.4.1 数据源健康度评估

7.4.2 调整策略

健康（绿色）：保持不变

警告（黄色）： - 降低权重 - 增加重试次数 - 考虑备用数据源

危险（红色）： - 暂时禁用 - 寻找替代数据源 - 评估是否需要彻底替换

7.4.3 数据源替换流程

1. 评估候选数据源（1周） - 手动测试准确率和时效性 - 评估 API 稳定性和成本

2. 并行运行（1周） - 新旧数据源同时运行 - 对比结果质量和响应时间

3. 灰度切换（3天） - 新数据源占比 50% → 80% → 100% - 监控指标变化

4. 完全切换 - 下线旧数据源 - 更新文档

7.5 图文说明

📌 待补充：建议绘制以下示意图 1. 反馈闭环流程图（数据采集 → 分析 → 迭代 → 验证） 2. Prompt 版本管理时间线图 3. 数据源健康度仪表盘示意图 4. 迭代效果对比图（采纳率趋势）

7.6 常见错误

📝 版本迭代记录