Prompt 版本管理

章节：专家篇第15章
难度：⭐⭐⭐⭐ 专家级
阅读时间：25-30 分钟
核心收获：建立 Prompt 版本管理体系，实现安全可靠的迭代

18.1 理论要点：Prompt 也是代码

18.1.1 为什么需要版本管理

问题： - Prompt 经常需要调整优化 - 调整后效果不好，需要回滚 - 多人协作时，不知道谁改了什么 - 无法追踪历史变更

版本管理的价值： - 可追溯：知道每次变更的内容和原因 - 可回滚：改坏了可以恢复 - 可协作：多人修改不冲突 - 可比较：对比不同版本的效果

18.1.2 版本管理原则

18.1.3 版本号规范

主版本号（Major）：重大变更，不兼容
次版本号（Minor）：功能新增，向后兼容
修订号（Patch）：Bug 修复，向后兼容

示例：
v1.0.0 → v1.1.0（新增过滤维度）
v1.1.0 → v1.1.1（修复过滤bug）
v1.1.1 → v2.0.0（重构Prompt结构）

18.2 实战案例：Prompt 版本管理

18.2.1 目录结构

prompts/
├── ai-hotspot/
│   ├── README.md           # 版本说明
│   ├── v1.0.md            # 初始版本
│   ├── v1.1.md            # 增加过滤维度
│   ├── v1.2.md            # 调整权重
│   ├── current.md         # 当前版本（软链接）
│   └── changelog.md       # 变更记录

18.2.2 变更记录模板

# Changelog

## v1.2 (2026-07-25)
- 调整工具类权重：从 1.0 提升到 1.5
- 增加"新发布"关键词权重
- 排除 7 天前的旧话题

## v1.1 (2026-07-20)
- 增加相关性过滤维度
- 增加重复性检测
- 优化输出格式

## v1.0 (2026-07-10)
- 初始版本

18.2.3 版本对比工具

def compare_prompts(v1_path, v2_path):
    """对比两个版本的 Prompt"""
    with open(v1_path) as f:
        v1 = f.read()
    with open(v2_path) as f:
        v2 = f.read()

    # 计算差异
    diff = difflib.unified_diff(
        v1.splitlines(),
        v2.splitlines(),
        fromfile=f"v1 ({v1_path})",
        tofile=f"v2 ({v2_path})"
    )

    return "\n".join(diff)

18.3 A/B 测试

18.3.1 为什么需要 A/B 测试

问题：改了 Prompt，怎么知道新版本更好？

A/B 测试的价值： - 数据驱动决策 - 避免主观判断 - 量化改进效果

18.3.2 A/B 测试流程

1. 确定测试指标
   - 采纳率
   - 过滤准确率
   - 用户满意度

2. 分组测试
   - A组：旧版本 Prompt
   - B组：新版本 Prompt

3. 运行对比
   - 同时运行两个版本
   - 收集数据

4. 分析结果
   - 统计显著性检验
   - 确定哪个版本更好

5. 全量上线
   - 胜出版本成为 current
   - 失败版本回滚

18.3.3 A/B 测试代码示例

class PromptABTest:
    def __init__(self, prompt_a, prompt_b, traffic_split=0.5):
        self.prompt_a = prompt_a
        self.prompt_b = prompt_b
        self.traffic_split = traffic_split
        self.results = {"a": [], "b": []}

    def get_prompt(self, user_id):
        """根据用户ID分配版本"""
        if hash(user_id) % 100 < self.traffic_split * 100:
            return self.prompt_a, "a"
        else:
            return self.prompt_b, "b"

    def record_result(self, version, metrics):
        """记录结果"""
        self.results[version].append(metrics)

    def analyze(self):
        """分析结果"""
        a_metrics = self.results["a"]
        b_metrics = self.results["b"]

        a_avg = np.mean([m["score"] for m in a_metrics])
        b_avg = np.mean([m["score"] for m in b_metrics])

        # T 检验
        t_stat, p_value = stats.ttest_ind(
            [m["score"] for m in a_metrics],
            [m["score"] for m in b_metrics]
        )

        return {
            "a_avg": a_avg,
            "b_avg": b_avg,
            "winner": "a" if a_avg > b_avg else "b",
            "p_value": p_value,
            "significant": p_value < 0.05
        }

18.4 图文说明

📌 待补充：建议绘制以下示意图 1. Prompt 版本管理流程图 2. 版本对比 diff 图 3. A/B 测试流程图 4. 版本时间线图

18.5 常见错误

📝 版本迭代记录