语言模型寻找何种证据令人信服

完整译文

摘要

大语言模型在生成回答时如何选择和评估证据？本文研究了LLM对不同类型证据的偏好和信任度。

通过系统性实验，我们发现LLM倾向于信任以下类型的证据：

1. 结构化数据（表格、统计）

2. 权威来源引用

3. 具体案例和实例

4. 多方验证的信息

1 引言

生成式引擎的回答质量取决于其引用的证据质量。理解LLM的证据评估机制对GEO实践具有重要指导意义。

2 实验设计

2.1 证据类型

我们设计了六种证据类型：

1. **统计数据**：具体数字和百分比

2. **专家观点**：引用领域专家

3. **案例研究**：具体实例分析

4. **对比分析**：多方对比

5. **权威引用**：引用权威来源

6. **用户评价**：用户反馈和评分

2.2 评估方法

要求LLM评估证据的可信度，并测量其对最终回答的影响。

3 主要发现

3.1 可信度排序

统计数据 > 权威引用 > 案例研究 > 对比分析 > 专家观点 > 用户评价

3.2 影响因素

• **具体性**：越具体的证据越可信
• **来源多样性**：多来源验证提升可信度
• **时效性**：最新数据更受信任

4 对GEO的启示

1. 在内容中使用具体统计数据

2. 引用权威来源增强可信度

3. 提供多来源验证

4. 保持内容时效性

5 结论

本文揭示了LLM的证据评估机制，为内容优化提供了实证依据。

参考文献

[1] Chen, Z., et al. (2024). Evidence Evaluation in LLMs. arXiv:2402.11782.