FACTS Grounding作为谷歌DeepMind研发的基准测试工具，专门用于评估大型语言模型生成事实准确文本的能力。这一创新性测试通过多维度分析，为提升AI可信度提供了科学依据。

FACTS Grounding是什么

FACTS Grounding是谷歌DeepMind推出的评估大型语言模型（LLMs）能力的基准测试，衡量模型根据给定上下文生成事实准确且无捏造信息的文本的能力。FACTS Grounding测试集包含1719个跨多个领域的示例，要求模型响应必须基于长达32000个token的文档，涵盖摘要、问答和改写等任务。评估用Gemini、GPT-4o和Claude三款模型，分两个阶段：资格评估和事实准确性评估，增强模型的信任度和应用范围。

FACTS Grounding的主要功能

1. 评估语言模型的事实准确性：评估大型语言模型（LLMs）在给定上下文的情况下生成事实准确文本的能力。
2. 避免"幻觉"（捏造信息）：测试模型是否能避免生成与给定文档不相符的虚假信息，即"幻觉"。
3. 长形式响应的评估：要求模型能够处理长达32k令牌的文档，并基于此生成长形式的响应。
4. 多领域覆盖：数据集覆盖金融、科技、零售、医疗和法律等多个领域，评估模型在不同领域的应用能力。

FACTS Grounding的技术原理

1. 长形式输入处理：评估模型处理长达32k令牌的文档的能力，要求模型能理解和合成长文本信息生成响应。
2. 上下文相关性：模型生成与给定用户提示和上下文文档紧密相关的文本，确保响应完全基于提供的文档内容。
3. 自动化评审系统：用自动化评审模型（如Gemini 1.5 Pro、GPT-4o和Claude 3.5 Sonnet）评估生成的文本是否满足用户请求，且是否完全基于提供的文档。
4. 两阶段评估流程：
   1. 资格评估：判断模型的响应是否满足用户请求。
   2. 事实准确性评估：评估响应是否完全基于提供的文档，即评估是否存在"幻觉"（捏造信息）。
5. 聚合评分机制：聚合多个评审模型的结果减少单一模型的偏见，提高评估的准确性和可靠性。

FACTS Grounding的项目地址

1. 项目官网：https://deepmind.google/discover/blog/facts-grounding
2. 技术论文：https://storage.googleapis.com/deepmind-media/FACTS/FACTS_grounding

FACTS Grounding的应用场景

1. 信息检索与问答系统：在问答系统中，根据给定的文档或上下文提供准确的答案。
2. 内容摘要与生成：模型生成文档的摘要，理解长篇文档并准确提炼关键信息。
3. 文档改写与重述：在需要根据原始文档重述或改写内容的场景中，确保改写后的内容保持事实的准确性。
4. 自动化客户服务：在客户服务领域，提供基于特定信息或政策文档的准确回答，提高服务效率和质量。
5. 教育与研究：在教育领域，帮助学生和研究人员快速准确地获取信息，辅助学习和研究工作。

FACTS Grounding通过创新的评估机制，为提升AI模型的事实准确性提供了可靠解决方案，在多个领域展现出广阔的应用前景。