LitReview Arena：基于对战式同行评审平台的文献综述智能体评估
1. 摘要
文献综述对科学进步至关重要，但严格评估自动生成的综述仍然困难重重，因为研究效用的许多方面依赖于专家判断，而非参考重叠指标。我们推出了LitReview Arena，一个对战式评估平台，采用针对文献综述质量量身定制的结构化协议：具有AI论文写作经验的领域专家对匿名草稿进行比较，匹配其专业领域内的主题，并针对五个文献综述特定标准提供分维度结果。通过该协议，我们收集了约3000条专家判断，每条包含五个维度的结果，并表明即使是最强的现有系统，在整体效用方面仅能在决定性对战中战胜人类草稿的23.0%，而诸如Sonar Deep Research等智能体LLM则显著优于基础语言模型，超过60%。我们进一步发现，现有的LLM-as-a-judge方法与人类专家存在显著偏差（Spearman's rho=0.467），尤其是在综合性强、涉及论文结构和研究建议等标准上。利用收集的偏好数据，我们提供了专家校准的评估器LitJudge，其对齐度提升至Spearman's rho=0.78，与专家间一致性相当；代码和数据公开可用，链接见https URL。
2. 引言
文献综述是科学研究的基石，它综合现有知识、识别研究空白并为未来工作奠定基础。随着人工智能生成内容（AIGC）的兴起，自动文献综述智能体应运而生，旨在辅助或替代人工综述。然而，如何客观、可靠地评估这些智能体生成的综述质量，成为该领域面临的关键挑战。传统的评估方法，如基于参考重叠的指标（如ROUGE、BLEU），往往无法捕捉综述的深层质量，如逻辑连贯性、批判性思维和领域洞察力。因此，需要一种更全面、更贴近人类专家判断的评估机制。
3. 相关工作
在文献综述评估领域，已有研究尝试使用自动指标或LLM-as-a-judge方法。自动指标如ROUGE和BLEU主要衡量文本重叠，但忽略了语义和结构质量。LLM-as-a-judge方法利用大型语言模型模拟人类评审，但研究表明其与人类专家判断的一致性有限，尤其是在需要深度领域知识的任务中。此外，一些工作探索了基于人类反馈的评估，但缺乏系统性的协议和大规模数据。LitReview Arena的提出填补了这一空白，通过引入对战式评审协议，结合专家知识，提供了更可靠的评估基准。
4. 方法
LitReview Arena采用对战式评估协议。首先，招募具有AI论文写作经验的领域专家作为评审员，确保他们具备足够的专业背景。其次，将自动生成的文献综述草稿与人类撰写的草稿进行匿名配对，并确保评审员匹配到其专业领域内的主题。评审员基于五个文献综述特定标准（如结构组织、内容准确性、批判性分析、研究建议和整体效用）对每对草稿进行分维度比较，给出偏好判断。该协议旨在模拟学术同行评审过程，提高评估的生态效度。
5. 实验与结果
我们收集了约3000条专家判断，每条包含五个维度的结果。实验结果显示，最强的现有系统（如Sonar Deep Research）在整体效用上仅能战胜人类草稿的23.0%，表明自动综述仍有很大提升空间。同时，智能体LLM（如Sonar Deep Research）显著优于基础语言模型，性能提升超过60%，凸显了智能体架构在复杂任务中的优势。此外，我们评估了现有LLM-as-a-judge方法，发现其与人类专家的对齐度较低（Spearman's rho=0.467），尤其在论文结构和研究建议等综合标准上表现不佳。
6. 讨论
我们的研究揭示了自动文献综述评估的复杂性。LLM-as-a-judge方法的局限性表明，仅依赖模型自身判断可能引入偏差，需要专家校准。LitReview Arena通过提供专家偏好数据，训练了专家校准的评估器LitJudge，其对齐度提升至Spearman's rho=0.78，与专家间一致性相当，验证了该方法的有效性。这为未来文献综述智能体的开发提供了可靠的评估工具，并强调了人类专家在评估流程中的不可替代性。
7. 结论与未来工作
本文提出了LitReview Arena，一个基于对战式同行评审的文献综述智能体评估平台。通过大规模专家判断，我们证明了现有系统的不足，并展示了智能体LLM的潜力。同时，我们提供了专家校准的评估器LitJudge，显著提高了评估对齐度。未来，我们将扩展评估协议至更多领域，并探索如何利用这些偏好数据进一步优化综述生成模型。代码和数据已公开，以促进该领域的持续研究。
LitReview Arena：基于对战式同行评审平台的文献综述智能体评估
1. 摘要
文献综述对科学进步至关重要，但严格评估自动生成的综述仍然困难重重，因为研究效用的许多方面依赖于专家判断，而非参考重叠指标。我们推出了LitReview Arena，一个对战式评估平台，采用针对文献综述质量量身定制的结构化协议：具有AI论文写作经验的领域专家对匿名草稿进行比较，匹配其专业领域内的主题，并针对五个文献综述特定标准提供分维度结果。通过该协议，我们收集了约3000条专家判断，每条包含五个维度的结果，并表明即使是最强的现有系统，在整体效用方面仅能在决定性对战中战胜人类草稿的23.0%，而诸如Sonar Deep Research等智能体LLM则显著优于基础语言模型，超过60%。我们进一步发现，现有的LLM-as-a-judge方法与人类专家存在显著偏差（Spearman's rho=0.467），尤其是在综合性强、涉及论文结构和研究建议等标准上。利用收集的偏好数据，我们提供了专家校准的评估器LitJudge，其对齐度提升至Spearman's rho=0.78，与专家间一致性相当；代码和数据公开可用，链接见https URL。
2. 引言
文献综述是科学研究的基石，它综合现有知识、识别研究空白并为未来工作奠定基础。随着人工智能生成内容（AIGC）的兴起，自动文献综述智能体应运而生，旨在辅助或替代人工综述。然而，如何客观、可靠地评估这些智能体生成的综述质量，成为该领域面临的关键挑战。传统的评估方法，如基于参考重叠的指标（如ROUGE、BLEU），往往无法捕捉综述的深层质量，如逻辑连贯性、批判性思维和领域洞察力。因此，需要一种更全面、更贴近人类专家判断的评估机制。
3. 相关工作
在文献综述评估领域，已有研究尝试使用自动指标或LLM-as-a-judge方法。自动指标如ROUGE和BLEU主要衡量文本重叠，但忽略了语义和结构质量。LLM-as-a-judge方法利用大型语言模型模拟人类评审，但研究表明其与人类专家判断的一致性有限，尤其是在需要深度领域知识的任务中。此外，一些工作探索了基于人类反馈的评估，但缺乏系统性的协议和大规模数据。LitReview Arena的提出填补了这一空白，通过引入对战式评审协议，结合专家知识，提供了更可靠的评估基准。
4. 方法
LitReview Arena采用对战式评估协议。首先，招募具有AI论文写作经验的领域专家作为评审员，确保他们具备足够的专业背景。其次，将自动生成的文献综述草稿与人类撰写的草稿进行匿名配对，并确保评审员匹配到其专业领域内的主题。评审员基于五个文献综述特定标准（如结构组织、内容准确性、批判性分析、研究建议和整体效用）对每对草稿进行分维度比较，给出偏好判断。该协议旨在模拟学术同行评审过程，提高评估的生态效度。
5. 实验与结果
我们收集了约3000条专家判断，每条包含五个维度的结果。实验结果显示，最强的现有系统（如Sonar Deep Research）在整体效用上仅能战胜人类草稿的23.0%，表明自动综述仍有很大提升空间。同时，智能体LLM（如Sonar Deep Research）显著优于基础语言模型，性能提升超过60%，凸显了智能体架构在复杂任务中的优势。此外，我们评估了现有LLM-as-a-judge方法，发现其与人类专家的对齐度较低（Spearman's rho=0.467），尤其在论文结构和研究建议等综合标准上表现不佳。
6. 讨论
我们的研究揭示了自动文献综述评估的复杂性。LLM-as-a-judge方法的局限性表明，仅依赖模型自身判断可能引入偏差，需要专家校准。LitReview Arena通过提供专家偏好数据，训练了专家校准的评估器LitJudge，其对齐度提升至Spearman's rho=0.78，与专家间一致性相当，验证了该方法的有效性。这为未来文献综述智能体的开发提供了可靠的评估工具，并强调了人类专家在评估流程中的不可替代性。
7. 结论与未来工作
本文提出了LitReview Arena，一个基于对战式同行评审的文献综述智能体评估平台。通过大规模专家判断，我们证明了现有系统的不足，并展示了智能体LLM的潜力。同时，我们提供了专家校准的评估器LitJudge，显著提高了评估对齐度。未来，我们将扩展评估协议至更多领域，并探索如何利用这些偏好数据进一步优化综述生成模型。代码和数据已公开，以促进该领域的持续研究。