2025大语言模型翻译质量评测报告

北京第二外国语学院 大语言模型翻译质量评测报告（简版） BISU-AiTQA（v1.0） BISU-AiTQA（v1.0）面向国内外的六个大模型 ChatGPT、Claude、Gemini、Grok、DeepSeek 和通义千问，从当代文学、党政文献和外事新闻三个领域，在汉译英、日、俄、法、阿五个语种开展翻译质量评测研究。突破国际现有评测以英语为核心的现状，构建了以汉语为核心，覆盖多语种、多领域的大语言模型翻译质量评测体系，具有开创性意义，是促进中外人文交流，提升汉语全球表达力的积极探索。同时，该评测体系亦可广泛应用于翻译教学、语言测试等智能教学场景。 1. 研究背景 1.1 大语言模型翻译的发展现状 大语言模型的发展速度超乎想象，在翻译领域更是取得了前所未有的进展。从 ChatGPT 到 Claude、Gemini，再到国内的通义千问、DeepSeek 等模型，它们在多个语种对的翻译任务中已达到接近人类译者的水平，极大提升了译文的语言自然度、术语一致性与语篇连贯性等，正在深刻改变翻译行业、教育方式与研究范式。 1.2 核心挑战与评测需求 然而，从翻译学和语言学的角度审视，大语言模型在翻译任务中依然存在诸多挑战： 1. 复杂句式处理能力不足：在处理嵌套结构或长距离依存关系的句子时，模型往往无法准确解析其语法层级和语义关系； 2. 专业领域与文化负载问题：在专业领域，特别是文化负载较重的文本中，模型常缺乏足够的术语知识与文化理解，导致信息传递出现偏差； 3. 汉语翻译表现差距：与英文翻译任务相比，模型在处理汉语翻译时的整体表现仍存在明显差距。 这些问题使我们迫切需要构建一个系统化、可解释的评测机制，以全面揭示大模型在多语翻译任务中的真实能力和潜在短板。 1.3 机器翻译评测的发展历程 机器翻译质量评估并非新兴课题。自 2006 年 ACL 设立 WMT 以来，BLEU、METEOR、TER 等自动指标被广泛应用于机器翻译系统性能评估。然而，这些传统指标主要基于词面重合和形式对齐，难以有效捕捉译文的深层语义特征。 近年来，随着大语言模型的兴起，评测重心逐步从传统统计机器翻译转向类人翻译能力评估，涌现出 COMET、BERTScore 等基于深层语义的评估指标，能够更有效地模拟人类对语义准确性和自然度的判断，进一步推动了翻译评测领域的发展。 1.4 现有评测体系的局限性 现有评测体系仍存在三个核心问题： • 汉语地位边缘化：汉语在国际评测中仍处于边缘地位，主流评测多围绕英语展开，缺乏以汉语为源语言的评测资源； • 文本类型单一化：文本类型过于集中在通用语料，缺乏垂直领域的专业文本，无法有效评估模型在复杂专业领域中的翻译能力； • 评测视角局限性：大多数评测仍依赖单一视角，难以从语言本体出发进行系统性评估。即便引入了 MQM 等多维框架，也常面临领域适配性弱、语言学解释力不足等问题。 2. 研究内容 2.1 总体设计框架 为解决上述问题，本项目从“汉语主导、多语种、多领域”出发，构建了一个系统的翻译评测体系： • 语料维度：覆盖当代文学、党政文献与外事新闻三大领域，分别代表表达性、规范性与传播性三种语体特征； • 语种维度：设置英、日、法、俄、阿五种目标语言，实现“大语种+小语种”的组合结构； • 模型维度：涵盖 Claude-3-7-sonnet-20250219、Gemini-1.5-pro-latest、GPT-4o、Grok-3、Qwen-Plus、DeepSeek-R1 等六个中外主流大语言模型。 所有模型均通过统一 Prompt 与控制条件生成译文，确保评测的公平性与一致性。 2.2 评测指标体系 本项目构建了“双维六项”指标体系： 2.2.1 语言特征维度 • 词汇多样性：从语言学视角考察译文词汇使用的丰富程度 • 句法复杂度：评估译文句法结构的复杂程度和表达多样性 • 篇章衔接度：检验译文在篇章层面的连贯性和衔接性 2.2.2 神经网络维度 • 整体翻译质量：使用 COMET 指标，对翻译质量进行综合评估 • 语义忠实度：考察译文对原文语义的忠实度 • 语言可接受度：评估译文的自然度和可读性 语言特征维度从语言学视角出发，关注译文的语言使用特性，可有效识别模型在词法、句法和篇章衔接方面的能力；神经网络维度则借助大模型和神经网络的深层语义建模能力，考察模型对语义的理解与重构能力。 3. 评测发现与结论 3.1 整体表现分析 从整体结果来看，所有模型在神经网络维度（COMET 翻译质量、语义忠实度、语言可接受度）表现稳健：COMET 得分普遍在 0.80 左右，语义忠实度平均达到 0.85，显示当前大语言模型已具备较强的语义建模与信息还原能力。这表明在基本传达原文含义方面，模型已达到或接近人类译者水平。 然而，在语言特征维度（词汇多样性、句法复杂度、篇章衔接）上，模型间差异较大，呈现出显著的“语义强、语言弱”特征。 3.2 领域表现差异 3.2.1 党政文献领域 该领域语言规范性强、逻辑结构清晰，对术语还原、句式表达、语体风格都要求极高。Claude-3-Sonnet 在英语方向得分最高，Grok-3 和 Qwen-Plus 整体表现比较均衡。在这个领域，日语方向表现优异，多个模型均获得较高得分。 3.2.2 当代文学领域 该领域强调语言风格、文化表达，对大模型语言生成能力提出更高挑战。Qwen-Plus 在日语各维度表现最佳，Claude-3-Sonnet 在法语和英语方向的词汇和句法表现较为出色。但是所有的模型在阿语翻译上，都表现一般，尤其是语言特征维度，词汇多样性与参考译文出入较大。 3.2.3 外事新闻领域 外事新闻领域文本表达精确，涉及大量外交术语。所有模型在神经网络维度指标都普遍表现较好，尤其是日语翻译结果稳定。Qwen-Plus 和 DeepSeek-R1 在俄语翻译的两个维度都表现较好。 3.3 语种表现分析 • 英文和日文：各大模型表现稳定，语义理解与语言表达整体水平较高； • 法语和俄语：表现处于中等水平，在句法复杂性处理上略有波动； • 阿拉伯语：整体得分偏低，亟需加强模型在汉-阿方向上的训练和语种支持。 3.4 模型综合表现 • Claude-3-Sonnet 在多个语种与领域中均表现稳定，是综合能力最强的模型之一，尤其在党政与外事类文本翻译方面表现突出； • GPT-4o、Gemini-1.5-pro-latest、Grok-3 各有所长，在各个领域中都表现较为稳定； • Qwen-Plus 作为国产模型，在多个语种中展现出高水平表现，特别是在当代文学（日语）与外事新闻（俄语）中表现较好，体现出较强的语言生成能力和发展潜力； • DeedSeek-R1 在部分语言，例如汉译法和汉译俄的过程中会出现简化现象。 4. 专业译者视角的深度分析 在自动化评测之后，本项目各语种的专业教师也从译者视角对大模型译文进行了深入评析。经认真审读译文发现，大模型译文确实存在诸多问题，例如： 个别模型将“入境消费”误译为「訪日消費」，属严重事实性错误； 部分模型将“坚持用法治思维和方式开展涉外工作”概括为「外交政策を推進すべき」，此种处理虽适用于口译、新闻摘要等场合，但若用