命令行快速计算（sacrebleu）
命令行快速计算（sacrebleu）
pip install sacrebleu
echo "译文句子" | sacrebleu ref.txt -m bleu chrf
# 报告注明：大小写敏感、分词方式、参考译文份数| BLEU | 语序与词形敏感；短句惩罚明显 |
|---|---|
| chrF | 字符级重叠，对中文与形态丰富语言更稳 |
| 纪律 | 同一套预处理与参考译文下比较；跨口径分数不可比 |
翻译指标 BLEU 与 chrF
BLEU 看 n-gram 精确率加长度惩罚，chrF 看字符级 F 值；中文等语言用字符级指标更稳，两者都只作辅助。
易错点
- BLEU 在不同分词与大小写设置下差异明显；报告必须带口径
- 参考译文只有一份时，合理但不同的译法会被判低分；多参考或多指标并用
数据来源与参考
- BLEU: a Method for Automatic Evaluation of Machine Translation（Papineni et al., 2002）；chrF（Popović, 2015）