BLEU值的计算

Eric Lina · September 6, 2022

BLEU值的计算

用N-gram的共现概率衡量Candidate(译文) 与 Reference(参考) 的相似程度,从而评估翻译性能。

公式: (仅仅考虑一个Reference)

\[bleu_n= \frac{\sum_{sentence\in candidates}\sum_{n-gram\in sentece}Count_{共现}(n-gram)} {\sum_{ sentence^\prime \in candidates} \sum_{n-gram^\prime\in sentence^\prime}Count_{candicate}(n-gram^\prime)}\]

分子解释:第一个求和代表,译文内的多条句子;第二个求和代表,一句译文的N-gram与Reference重合的次数。所以分子代表所有译文中与参考共现的N-gram个数。

分母解释:与分子类似,分母代表所有译文中n-gram的个数。

若有多个Reference,分子中共现Count应取 “ 保证不大于candidate中出现的个数的情况下,然后再reference寻找词组出现的最多次。”

\[Count_{共现}{(n-gram)} = Min(Freq_{candidate}, Max(Freq_{reference_i}))\]

一般是4个Reference,因为翻译本来就没有标准答案,单个Reference可能会导致匹配率很低。

Twitter, Facebook