자동화된 평가 메트릭은 기계 번역 시스템에서 생성된 번역의 품질을 평가하는 데 중요한 역할을 합니다. 주관적이고 시간이 많이 걸릴 수 있는 사람에 의한 평가와 달리, 자동화된 메트릭은 MT 시스템의 성능을 빠르고 객관적이며 반복 가능한 방식으로 측정할 수 있습니다.
Phrase Custom AI는 기계 번역 품질을 평가하기 위해 널리 사용되는 여러 자동화 메트릭을 활용합니다: BLEU, TER, chrf3 및 COMET.
다음 두 가지 조건이 모두 충족되는 경우 사용자 지정 시스템을 프로덕션 환경에 배포하는 것이 좋습니다.
-
BLEU 점수가 최소 5포인트 향상(절대값, 예: 40 대 35)되거나 chrf 점수가 최소 4포인트 향상됨.
-
COMET 점수의 유의미한 감소 없음.
대부분의 경우 이러한 수준의 개선은 인간 번역가가 쉽게 알아차릴 수 있으며 사후 편집 시간 단축으로 이어집니다.
권장 접근 방식
일반적으로 메트릭의 절대값은 언어 쌍, 도메인 및 기타 요인에 따라 달라집니다. 사용자 지정 프로세스가 얼마나 성공적이었는지 측정하려면 범용 시스템과 사용자 지정 시스템의 점수 차이를 확인하십시오.
BLEU, chrf 및 TER는 모두 MT 출력과 참조 번역 간의 문자열 중첩을 측정합니다. 정의상 이러한 점수가 크게 향상되면 번역가의 사후 편집 작업이 줄어듭니다.
COMET은 일반적인 의미에서 번역 품질을 측정합니다. 사용자 지정 후 COMET 점수가 반드시 높아지는 것은 아닙니다(사용자 지정 시스템이 비슷한 품질의 번역을 출력할 수 있으며, 차이는 번역이 고객의 스타일, 어조, 용어 등과 일치하는지 여부에 있습니다). 그러나 COMET 점수가 크게 감소하면 사용자 지정 시스템에 문제가 있음을 나타낼 수 있습니다.
사용 가능한 메트릭
Phrase Custom AI는 기계 번역 품질을 평가하기 위해 널리 사용되는 여러 자동화 메트릭을 활용합니다: BLEU, TER, chrf3 및 COMET. 이러한 각 메트릭은 번역의 다양한 측면에 맞춰 번역 품질을 평가하는 고유한 접근 방식을 제공합니다.
COMET 점수는 Phrase 사용자 인터페이스의 Custom AI에서만 표시됩니다. COMET은 Phrase Data에 포함되어 있지 않으며 해당 소스에서 가져올 수 없습니다. BLEU, chrf3 및 TER 점수는 Custom AI와 Phrase Data 모두에서 사용할 수 있습니다.
COMET (Cross-lingual Optimized Metric for Evaluation of Translation)
-
개요
COMET은 머신 러닝 모델을 사용하여 번역을 평가하는 비교적 최근에 개발된 메트릭입니다. 기존 메트릭과 달리 표면적인 텍스트 비교에만 의존하지 않습니다.
-
작동 메커니즘
COMET은 사람이 내린 평가가 담긴 대규모 데이터 세트로 학습된 신경망 모델을 사용합니다. COMET은 유창성, 적절성, 의미 보존을 포함한 번역 품질의 다양한 측면을 고려하여 번역을 평가합니다.
-
사용 사례
COMET은 번역 품질에 대한 더 깊은 이해가 필요한 시나리오에서 효과적입니다. 문자 그대로 단어를 일치시키는 것보다 문맥과 의미의 정확성이 중요한 번역을 평가하는 데 특히 유용합니다.
BLEU (Bilingual Evaluation Understudy)
-
개요
가장 오래되고 널리 사용되는 메트릭 중 하나인 BLEU는 기계 번역된 텍스트를 하나 이상의 고품질 참조 번역과 비교하여 품질을 평가합니다. BLEU는 기계 생성 텍스트와 참조 텍스트 간의 구문 대응을 측정하며, 단어 일치의 정밀도에 중점을 둡니다.
-
작동 메커니즘
BLEU는 다양한 n-gram 길이(일반적으로 1~4단어)에 대한 n-gram 정밀도를 계산한 다음 기하 평균을 사용하여 이러한 점수를 결합합니다. 또한 지나치게 짧은 번역 문제를 해결하기 위해 길이 페널티를 적용합니다.
-
사용 사례
BLEU는 구문과 어순의 정확한 일치가 중요한 번역을 평가하는 데 특히 효과적입니다. 그러나 정확한 일치에 의존하므로 더 유창하거나 관용적인 번역의 품질을 평가하는 데 한계가 있을 수 있습니다.
TER (Translation Edit Rate)
-
개요
TER은 기계 번역된 텍스트를 참조 번역으로 변경하는 데 필요한 편집 횟수를 측정하는 메트릭입니다. 편집 거리 개념을 기반으로 하며 삽입, 삭제, 대체와 같은 작업을 포함합니다. 이 목록의 다른 메트릭과 달리 TER 점수가 낮을수록 더 나은 번역을 의미합니다.
-
작동 메커니즘
TER은 기계 번역을 참조 번역 중 하나로 변환하는 데 필요한 최소 편집 횟수를 계산합니다. 그런 다음 점수는 참조 번역의 총 단어 수로 정규화됩니다.
-
사용 사례
TER은 사후 편집 작업량에 중점을 두는 번역을 평가하는 데 유용합니다. 사람이 번역문을 사후 편집하는 경우에 특히 유용합니다.
chrf3 (Character n-gram F-score)
-
개요
chrf3, 즉 문자 n-gram F-점수는 문자 수준의 n-gram을 기반으로 번역을 평가하는 메트릭입니다. 정밀도와 재현율을 모두 고려하여 두 값 사이의 균형을 반영합니다.
-
작동 메커니즘
chrf3은 기계 번역과 참조 텍스트 간의 문자 n-gram 중첩을 기반으로 정밀도와 재현율의 조화 평균인 F-점수를 계산합니다.
-
사용 사례
chrf3은 단어 분할이 어렵거나 형태 변화가 다양한 언어를 평가할 때 유리합니다. 또한 BLEU보다 어순에 덜 민감하므로, 표현은 다르지만 허용할 만한 번역을 더 유연하게 평가할 수 있습니다.
점수 범위
메트릭의 절대값은 언어 쌍, 도메인 및 기타 요인에 따라 크게 달라집니다. 따라서 점수 값을 해석하기 위한 일반적인 지침을 마련하기는 어려우며, 사용자는 주로 동일한 데이터 세트에서 평가한 범용 시스템과 사용자 지정 시스템의 점수 차이를 기준으로 결정해야 합니다.
이 표는 개별 메트릭의 값을 해석할 때 유용한 출발점이 될 수 있습니다:
-
저품질 MT 임계값 미만의 점수는 심각한 문제를 나타낼 수 있으며, 이러한 시스템은 일반적으로 추가 분석 없이 배포해서는 안 됩니다.
-
고품질 MT 임계값을 초과하는 점수는 일반적으로 유창하고 적절한 번역을 생성하는 매우 우수한 성능의 시스템임을 나타냅니다.
|
지표 |
범위 |
저품질 MT 임계값 |
고품질 MT 임계값 |
|---|---|---|---|
|
COMET |
일반적으로 0~1 |
< 0.3 |
> 0.8 |
|
BLEU |
0~100 |
< 15 |
> 50 |
|
TER |
0~100, 낮을수록 좋음 |
> 70 |
< 30 |
|
chrf3 |
0~100 |
< 20 |
> 60 |