MT 점수 사용

컨텐츠는 영어 텍스트를 Phrase Language AI를 이용해 기계 번역한 것입니다.

자동화된 평가 메트릭은 기계 번역 시스템에서 생성된 번역의 품질을 평가하는 데 중요한 역할을 합니다. 주관적이고 시간이 많이 걸릴 수 있는 인간 평가와 달리, 자동화된 메트릭은 MT 시스템의 성능을 측정하는 빠르고 객관적이며 반복 가능한 방법을 제공합니다.

Phrase Custom AI는 기계 번역 품질을 평가하기 위해 잘 확립된 여러 자동화 메트릭을 통합합니다: BLEU, TER, chrf3 및 COMET.

다음 조건이 모두 충족되면 사용자 지정 시스템을 프로덕션 환경에 배포하는 것이 좋습니다:

BLEU 최소 5점 향상(절대값, 예: 40 대 35) 또는 chrf 최소 4점 향상.
COMET 점수의 유의미한 감소 없음.

대부분의 경우 이러한 규모의 개선은 인간 번역가가 쉽게 알아차릴 수 있으며 사후 편집 시간 단축으로 이어집니다.

권장 접근 방식

일반적으로 점수의 절대값은 언어 쌍, 도메인 및 기타 요인에 따라 달라집니다. 사용자 지정 프로세스가 얼마나 성공적이었는지 측정하려면 일반 시스템과 사용자 지정 시스템의 점수 차이를 검토하십시오.

BLEU, chrf 및 TER는 모두 MT 아웃풋과 참조 번역 간의 문자열 일치 항목을 측정합니다. 정의상 이러한 점수의 상당한 향상은 번역가의 사후 편집 노력이 줄어듦을 의미합니다.

COMET은 일반적인 의미에서 번역 품질을 측정합니다. COMET이 사용자 지정 후에 반드시 증가하는 것은 아닙니다(사용자 지정 시스템이 유사한 품질의 번역을 아웃풋할 수 있으며, 차이점은 번역이 고객의 스타일, 어조, 용어 등과 일치하는지 여부입니다). 그러나 COMET의 상당한 감소는 사용자 지정 시스템에 문제가 있음을 나타낼 수 있습니다.

사용 가능한 메트릭

Phrase Custom AI는 기계 번역 품질을 평가하기 위해 잘 확립된 여러 자동화 메트릭을 통합합니다: BLEU, TER, chrf3 및 COMET. 이러한 각 메트릭은 번역의 다양한 측면을 충족하며 번역 품질을 평가하는 고유한 접근 방식을 제공합니다.

COMET (Cross-lingual Optimized Metric for Evaluation of Translation)

Overview

COMET은 기계 학습 모델을 사용하여 번역을 평가하는 보다 최근의 지표입니다. 기존 지표와 달리 표면적인 텍스트 비교에만 의존하지 않습니다.
Working Mechanism

COMET은 인간의 판단에 대한 대규모 데이터 세트로 훈련된 신경망 모델을 사용합니다. 유창성, 적절성, 의미 보존을 포함하여 번역 품질의 다양한 측면을 고려하여 번역을 평가합니다.
사용 사례

COMET은 번역 품질에 대한 더 깊은 이해가 필요한 시나리오에서 효과적입니다. 문맥적 및 의미적 정확성이 문자 그대로의 단어 대 단어 대응보다 더 중요한 번역을 평가하는 데 특히 유용합니다.

BLEU(Bilingual Evaluation Understudy)

Overview

가장 초기이자 가장 널리 사용되는 지표 중 하나인 BLEU는 하나 이상의 고품질 참조 번역과 비교하여 기계 번역 텍스트의 품질을 평가합니다. BLEU는 기계 생성 텍스트와 참조 텍스트 간의 구문 일치도를 측정하며, 단어 일치의 정확성에 중점을 둡니다.
Working Mechanism

BLEU는 다양한 n-gram 길이(일반적으로 1~4단어)에 대한 n-gram 정확도를 계산한 다음 기하 평균을 사용하여 이러한 점수를 결합합니다. 또한 지나치게 짧은 번역이라는 문제를 해결하기 위해 길이 페널티를 포함합니다.
사용 사례

BLEU는 구문과 단어 순서의 정확한 일치가 중요한 번역을 평가하는 데 특히 효과적입니다. 그러나 정확한 일치에 대한 의존성은 더 유창하거나 관용적인 번역의 품질을 포착하는 데 제한이 될 수 있습니다.

TER(Translation Edit Rate)

Overview

TER은 기계 번역된 텍스트를 참조 번역으로 변경하는 데 필요한 편집 횟수를 측정하는 지표입니다. 이는 편집 거리 개념을 기반으로 하며 삽입, 삭제 및 대체와 같은 작업을 포함합니다. 이 목록의 다른 지표와 달리 TER 점수가 낮을수록 더 나은 번역임을 의미합니다.
Working Mechanism

TER은 기계 번역을 참조 참조 중 하나로 변환하는 데 필요한 최소 편집 횟수를 계산합니다. 그런 다음 점수는 참조 참조의 총 글자 수로 정규화됩니다.
사용 사례

TER은 사후 편집 작업이 얼마나 필요한지에 중점을 두는 번역을 평가하는 데 유용합니다. 이는 번역이 사람이 사후 편집할 시나리오에서 특히 관련이 있습니다.

chrf3 (글자 n-gram F-점수)

Overview

chrf3 또는 글자 n-gram F-점수는 글자 수준 n-gram을 기반으로 번역을 평가하는 지표입니다. 정밀도와 재현율을 모두 고려하여 둘 사이의 균형을 제공합니다.
Working Mechanism

chrf3은 기계 번역과 참조 참조 간의 글자 n-gram 중첩을 기반으로 정밀도와 재현율의 조화 평균인 F-점수를 계산합니다.
사용 사례

chrf3은 세그먼트 분할이 어렵거나 형태론적으로 풍부한 언어에 유리합니다. 또한 BLEU보다 글자 순서에 덜 민감하여, 서로 다르지만 허용 가능한 문구로 된 번역을 평가할 때 더 유연합니다.

점수 범위

지표의 절대값은 언어 쌍, 도메인 및 기타 요인에 따라 크게 달라집니다. 따라서 점수 값을 해석하기 위한 일반적인 지침을 설정하기는 어려우며, 사용자는 주로 일반 시스템과 맞춤형 시스템 간의 차이(동일한 데이터 세트에서 평가됨)를 기준으로 결정해야 합니다.

이 표는 개별 지표의 값을 해석하기 위한 유용한 출발점으로 간주할 수 있습니다.

저품질 MT 임계값 미만의 점수는 심각한 문제를 나타낼 수 있으며, 이러한 시스템은 일반적으로 추가 분석 없이 배포해서는 안 됩니다.
고품질 MT 임계값을 초과하는 점수는 일반적으로 유창하고 적절한 번역을 생성하는 매우 우수한 성능의 시스템임을 나타냅니다.

지표	범위	저품질 MT 임계값	고품질 MT 임계값
COMET	일반적으로 0에서 1까지	< 0.3	> 0.8
BLEU	0에서 100까지	< 15	> 50
TER	0에서 100까지, 낮을수록 좋습니다	> 70	< 30
chrf3	0에서 100까지	< 20	> 60