기존 성능 평가 방법
검출 평가 방법 (IoU, Intersection over Union)
인식 평가 방법 (WEM, Word based Exactly Matching)
인식 평가 방법 (1-NED, Normalized Edit Distance)
End-to-End 평가 방법
기존 평가 방법의 문제점
정교한 성능 측정 불가 (부정확성)
One-to-Many, Many-to-One 대응 불가
One-to-Many
Many-to-One
순차(Cascade) 방식의 End-to-End 평가방법 (오류가 전파됨)
새로운 성능평가 방법 : Pop Eval
성능 평가 원리
겹치는 영역의 글자 중에서 같은 글자를 하나씩 지우는 방식을 통해 정답률을 계산하고 성능을 측정
(정답박스와 예측박스를 비교해서 맞춘 글자를 하나씩 지워가는 방식)
사람의 평가 방식과 가장 유사하며, 글자 단위로 평가하기 때문에 정교한 성능 측정이 가능
•
> many to one, one to many 문제도 처리 가능
글자단위의 평가방식이지만 기존의 단어단위 평가셋과도 호환가능
