OCR-free 문서 모델 비교: 다국어 영수증·수식·손글씨를 따로 검수하기

문서 모델 연구는 취약한 영역과 검증 가능한 정답에 주목합니다

2026년 6월 공개된 PaddleOCR-VL-1.6 논문은 모델이 불안정하게 처리하는 영역을 찾아 데이터와 학습을 개선하는 접근을 설명합니다. Ai2의 olmOCR 2 발표는 표·수식·읽기 순서를 검사하는 단위 검증을 학습과 평가에 활용합니다. 문서 전체의 그럴듯한 변환보다 실제로 틀리기 쉬운 요소를 분리해서 측정하는 흐름입니다.

문서 이미지를 보고 구조화된 텍스트를 직접 생성하는 접근을 OCR-free라고 부르기도 하지만, 전처리나 기존 텍스트 정보 사용 여부는 구현마다 다릅니다. 이름만 보고 문자 인식 검수가 필요 없다고 생각하면 안 됩니다. 여기서는 경비 정산에 들어오는 다국어 영수증과 첨부된 계산서·수기 메모를 기준으로 모델 선택용 시험 집합을 설계해 보겠습니다.

문서 종류보다 오류가 발생하는 요소로 자료를 나눕니다

영수증은 언어, 통화, 소수점 표기와 세금·합계의 배치가 서로 다릅니다. 같은 언어라도 흐린 감열지와 전자 영수증을 같은 집합으로 묶으면 결과를 해석하기 어렵습니다. 문서 단위 분류에 더해 작은 글씨, 겹친 도장, 다단 배치, 표의 병합 셀과 손글씨 메모 같은 요소 태그를 붙이세요. 오류가 특정 조건에 집중되는지 확인할 수 있습니다.

olmOCR 2의 발표는 영어 인쇄 문서 평가를 중심으로 설명하므로 그 결과를 한국어·일본어 영수증의 품질로 옮겨 해석하면 안 됩니다. 실제 공급처와 사용자에게 들어오는 양식을 확보하고 언어별 정답을 검토할 인력을 정합니다. 기계가 읽기 어려운 원본은 정답 자체가 불확실할 수 있으므로 검수자 간 불일치와 판독 불가 표기도 보존해야 합니다.

출력 형식이 유효한지와 원본에 충실한지를 따로 봅니다

JSON이나 Markdown이 정상적으로 만들어져도 금액이 틀릴 수 있습니다. 출력 파싱 성공, 필드 정확성, 읽기 순서와 표 구조를 따로 평가하세요. 수식은 단순한 문자열 일치 외에 연산자와 항의 관계가 유지되는지 검토합니다. 원본의 페이지·영역으로 되돌아갈 수 있는 좌표나 근거 이미지를 남기면 사람이 결과를 수정하는 시간을 줄이는 데 도움이 됩니다.

모델 비교에는 같은 원본과 같은 업무 필드, 동일한 보류 기준을 사용합니다. 쉬운 문서를 많이 처리해 평균을 높이는 대신 자료 유형별 누락과 잘못된 확정을 함께 보고하세요. 비용도 페이지 처리 비용에 재시도와 사람의 교정 시간을 더해 산정합니다. 특정 서식은 기존 OCR이 더 안정적일 수 있으므로 전체 문서를 한 모델로 바꾸는 선택만 비교할 필요는 없습니다.

경비 확정 전에는 원본과 계산 조건을 대조합니다

실제 정산 흐름에서는 모델 출력과 원본을 함께 보여 주고 금액·통화·일자가 불분명한 항목을 검토함으로 보냅니다. 합계가 맞는다는 이유만으로 개별 항목이 정확하다고 보지 말고 할인·반품·세금 줄을 별도로 확인하세요. 수정된 값은 원문 추출과 업무 보정으로 구분해 기록합니다. 이렇게 모인 실패 자료를 다음 평가에 추가하면 일반 문서 점수가 아니라 우리 정산 업무에 필요한 모델을 선택할 수 있습니다.

• 언어·품질·레이아웃별 시험 결과를 따로 보는가
• 판독 불가를 추측한 값으로 채우지 않는가
• 문자·표·수식의 검수 기준이 분리되어 있는가
• 처리 비용과 사람의 수정 시간을 함께 비교하는가