들어가며

가상의 임원 회의 장면을 하나 떠올려 보겠습니다. 회사에 AI를 도입하기로 뜻을 모았는데 어떤 모델을 쓸지를 두고 두 가지 의견이 맞붙습니다. 한쪽에서는 “기왕 도입하는 거 가장 크고 똑똑한 최신 범용 모델을 써야 실패하지 않는다"라고 말하고, 다른 쪽에서는 “요즘은 작고 가벼운 모델이 대세라는데 굳이 무거운 모델을 쓸 필요가 있느냐"라고 반문합니다. 두 주장 모두 그럴듯해 보이지만 사실 질문의 순서가 바뀌어 있습니다. 모델의 크기를 고르기 전에 “우리가 지금 AI에게 맡기려는 일의 경계가 어디까지인가"를 먼저 따져봐야 하거든요.

이해를 돕기 위해 가상의 중견 유통·커머스 기업을 예로 들어보겠습니다. 이 회사의 실무 현장에서는 매일 두 종류의 문서 작업이 동시에 돌아갑니다. 첫 번째는 협력사들이 올린 상품 설명서에서 ‘무상 보증 기간’을 뽑아내거나, 고객이 남긴 배송 문의를 정해진 다섯 가지 유형으로 분류하는 일입니다. 두 번째는 신규 공급사와 처음 맺는 수정 계약서를 기존 기본 계약과 비교해 적용 날짜가 충돌하는지 확인하고 특약 조항을 해석하는 일입니다.

이 두 가지 일을 사람에게 맡긴다고 생각해 볼까요? 정해진 양식에서 필요한 항목이 있는지 확인하고 기준표에 따라 분류하는 일은 꼼꼼한 정형 심사 담당자가 체크리스트를 보며 빠르게 처리할 수 있습니다. 반면 계약 양식 자체가 이번 거래 조건에 맞는지 따지고 조항 사이의 모순을 읽는 일은 숙련된 검토자가 여러 문서를 펼쳐 놓고 맥락을 해석해야 합니다. 사람의 직급이나 지능을 모델 크기에 일대일로 대응시킬 수는 없지만 두 업무의 성격과 경계가 전혀 다르다는 점만큼은 분명합니다.

앞서 다른 글에서 전사 차원의 AI 비용 구조를 다루는 FinOps나 다음 행동을 고르는 플래너·라우터 구조를 살펴본 바 있습니다. 이번 글은 그와 달리 개별 분류 작업 하나, 항목 추출 작업 하나의 능력을 어떻게 만들고 어떤 기준으로 합격 판정을 내릴 것인가에 집중합니다. 가상의 상품 보증 기간 추출 업무를 따라가며 작은 모델과 큰 모델의 역할 분담부터 품질 검증법까지 차근차근 알아보겠습니다.

모델의 크기보다 먼저 봐야 할 것, 업무의 경계입니다

많은 분이 모델의 파라미터 수(크기)를 자동차의 배기량처럼 생각하십니다. 몸집이 큰 모델은 모든 일을 잘하고 작은 모델은 단순 심부름만 겨우 해낼 것이라 짐작하는 것이죠. 하지만 실제 기업 현장에서 AI의 성패를 가르는 요소를 뜯어보면 모델의 크기, 전문화 방식, 업무의 책임 범위, 실행 환경은 서로 다른 축으로 움직입니다.

똑같이 ‘작은 모델’이라고 불러도 아무 조율 없이 투입된 범용 모델과 우리 회사의 입력 문서·출력 양식에 맞춰 다듬어진 전문 모델은 과제에 따라 결과가 크게 달라질 수 있으므로 실제 업무 시험으로 직접 비교해 봐야 합니다. 한 번에 읽을 문서 길이와 응답 속도 제약 같은 실행 환경도 중요하죠. 특히 원문에 적힌 값을 그대로 찾아내는 추출인지, 원문에 없는 결론을 도출하는 추론인지 책임 범위를 구분하지 않고 크기만으로 능력을 단정할 수는 없습니다.

가상의 유통 기업에서 상품 설명서의 ‘무상 보증 기간’을 뽑아내는 일을 자세히 들여다보겠습니다. 얼핏 보면 “보증 기간만 찾아 적으면 되니 쉬운 일 아닌가"라고 생각하기 쉽습니다. 하지만 모델에게 그냥 “보증 기간을 뽑아라"라고만 시키면 ‘1년’, ‘12개월’, ‘구입일로부터 1년(소모품 제외)‘처럼 제각각의 문장으로 답을 내놓아 사내 시스템에 바로 넣을 수 없습니다. 작은 전문 모델에게 일을 맡기려면 먼저 출력 양식과 분류 기준을 닫힌 형태로 정의해야 합니다.

예를 들어 ‘본체 무상 보증 개월 수’, ‘소모품 별도 기준 존재 여부’, ‘보증 시작 기준일’처럼 빈칸의 종류와 허용되는 값의 형태를 미리 고정하는 식입니다. 여기에 더해 “부품 보유 기간 5년"이나 “유상 수리 가능 기간"처럼 겉모습은 비슷하지만 무상 보증이 아닌 문구를 어떻게 걸러낼지, 본체와 배터리의 보증 기간이 다를 때는 어떻게 기록할지 경계를 분명히 그어주어야 합니다. 이처럼 입력과 출력의 형식이 정해져 있고 원문 안에서 근거를 바로 대조할 수 있는 분류·추출 과제가 바로 작은 전문 모델의 후보입니다.

반면 신규 공급사와 맺는 수정 계약서에서 기존 계약과 적용 날짜가 충돌하는지 살피고 협상 대안을 초안으로 작성하는 일은 어떨까요? 이런 업무는 정해진 몇 개의 빈칸으로 답이 모이지 않고 상황마다 읽어야 할 맥락이 달라집니다. 이렇게 경계가 열려 있는 다문서 해석이나, 앞으로 작은 모델을 가르치기 위해 초기 분류 기준의 초안을 잡는 일은 큰 범용 모델과 사람 전문가가 함께 맡을 영역입니다.

작은 모델은 어떻게 우리 회사 실무를 배울까요?

업무 경계와 출력 양식을 정했다면 작은 모델에게 우리 회사의 실무 기준을 어떻게 가르칠지 결정해야 합니다. 모델 내부의 판단 기준(가중치)이 실제로 바뀌는지로 나누어 보면 이해하기 쉽습니다. 지시문에 정답 예시 몇 개를 함께 적어 보내는 방식은 당장 실험하기에 편하지만 실무자에게 참고 메모를 건네주는 것일 뿐 모델 자체의 판단 기준을 바꾸는 학습이 아닙니다. 예외 규칙이 복잡해지면 매번 넣어야 할 예시가 길어지거나 일관성이 흔들릴 수 있어 우리 업무에서 어디까지 통하는지 시험해 봐야 합니다.

모델의 판단 기준을 실제로 우리 업무에 맞추는 방법은 세 가지입니다. 우리 분야의 문서를 추가로 읽혀 어휘와 문맥에 익숙해지게 하는 도메인 적응 학습, 사람이 검토한 ‘입력과 정답’ 쌍을 가르치는 미세조정, 그리고 큰 모델의 출력을 교재로 쓰는 증류입니다. 2020년 전산언어학 학회(ACL)에 발표된 도메인·과제 적응 연구 에서 연구진은 네 개 분야·여덟 개 분류 과제를 실험했습니다. 그 결과 모델 크기를 바꾸지 않고 해당 분야와 과제의 문서를 추가 학습시키는 방식이 실험 조건에서 분류 성능을 높이는 데 기여할 수 있음을 관찰했습니다. 물론 모든 실무 과제의 성패를 보장하지는 않지만, 이 결과에서 전문성이 크기뿐 아니라 학습 데이터와 목표에서도 비롯된다는 점을 확인할 수 있습니다.

증류는 큰 교사 모델이 내놓은 정답이나 점수, 혹은 ‘왜 그렇게 판단했는지’ 적은 풀이 근거를 작은 학생 모델에 가르치는 과정입니다. 2023년 ACL에 발표된 단계별 증류 연구 에서 연구진은 큰 교사 모델의 풀이 설명을 정답 라벨과 함께 학습 신호로 썼을 때, 특정 추론 과제 조건에서 작은 학생 모델이 더 적은 데이터로도 프롬프트 예시만 받은 교사 모델을 앞선 결과를 보고했습니다. 물론 다른 과제 조건에서는 추가 데이터나 더 큰 학생 모델이 필요했으니 이 결과가 작은 모델의 보편적 우위를 뜻하지는 않지만, 교사의 해석 과정을 학생의 학습 신호로 옮길 수 있다는 원리는 이 연구에서 확인할 수 있습니다.

다만 증류를 활용할 때 경영진이 반드시 챙겨야 할 원칙이 있습니다. 큰 교사 모델이 만든 정답지를 사람 검토 없이 그대로 믿어서는 안 된다는 점입니다. 가상의 유통 기업에서 큰 모델에게 상품 설명서 수만 건의 보증 기간 정답지를 만들게 했다고 해볼까요? 큰 모델도 ‘무상 보증 1년’과 ‘부품 보유 기간 5년’이 한 문장에 섞여 있거나 리퍼비시 예외 조항이 뒤에 숨어 있으면 그럴듯한 오답을 적어놓곤 합니다. 따라서 현업 담당자들이 먼저 대표 표본을 놓고 직접 합의한 정답 기준본을 만든 뒤, 교사 모델이 만든 학습 데이터를 기준본과 대조해 자주 틀리는 유형을 걸러내는 감사 과정을 거쳐야 합니다. 이 검증 없이 교사의 출력을 그대로 주입하면 작은 모델이 교사의 착각까지 함께 배울 위험이 커집니다.

현장의 두 사례: 역할을 쪼개고 ‘없는 값’을 가려내는 법

실제 기술 기업들은 이 원리를 어떻게 적용하고 있을까요? 업무 역할을 쪼개는 법과 추출 품질을 계산하는 법을 보여주는 두 가지 사례를 살펴보겠습니다. 첫 번째는 링크드인 엔지니어링 팀이 2026년 1월 공개한 검색 기술 보고 입니다. 링크드인은 구직·인물 검색에서 하나의 큰 모델에 모든 판단을 맡기지 않고 과제를 나눴습니다. 검색 의도를 파악하고 직무·지역 조건을 뽑는 ‘검색 이해’에는 미세조정한 1.5B~4B 모델을, 검색어와 공고의 관련성 점수를 실시간으로 매기는 자리에는 교사 모델에서 증류한 0.6B 학생 모델을 배치했고, 제품 정책 준수를 채점하는 역할에는 8B 평가 모델을 따로 두었습니다.

특히 눈여겨볼 대목은 학습의 출발점입니다. 모델 학습 전에 각 영역의 사람 담당자들이 먼저 모여 평가 기준과 정답 라벨을 맞춘 뒤 이를 바탕으로 정책 평가 모델과 교사·학생 모델을 다듬었습니다. 운영사의 자체 발표이고 내부 검증에 교사 라벨이 쓰였다는 한계가 있어 한국어 업무나 전체 검색 성과로 확대할 수는 없지만, 사람이 먼저 정답 기준을 세우고 역할별로 모델을 나눈 순서에서 분명한 시사점을 얻을 수 있습니다.

두 번째는 아마존 연구진이 2026년 9월 공개한 상품 속성 추출 연구 입니다. 방대한 상품 설명문에서 색상, 소재, 규격 같은 속성을 뽑아내는 기업 연구인데요. 연구진은 처음부터 작은 모델에게 상품 설명서를 통째로 주고 알아서 모든 속성을 뽑으라고 시키지 않았습니다. 먼저 해당 상품에 어떤 속성 항목들이 필요한지 정하는 단계와, 고정된 양식 안에서 실제 값을 추출하는 단계를 분리해 큰 교사 모델이 만든 학습 예제로 작은 모델을 미세조정했습니다.

연구진이 보고한 소형 모델 시스템의 전체 정답률 85.4%는 임원분들이 품질 보고서를 읽을 때 꼭 참고할 만한 숫자입니다. 이 85.4%는 원문에 있는 속성값을 정확히 찾아낸 52.4%와, 원문에 없는 속성을 억지로 지어내지 않고 ‘값 없음’으로 정확히 비워둔 33.0%를 합친 수치입니다. 즉 전체 카탈로그 빈칸의 85.4%를 글자로 채웠다는 뜻이 아니라, 없는 정보를 만들지 않은 것까지 정답으로 평가한 결과입니다. 비공개 영어 텍스트 데이터를 다룬 연구이고 별도의 독립 운영 감사를 거친 상용 서비스 보증은 아닙니다. 그래도 연구진이 작업을 단계별로 쪼개고 ‘없는 값을 비워두는 능력’을 핵심 품질로 측정했다는 점은 중요합니다.

‘값 없음’, ‘판단 보류’, ‘상위 검토’를 구분해야 사고를 막습니다

아마존 연구진의 사례처럼 추출과 분류 업무를 현장에 적용할 때 가장 흔히 벌어지는 설계 실수는 ‘빈칸’을 하나로 뭉뚱그리는 것입니다. 가상의 유통 기업에서 상품 설명서의 무상 보증 기간을 추출할 때 모델이 구체적인 개월 수를 채우지 못한 상황은 최소한 세 가지로 분리해 기록해야 합니다.

첫째는 값 없음(null)입니다. 판매자가 올린 상품 설명서 어디에도 보증 기간에 대한 언급이 실제로 없어서 모델이 ‘원문 미기재’라고 정확히 판정한 정상 처리 결과입니다. 둘째는 판단 보류 입니다. 설명서에 ‘신품 1년 무상 보증, 리퍼비시 상품 3개월 보증’이라고 적혀 있는데 주어진 텍스트에는 정작 이 상품이 신품인지 리퍼비시인지 나와 있지 않아 어느 기준을 적용할지 판단할 수 없거나, “상세 기준은 별도 이미지 참조"라고만 되어 있어 단일 값으로 확정할 수 없을 때 억지로 찍지 않고 답변을 유보하는 상태입니다. 셋째는 상위 검토입니다. 판단이 보류된 상품이나 한 번 잘못 기재되면 보상 분쟁이 큰 고가 가전제품을 더 큰 모델이나 사람 담당자의 검토 대기열로 넘기는 후속 조치입니다.

시스템에서 이 세 상태를 구분하지 않고 똑같이 빈칸으로 두면 모델이 원문의 보증 기간을 놓쳐 실패한 것인지, 원래 없는 값이라 비워둔 것인지, 문구가 모호해 멈춘 것인지 알 수 없습니다. 또한 보류 기준을 정할 때 모델의 확신 점수나 스스로 말한 “95% 확신합니다"라는 표현을 곧장 실제 정답 확률로 믿어서는 안 됩니다. 신경망의 확신도 보정 연구 에 따르면 분류기의 확신 점수는 실제 정답률과 어긋날 수 있습니다. 앞서 인용한 답변 보류 연구에서도 모델이 언어로 표현한 자신감 역시 보정이 필요할 수 있으며 불필요하게 자주 멈추는 과잉 보류도 문제라고 짚습니다.

무엇보다 보류된 안건을 큰 모델에게 넘겼다는 이유만으로 해결됐다고 보지 않는 것이 중요합니다. 원문 설명서 자체가 불완전하거나 사내에 아직 리퍼비시 보증 표기 기준이 정해지지 않았다면, 큰 모델에게 다시 물어봐도 유창한 문장으로 그럴듯한 오답을 추측해 내놓을 수 있어 문제가 해결된다는 보장이 없습니다. 상위 모델이 검토한 답 역시 동일한 업무 기준으로 다시 검증해야 하며 애초에 회사 안에 정답 기준이 없는 문제는 큰 모델이 아니라 사람 결정권자에게 넘겨야 합니다.

리더보드 점수 대신 우리 회사의 ‘대표 시험지’를 만드세요

모델을 고를 때 많은 기업이 공개 리더보드 점수를 먼저 살핍니다. 학문 지식이나 수학·과학 문제를 푸는 광범위한 추론 벤치마크는 기초 체력을 가늠하는 데 도움이 되지만 예외 대응 후보를 고르는 참고자료일 뿐 우리 회사의 상품 규격 추출이나 문의 분류 합격증이 아닙니다. 같은 모델이라도 시험 종류와 채점 방식에 따라 순위가 달라지므로 실제 투입 여부는 우리 회사의 대표 과제 시험지로 결정해야 합니다.

대표 시험지를 설계할 때는 외부 가이드에 적힌 예시 수치를 그대로 가져다 쓰지 말고 우리 업무에서 오답이 났을 때 치러야 할 비용과 검증 결과를 바탕으로 기준을 세워야 합니다. 먼저 학습에 쓰는 데이터, 보류 기준을 맞추는 조정용 데이터, 그리고 최종 투입 여부를 판정하는 시험 데이터를 철저히 분리해야 합니다. 이미 학습이나 기준 조정에 썼던 문서로 시험을 치르면 점수가 부풀려지기 때문입니다.

가상의 보증 기간 추출 시험지를 만든다면 문제 구성에도 공을 들여야 합니다. 평소 자주 들어오는 평범한 정상 문서만 모아 놓으면 모델의 실제 성능을 과대평가하고 현장의 예외 오류를 놓치기 쉽습니다. 반드시 시험지 안에 ① 흔한 정상 사례뿐 아니라 ② 드물지만 틀리면 손실이 큰 희귀 유형(예: 해외 직구·수입 대행 특례), ③ “소모품은 무상 보증에서 제외"처럼 반대로 읽으면 사고가 나는 부정문, ④ 보증 기간 언급이 아예 없는 누락 문서, ⑤ 거래처가 새로 바꾼 양식이나 업무 범위 밖의 문서를 별도로 챙겨 넣어야 실제 방어력을 확인할 수 있습니다.

마지막 합격 판정 회의에서는 선택적 분류 연구 에서 짚는 것처럼 자동 처리율과 자동 수용된 결과 안의 오류율을 반드시 한 쌍으로 놓고 봐야 합니다. 만약 모델이 전체 상품의 대부분을 보류로 넘기고 아주 쉬운 문서 몇 개만 처리하면서 “정확도 99%“라고 보고한다면 현업의 업무 부담은 그대로 남습니다. 전체 물량 중 모델이 스스로 확정해 자동 처리하는 범위가 얼마나 되는지, 그리고 사람의 눈을 거치지 않고 곧장 시스템에 반영된 결과물 안에 실제 오류가 얼마나 섞여 있는지를 나란히 따져보고 수용 가능한 기준선을 정해야 합니다.

나가며

결국 작은 모델이 맡을 일과 큰 모델이 맡을 일을 나누는 출발점은 모델의 크기가 아니라 업무의 경계와 합격 기준입니다. 입력과 출력 양식을 명확히 닫을 수 있는 분류·추출 과제부터 골라 작은 전문 모델의 후보로 삼고 ‘값 없음’과 ‘판단 보류’를 분리한 대표 시험지로 품질을 확인해 보세요. 반면 아직 사내에 정답 기준조차 없거나 여러 문서를 엮어 해석해야 하는 열린 문제는 큰 모델과 사람 전문가의 영역으로 남겨두어야 시행착오를 줄일 수 있습니다.

우리 조직의 수많은 업무 중 어떤 과제를 작은 전문 모델의 후보로 좁힐지, 출력 양식과 보류 기준을 어떻게 설계하고 현업의 예외를 담은 대표 시험지를 어떻게 만들지 고민되신다면 언제든 엡실론델타(EpsilonDelta)와 상의해 주시기 바랍니다. contact@epsilondelta.ai로 편하게 메일을 보내주시면, 여러분의 실제 업무 경계를 정의하고 현장에서 안심하고 운영할 수 있는 품질 검증 체계를 세우는 과정을 실질적으로 도와드리겠습니다.