AI 에이전트가 처리한 업무 한 건, 반년 뒤 감사팀은 무엇으로 확인할까요?
들어가며
우리 회사 고객지원팀이 반품과 환불 심사를 돕는 AI 에이전트를 도입해 반년째 운영하고 있다고 가정해봅시다. 일정 금액을 넘는 환불에는 담당자가 결재 버튼을 누르도록 승인 단계를 두었고 개발팀은 에이전트가 어떤 도구를 호출했는지 살피는 관측 대시보드도 구축해 두었습니다. 매주 임원 회의에는 에이전트가 처리한 상담 건수와 응답 속도가 순조롭게 보고됩니다.

그런데 반년 뒤 정기 내부감사에서 감사팀이 석 달 전 처리된 환불 한 건을 집어 들고 묻습니다. “이 건은 당시 고객이 올린 어떤 증빙과 문의 내용을 바탕으로, 어느 버전의 환불 규정을 적용했으며, 누가 무엇을 보고 승인했고, 실제 결제 원장에서는 어떻게 끝났습니까?” 기술 담당자가 관측 도구를 열어보지만 당시 대화 원문은 이미 지워졌거나 가려져 있습니다. 실행 로그에는 환불 도구를 호출해 성공 응답을 받았다는 기록만 남아 있습니다. 정작 결제 원장을 대조해 보니 그 환불은 사후 계좌 오류로 실패해 미결 상태로 남아 있었다면 경영진은 어떻게 대응해야 할까요?
상용 현장에서는 이미 AI가 실제 업무 처리를 넓혀가고 있습니다. 예를 들어 Klarna의 2024년 2월 자체 보도자료 발표 는 글로벌 출시 한 달 만에 고객 서비스 채팅의 상당수를 AI 조수가 처리하며 환불·반품 업무를 지원한다고 밝혔습니다. 다만 운영 기업이 발표하는 전체 대화 처리량 같은 집계 성과는 수개월 뒤 감사인이 개별 거래 한 건의 적정성과 정산 결과를 검증할 수 있는지와는 별개의 문제입니다.
많은 조직이 도입 초기에는 결재 화면 설계나 평소 지연·오류 감시에 집중합니다. 하지만 에이전트가 실제 금전 거래나 원장 변경에 관여한다면 사정이 다릅니다. 시간이 흐른 뒤 업무 결과에서 출발해 당시 판단 조건까지 거슬러 올라가 대조할 수 있는 ‘감사 증거 묶음’이 필요합니다. 담당자의 기억에 기대지 않고 과거 업무 한 건을 기록으로 재구성하는 설계 기준을 짚어보겠습니다.
매장 혼잡도 카메라와 거래 증빙 서류철은 다릅니다: 운영 로그가 감사 증거가 되기 위한 조건
개발팀에서 “에이전트 실행 트레이스(trace)를 남기고 있다”고 보고할 때, 경영진은 그 기록이 운영 관측용인지 감사 증빙용인지부터 구분해야 합니다. 백화점 천장에 달린 ‘혼잡도 측정 카메라’와 회계 감사 때 제출하는 ‘거래 증빙 서류철’의 차이라고 보면 됩니다.
운영 텔레메트리는 시스템 지연과 오류를 적은 비용으로 진단하기 위해 설계됩니다. 그래서 처리량이 많은 환경에서는 일부 기록만 표본으로 남기는 샘플링(sampling)을 흔히 씁니다. OpenTelemetry의 샘플링 공식 문서 가 설명하듯, 샘플링은 운영 관측 비용을 조절하는 데 유용하지만 선택되지 않은 트레이스는 처리와 내보내기에서 제외됩니다. 요청 초기에 표본 여부를 정하는 헤드 샘플링만으로는 오류가 난 실행을 모두 확보한다고 보장할 수도 없습니다.
표본 추출을 하지 않더라도 수집 과정에서 기록이 빠질 수 있습니다. OpenTelemetry Collector의 복원력(Resiliency) 문서 는 전송 대기 큐 포화, 재시도 한도 초과, 디스크 장애 등으로 데이터가 소실될 수 있으며 디스크 기반 로그(WAL)도 복원력을 높일 뿐 무손실을 보증하지는 않는다고 밝힙니다. 샘플링과 수집 파이프라인은 일상적인 운영 관측을 뒷받침하지만 감사인이 지정한 특정 거래 한 건의 증거 존재까지 보장해 주지는 못합니다. 원장이나 결제 내역 같은 독립된 업무 기록이 남아 있더라도, 실행 트레이스가 빠져 있으면 과거 판단 조건은 입증할 수 없습니다. 당시 에이전트에 어떤 입력과 규칙이 적용되었는지 남은 기록만으로는 알 수 없기 때문입니다.
따라서 모든 대화를 무조건 영구 저장할 필요는 없더라도, 환불 승인이나 계약 변경처럼 위험도가 높은 업무 이벤트는 일반 성능 관측의 샘플링 경로와 분리해 별도로 보존해야 합니다. 이때 성공한 실행뿐 아니라 거절·실패·취소·보상 처리까지 합의된 범위에 포함하고 의도적으로 수집에서 제외한 항목과 장애로 유실된 상태를 구분해 표시해야 합니다.
모델의 ‘생각 과정(Chain of Thought)’을 남겨두면 판단 근거가 입증된다는 기대도 경계해야 합니다. 공급자 API가 제공하는 추론 텍스트는 원시 추론 전체가 아니라 요약본이거나 가려진 형태인 경우가 많습니다. 더구나 Anthropic 연구진이 2025년 공개한 추론 충실도 연구 (Claude 3.7 Sonnet과 DeepSeek R1을 대상으로 한 제한된 객관식 단서 실험)에서는 모델이 답변에 영향을 준 단서를 사용하고도 추론 설명에서는 이를 누락하는 현상이 확인되었습니다. 이 결과를 모든 모델의 보편적 실패율로 일반화하거나 추론 요약이 조사 단서로서 전혀 쓸모없다고 볼 것은 아닙니다. 그래도 내부 추론 설명이 입력·규정·승인·원장 결과라는 독립 증빙을 대신할 수는 없습니다.
반년 뒤에도 거래 한 건을 다시 세우는 여섯 가지 증거 묶음
감사자가 반년 뒤 특정 업무 한 건을 검토할 때 필요한 단위는 단일 프롬프트 로그가 아닙니다. 고유한 업무 식별자(주문 번호·환불 ID·전표 번호)를 중심으로 여러 실행 시도와 재시도를 묶고 아래 여섯 가지 요소를 당시 값으로 연결하는 설계를 제안합니다.
| 증거 묶음 | 연결할 핵심 기록 | 감사 판단의 경계 |
|---|---|---|
| 당시 입력 | 요청 원문, 시스템 지시문, 검색 문서·청크 버전, 도구 응답 | 현재 문서 URL만으로는 과거에 읽은 문장을 복원할 수 없음 |
| 적용 정책 | 규칙 원본 위치·해시·리비전, 평가 입력·결과, decision_id | 정책 판정 기록과 실제 실행 경계의 집행 여부는 별개임 |
| 실행 버전 | 요청 모델명, 반환된 스냅샷·배포 ID, 프롬프트·도구 버전 | 별칭만 있으면 세부 빌드 미확인 표시. 목표는 재생이 아닌 조건 확인 |
| 권한·위임 | 인증 주체, 역할·세션, 위임 사용자, 허용 동작·자원 범위 | 서비스 계정 이름만으로 사람의 위임 의사를 추정하지 않음 |
| 승인 결합 | 승인자·시각, 승인 대상 금액·범위, 요청 해시·불변 요청 ID | 승인 클릭 로그를 내용이 바뀐 후속 요청에 연결하면 안 됨 |
| 실행·결과 | 외부 API 요청 ID, 멱등키, 업무 객체 ID, 원장 후속 상태 | API 응답 수신과 원장의 최종 정산 완료를 구분해야 함 |
우선 당시 입력과 정책 버전의 고정입니다. 모델 호출마다 검색 문서가 바뀌거나 문맥이 압축될 수 있으므로 최초 질문만이 아니라 모델에 실제 전달된 문맥과 검색 청크 버전을 남겨야 합니다. 정책 역시 Open Policy Agent(OPA)의 결정 로그 문서
처럼 decision_id와 평가 당시의 번들 리비전(revision), 입력·결과를 기록할 수 있습니다. 다만 해시나 리비전 번호만 남기고 정책 원문을 지우면 당시 규칙 내용을 읽을 수 없으므로 변경 불가능한 원문 보관소를 함께 연결해야 합니다.
다음은 당시 실행 버전 기록과 재실행의 구별입니다. 감사에서 말하는 재구성은 반년 뒤 같은 모델에 같은 입력을 넣어 똑같은 답변을 재생하는 일(결정론적 재실행)이 아닙니다. Anthropic의 모델 버전 관리 문서 가 설명하듯 고정 스냅샷 ID는 가중치를 유지하지만 서빙 인프라는 바뀔 수 있어 같은 ID라도 미세한 행동 차이가 생길 수 있습니다. 요청에 적은 별칭이 아니라 응답이 반환한 모델 식별자와 프롬프트·도구 스키마 버전을 당시 출력물과 함께 보존하고 세부 빌드를 알 수 없는 영역은 미확인 범위로 남겨야 합니다.
끝으로 권한 위임과 승인 대상의 결합입니다. AWS CloudTrail의 userIdentity 문서 처럼 사용된 IAM 자격 증명과 임시 역할 세션을 기록하되 여기에 누가 어떤 범위의 업무를 위임했는지를 결합해야 합니다. 사람이 결재 버튼을 눌렀다는 기록이 증거가 되려면 승인 당시의 고객·금액·계좌가 실제 실행 요청과 같았는지 확인해야 합니다. 승인 대상 요청의 해시값을 묶거나, 권한 통제 아래 동일한 불변 요청 ID와 버전으로 승인 건과 실행 건을 연결하는 방식이 가능합니다. 예를 들어 Stripe의 멱등성 요청 문서 는 고유 키에 첫 요청의 파라미터와 응답을 묶고 파라미터가 달라지면 오류를 내는데 이러한 키는 24시간 뒤 제거될 수 있으므로 실행 응답 사본은 감사 보관소에 따로 남겨야 합니다.
에이전트의 “완료했습니다”에서 시작하면 안 됩니다: 원장 기준 역추적 대조 절차
감사 절차를 설계할 때 흔히 관측 대시보드의 트레이스 목록에서 조사 대상을 고르곤 합니다. 하지만 감사는 정반대 방향인 업무 시스템(원장·주문·결제 DB)의 결과에서 거슬러 올라가는 역추적 대조(Reconciliation)여야 합니다. 트레이스가 있는 건만 모집단으로 삼으면, 샘플링에서 빠졌거나 전송 중 유실된 거래는 처음부터 조사 대상에서 사라지기 때문입니다.
에이전트의 “처리를 완료했습니다”라는 문장이나 도구 호출 직후의 성공 응답도 최종 결과로 간주해서는 안 됩니다. 사내 매점 운영에 AI를 투입한 Anthropic과 Andon Labs의 실물 환경 실험(Project Vend) 보고서를 보면 모델이 존재하지 않는 결제 계정을 안내하거나 원가 이하로 가격을 결정한 사례가 나타납니다(물리 작업은 사람이 돕고 실험용 도구를 쓴 사내 실험입니다). 에이전트의 대화 서술만으로는 실제 수금과 정산 사실을 확정할 수 없습니다.
상용 결제 시스템에서도 요청 생성과 최종 정산은 다릅니다. Stripe의 환불(Refunds) 공식 문서
는 환불 생성 뒤에도 보류나 추가 조치 상태를 거칠 수 있고 사후에 refund.failed 이벤트가 발생할 수 있음을 구분합니다. 일부 수단에서 succeeded 상태가 표시되더라도 이는 은행 도착 예상 시점과 연결된 표시일 뿐 고객이 입금을 확인했다는 뜻은 아닙니다. ‘요청 접수 / 처리 상태 확인 / 원장 대조 / 고객 수령 확인’의 관찰 수준을 구분해 기록해야 합니다.
이를 바탕으로 실무 역추적 절차는 여섯 단계로 압축해 운영할 수 있습니다.
- 모집단 확정: 트레이스 화면이 아닌 업무 원장에서 해당 기간의 완료·실패·취소 건을 추출합니다.
- 실행·재시도 연결: 업무 ID로 실행 시도와 중복 방지 기록을 묶고 누락 건은 예외 목록으로 분리합니다.
- 승인 범위 대조: 승인 당시의 금액·계좌·범위가 실제 실행된 요청과 일치했는지 검증합니다.
- 정책·권한·입력 확인: 당시 로드된 정책 리비전과 위임 권한, 참조 문맥을 확인합니다.
- 독립 원장 대조: 외부 시스템 상태, 원장 반영, 실패·취소·역분개 및 지급 참조를 대조합니다.
- 삼분법 판정: 결론을
증거로 확인,불일치,자료 부족으로 미확인으로 나누어, 기록 부재를 정상 통과로 처리하지 않습니다.
다 남기면 위험하고 지우면 비어 있습니다: 민감 정보 분리 보관과 위변조 검증의 한계
감사 증거를 남길 때는 개인정보 및 기밀 보호와 가장 흔히 충돌합니다. 조회 시점 기준 OpenAI Agents SDK(Python)의 트레이싱 문서 처럼 모델·도구 입출력이 트레이스에 포함되고 민감 데이터 포함 설정이 기본 활성화된 도구도 있습니다. 반면 기본값으로 본문을 수집하지 않는 프레임워크도 있습니다. 도구 기본값에만 맡겨두면 모든 분석 도구에 민감 원문이 복제되거나, 반대로 감사에 필요한 문맥이 통째로 빠지기 쉽습니다.
모든 원문을 일반 관측 도구에 복제하지 말고 열람 목적에 따라 2단으로 분리 보관해야 합니다. 일상적인 운영 관측 도구에는 민감 필드를 가린(마스킹) 사본과 메타데이터만 보내고 판단 재구성에 꼭 필요한 원문은 보존 기간과 열람 권한을 좁힌 별도 감사 보관소에 둡니다. 비밀번호나 토큰 원문 대신 자격 증명 식별 참조만 남기고 원문을 복호화해 열람하거나 내보낸 이력도 기록해야 합니다. 특히 OPA 결정 로그 문서 가 마스킹·제거된 필드 경로를 기록하듯, 의도적 최소 수집이나 보존 만료로 비워진 항목은 그 사유를 남겨야 수집 장애에 따른 유실과 구별할 수 있습니다.
기록의 위변조 탐지와 사실의 진실성이 다르다는 점도 명확히 해야 합니다. 우선 에이전트나 실행 호스트가 자기 기록을 임의로 수정·삭제하지 못하도록 게이트웨이나 별도 수집 경계에서 감사 기록을 확보하고 변경·삭제를 탐지할 통제를 두어야 합니다. 예를 들어 AWS CloudTrail의 로그 무결성 검증 문서 는 SHA-256 해시와 서명된 다이제스트(digest) 체인으로 로그 전달 이후의 수정이나 삭제 여부를 검증하는 방식을 설명합니다. 다만 이 기능을 켜는 것만으로 검증이 자동 수행되지는 않으므로 정기적인 검증 실행과 결과 보관이 뒤따라야 합니다.
무엇보다 해시와 서명은 “수집된 뒤 기록이 바뀌지 않았다”는 동일성을 확인할 뿐, 애초에 잘못된 입력이 들어갔거나 수집 전에 빠진 사건까지 참으로 증명해 주지는 못합니다. 그래서 신뢰할 수 있는 수집 경계, 정기 무결성 검증, 그리고 업무 원장과의 대조가 함께 맞물려야 합니다.
나가며

AI 에이전트 업무의 감사 가능성을 확보하는 일은 로그 저장 용량을 늘리거나 모델의 추론 요약문을 모아두는 것과 다릅니다. 실제 거래 한 건을 두고 당시 입력과 정책 버전, 모델·도구 버전, 권한과 승인, 그리고 원장의 최종 결과를 하나의 업무 ID로 연결해 대조할 수 있도록 네 주체의 책임을 나누는 일입니다.
- 업무 책임자: 어떤 원장 상태를 최종 완료로 인정할지 정의하고 미확정·불일치 건의 해소 주체를 정합니다.
- 플랫폼 책임자: 업무 ID부터 버전·정책·승인·실행 증거까지 연결하고 원장 기준의 누락 대조 경로를 구축합니다.
- 데이터·보안 책임자: 마스킹 사본과 제한된 원문 보관소를 분리하고 보존 종료 사유와 열람 이력을 관리합니다.
- 감사 책임자: 업무 원장 모집단에서 표본을 뽑아 과거 거래의 재구성 가능성과 증거 출처를 정기 점검합니다.
전사 체계를 한꺼번에 짓기 전에, 지난달 에이전트가 관여한 완료·실패·취소 업무를 원장에서 한 건씩만 골라보시기를 권합니다. 담당 개발자의 기억이나 구두 설명 없이 지금 남아 있는 기록만으로 당시 입력 문맥, 적용된 정책과 승인 범위, 실제 원장 정산 결과를 끝까지 맞춰볼 수 있는지 점검해 보면 어디서 연결이 끊어지는지 바로 확인할 수 있습니다. 이후 운영 지표로는 원장 모집단과 측정 시점을 먼저 정의한 뒤 증거 연결률, 정책·승인 버전 확인률, 결과 미확정 건수, 증거 검색 소요 시간을 추적하도록 설계할 수 있습니다.
우리 조직의 AI 에이전트 업무에 맞춰 어떤 증거 묶음을 남기고, 민감 입력을 어떻게 분리 보관하며, 기존 ERP·결제 원장과 어떻게 대조 절차를 설계할지 고민하고 계신다면 언제든 엡실론델타(contact@epsilondelta.ai )로 문의해 주세요. 현업의 자동화 효율을 살리면서도 사후 감사에서 기록만으로 명확히 소명할 수 있는 에이전트 감사 체계와 운영 기준을 함께 설계해 드리겠습니다.

Geoff Yoon