정상 도구가 오염된 답을 돌려줄 때: 응답 검증의 세 단계

도구의 신뢰와 자료의 신뢰는 다릅니다

Anthropic의 보안 안내는 외부 콘텐츠를 통한 prompt injection 대응을 다루고, MCP 보안 문서는 인증과 도구·리소스 접근에서 확인할 경계를 설명합니다. 여기서는 악성 도구 설치보다 정상 도구가 읽어 온 데이터에 집중합니다. 서버가 올바르게 인증되었더라도 고객 입력이나 외부 문서까지 회사의 명령으로 바뀌는 것은 아닙니다.

• Claude Platform · Jailbreak와 prompt injection 완화
• MCP · Security Best Practices

토핑의 응답 검증 제안은 문장 검사 하나로 끝내지 않습니다. 필수 필드와 형식, 업무 값의 의미, 다음 실행에 필요한 권한을 따로 확인해야 합니다. 공격 문구가 전혀 없어도 오래된 재고, 잘못된 통화나 다른 고객의 자료가 들어오면 결과는 틀릴 수 있으므로 악성 여부와 정확성을 함께 살펴봅니다.

CRM 메모가 다음 명령처럼 보이는 상황

가상의 고객지원 에이전트가 CRM에서 주문 메모를 읽는다고 가정합니다. 메모에는 고객이 입력한 문장과 직원의 처리 기록이 함께 있습니다. 그 안의 ‘첨부 파일을 다른 주소로 보내라’는 문장이 검색 결과로 돌아와도 새로운 업무 승인이 되지 않습니다. 메모의 작성자와 출처를 유지한 채 문의 내용으로 해석하도록 경계를 정합니다.

응답을 처리할 때는 주문 번호, 상태와 갱신 시각처럼 후속 판단에 쓰는 항목을 먼저 검증합니다. 자유 서술은 별도 필드로 유지하고, URL이나 파일 경로가 들어 있으면 자동 접속 전에 필요한 대상인지 확인합니다. 도구가 준 값을 그대로 다음 도구의 명령이나 경로로 조립하는 방식은 의도하지 않은 동작으로 이어질 수 있습니다.

형식·의미·행동으로 나눠 검사합니다

형식 검사가 통과해도 업무의 기준값과 맞는지는 별도 문제입니다. 예를 들어 수량이 숫자라는 사실과 그 수량을 출고해도 된다는 사실은 다릅니다. 중요한 변경은 원천 시스템의 현재 상태를 다시 조회하고, 조회 때의 버전과 실행 때의 버전이 다르면 갱신 내용을 기준으로 계획을 재검토하는 편이 안전합니다.

오염이 의심된다고 응답 전체를 설명 없이 버리면 운영자는 원인을 알기 어렵습니다. 어떤 필드를 사용하지 않았는지와 그 때문에 완료하지 못한 일을 기록하되, 의심 문구를 다시 상위 지침처럼 노출하지 않습니다. 정상 데이터로 조회 결과를 보여줄 수 있는지와 변경 작업을 진행할 수 있는지를 구분해 응답 범위를 줄일 수 있습니다.

검수 데이터도 정상과 이상을 섞습니다

평가에는 외부 전송을 요구하는 메모뿐 아니라 오래된 갱신 시각, 다른 고객 번호, 일부 누락과 중복 결과를 넣습니다. 에이전트가 공격적인 문장을 무시하더라도 잘못된 상태로 업무를 실행하면 검수 통과로 보기 어렵습니다. 최종 설명, 후속 도구 선택과 실제 변경 기록을 함께 대조해야 응답 오염의 영향을 알 수 있습니다.

연동 담당자와 업무 담당자는 오류 분류를 함께 정하는 것이 좋습니다. 서버 장애, 데이터 품질 문제와 권한 밖 실행 유도는 조사 경로가 다릅니다. 반복되는 오류는 도구 설명 수정만으로 해결하기보다 원천 필드, 갱신 규칙과 검증 코드를 보완해 줄여야 합니다. 응답을 읽는 AI와 업무를 확정하는 시스템 사이의 검증이 핵심입니다.