환각(Hallucination) 줄이고 신뢰 높인다... 액션 AI가 실무에서 살아남는 법

작성자: 슬기로운 오늘과 내일 편집부 · 발행일: 2026-10-03

왜 액션 AI는 여전히 현장에서 '불안한 신입' 취급을 받을까

챗GPT가 처음 등장했을 때만 해도 우리는 AI가 쓴 글의 매끄러움에 감탄했습니다. 하지만 실제 업무에 투입해 보니 상황이 달랐습니다. "이번 분기 매출 보고서 요약해 줘"라는 부탁에 그럴듯한 숫자를 뚝딱 만들어내더니, 나중에 보니 그 숫자는 전혀 존재하지 않는 '환각(Hallucination)'이었습니다. 단순한 챗봇 단계를 넘어, 툴을 쓰고 계획을 세워 스스로 업무를 수행하는 '액션 AI(Agentic AI)' 시대가 열렸지만 현장의 반응은 여전히 조심스럽습니다. "시연 영상에서는 완벽하던데, 우리 데이터 넣고 돌리니 자꾸 엉뚱한 API를 호출하네", "한 번 틀린 판단을 다음 단계로 끌고 가니 걷잡을 수 없이 망가지더라" 같은 하소연이 개발자 커뮤니티와 실무 현장 곳곳에서 들려옵니다. 오늘은 이 액션 AI가 왜 실무에서 자꾸 넘어지는지, 그리고 환각을 줄여 신뢰를 확보하기 위해 현장에서 어떤 기술적 장치들을 마련하고 있는지 차근차근 짚어보려 합니다.

액션 AI, 단순히 말 잘하는 모델이 아닙니다

우리가 흔히 쓰는 LLM(거대언어모델)은 확률적으로 다음 단어를 예측하는 '글쓰기 엔진'에 가깝습니다. 하지만 액션 AI, 즉 에이전트형 AI는 여기에 '계획(Planning)', '도구 사용(Tool Use)', '기억(Memory)', '반성(Reflection)'이라는 네 가지 엔진을 더한 복합 시스템입니다. 사용자의 모호한 지시 하나를 받으면 "어떤 순서로 무슨 도구를 써서 해결할까?"를 스스로 계획하고, 검색 API를 호출하거나 데이터베이스를 쿼리하고, 코드를 실행해 결과를 검증한 뒤 최종 답변을 내놓습니다.

문제는 이 과정이 '연쇄'로 일어난다는 점입니다. 1단계 계획이 조금만 삐끗해도 2단계 도구 호출이 엉뚱해지고, 3단계 결과 해석마저 왜곡됩니다. 일반적인 LLM의 환각이 '말실수' 수준이라면, 액션 AI의 환각은 '잘못된 행동'으로 직결됩니다. 가령 "고객 환불 처리해 줘"라는 명령에 정책 확인 단계에서 환각으로 '전액 환불 가능'이라고 판단해버리면, 실제 결제 시스템 API를 호출해 돈을 돌려주는 돌이킬 수 없는 사고로 이어집니다. 그래서 실무에서는 "LLM 한 번 틀리면 문장 하나 고치면 그만이지만, 에이전트 한 번 틀리면 시스템 로그 전체를 뒤집어야 한다"는 말이 나옵니다.

환각을 잡는 5가지 기술적 방어선, 현장에선 이렇게 씁니다

1. RAG(검색 증강 생성)로 '근거'를 심어주기

가장 기초적이면서 강력한 방법은 모델이 아는 척하며 지어내지 못하게, 신뢰할 수 있는 외부 지식베이스를 강제로 참조하게 하는 것입니다. 사내 위키, 매뉴얼, 법규 문서, 과거 티켓 기록 등을 벡터 데이터베이스에 임베딩해 두고, 에이전트가 계획을 세우거나 답변을 생성하기 직전 "관련 문서 3개를 찾아와"라는 단계를 의무화합니다. 이때 단순히 문서를 던져주는 걸 넘어, "이 문서의 3페이지 2번째 문단이 근거다"라는 식으로 출처 인용(Citation)을 강제하면 환각 비율이 획기적으로 떨어집니다. 금융권 챗봇 도입 사례를 보면, RAG 적용 전에는 규정 위반 답변 비율이 상당했으나, 청크 단위 검색과 인용 강제 로직을 넣으니 유의미한 수준까지 내려갔다는 보고가 있습니다. 핵심은 검색 품질을 높이기 위한 하이브리드 서치(키워드+벡터)와 리랭킹(Reranking) 모델 적용, 그리고 청크 크기 및 겹침(Overlap) 최적화입니다.

2. 툴 사용(Function Calling)에 '스키마 검증'과 '실행 결과 피드백' 루프 달기

에이전트가 "날씨 API를 호출하겠다"며 엉뚱한 파라미터(예: 도시 이름 대신 위도 경도만 넣음)를 넘기면 API는 에러를 뱉습니다. 이 에러를 그냥 로그로 남기지 않고, 에이전트에게 "이 에러가 났으니 파라미터를 고쳐 다시 호출해라"라는 자동 재시도(Retry with Correction) 루프를 태웁니다. 더 나아가 API 스펙(Swagger/OpenAPI)을 임베딩해 두고, 호출 전 "이 파라미터가 스펙에 맞나?"를 별도의 소형 검증 모델이나 규칙 엔진으로 한 번 걸러줍니다. 실제 이커머스 주문 조회 에이전트에서는 이 '사전 검증 + 에러 피드백 루프'만으로 툴 호출 성공률이 큰 폭으로 올랐다는 내부 테스트 결과가 공유된 바 있습니다. 툴 래퍼(Wrapper) 클래스를 만들어 입력 검증, 호출, 결과 파싱, 이상 여부 판단을 한 묶음으로 관리하는 것이 정석입니다.

3. 계획 단계에 '사고의 연쇄(Chain-of-Thought)'와 '트리 탐색(Tree of Thoughts)' 강제하기

"그냥 해봐"가 아니라 "단계별로 생각해 보고, 대안 3가지를 비교한 뒤 최적 경로를 골라라"라는 메타 프롬프트를 시스템 프롬프트 레벨에서 박아둡니다. 복잡한 업무일수록 단일 경로 추론은 위험합니다. 예를 들어 "마케팅 캠페인 성과 분석해 줘"라는 요청에 바로 SQL을 짜는 대신, "1) 어떤 지표가 필요하지? 2) 어떤 테이블에 있나? 3) 조인 키는 뭐지? 4) 시각화는 어떻게?"라는 서브 태스크로 쪼개고, 각 단계에서 "이 가정이 맞나?"를 스스로 묻는 자기 질문(Self-Questioning) 모듈을 끼워 넣습니다. 이 과정에서 논리적 모순이 발견되면 계획을 폐기하고 다시 짜는 '백트래킹(Backtracking)'이 일어나게 설계합니다. 랭그래프(LangGraph) 같은 상태 머신 기반 프레임워크를 쓰면 이 분기 처리와 루프 제어를 코드 레벨에서 명확히 구현할 수 있습니다.

4. 자기 반성(Self-Reflection)과 비판가(Critic) 에이전트 투입하기

하나의 에이전트가 계획-실행-답변까지 다 맡으면 '확증 편향'에 빠지기 쉽습니다. 그래서 행위자(Actor) 에이전트와 비판가(Critic) 에이전트를 분리합니다. 행위자가 초안을 내면 비판가는 "이 답변이 근거 문서와 일치하는가?", "툴 호출 결과가 논리적으로 타당한가?", "정책 위반 소지는 없는가?"라는 체크리스트를 돌리며 점수를 매깁니다. 점수가 임계값 미만이면 행위자에게 "이 부분 다시 해"라는 피드백과 함께 재시도를 지시합니다. 다중 에이전트 프레임워크(오토젠, 크루AI, 랭그래프 등) 도입 사례에서 이 '비판가 루프'를 넣었을 때 사실 오류율이 단일 에이전트 대비 유의미하게 감소하는 경향이 반복적으로 관측됩니다. 비판가 프롬프트에는 도메인별 체크리스트(개인정보 마스킹, 규정 준수, 톤앤매너 등)를 구체화해 넣는 것이 중요합니다.

5. 인간 개입(Human-in-the-Loop) 지점 설계하기

아무리 자동화해도 '되돌릴 수 없는 행동(결제, 발송, 삭제, 권한 변경)' 앞에서는 반드시 사람을 세웁니다. 에이전트가 최종 액션을 수행하기 직전 "이 작업은 OOO님 승인이 필요합니다. 진행하시겠습니까?"라는 확인 단계를 시스템 레벨에서 강제합니다. 이때 단순히 예/아니오만 받는 게 아니라, 에이전트가 "왜 이 액션을 하려는지, 어떤 근거로 판단했는지, 리스크는 무엇인지"를 요약해 제시하면 승인자가 빠르게 판단할 수 있습니다. 공공기관 민원 처리 시범 사업에서는 이 '설명 가능한 승인 요청' UI를 넣자 오승인 건수가 크게 줄었고, 담당자 만족도도 크게 올랐습니다. 승인 이력 자체를 학습 데이터로 쌓아 향후 자동화 범위를 넓히는 선순환 구조를 만드는 것이 이상적입니다.

실무 시나리오: 고객 센터 '자동 티켓 분류·답변·처리' 에이전트 구축기

가상의 시나리오로 구체화해 보겠습니다. 한 중견 기업의 고객 센터에 월 2만 건 티켓이 들어옵니다. 기존에는 상담원이 수동으로 카테고리 태깅하고, 매뉴얼 찾아 답변 쓰고, 필요시 환불·교환 시스템에 직접 입력했습니다. 여기에 액션 AI를 투입하기로 했습니다.

1단계: 지식 베이스 정비(RAG 준비) 과거 3년 치 티켓, 매뉴얼, FAQ를 청크 단위로 쪼개 임베딩했습니다. "환불 정책"이라는 쿼리가 들어오면 최신 개정 조문이 정확하게 나오게 했습니다. 메타데이터(버전, 적용일자, 카테고리)도 꼼꼼히 달아 최신 규정만 뽑히게 필터링 로직을 짰습니다. 문서 파싱 품질이 RAG 성능의 80%를 좌우하므로, 표/이미지 포함 문서는 별도 OCR 및 레이아웃 분석 파이프라인을 거쳐 텍스트화했습니다.

2단계: 플래너 에이전트 설계 "티켓 내용 읽고 → 카테고리 분류 → 필요 정보 추출(주문번호, 사유) → 정책 매칭(RAG 검색) → 답변 초안 작성 → 액션 필요 여부 판단(환불/교환/상담사 이관) → 액션 실행(승인 후) → 완료 알림"이라는 7단계 플로우를 정의했습니다. 각 단계마다 '성공/실패/불확실' 분기 처리를 넣었습니다. 예를 들어 주문번호가 없으면 "고객에게 주문번호 요청"이라는 서브 태스크를 타고, 정책 매칭 점수가 임계값 미만이면 "상담사 이관"으로 빠지게 했습니다. 이 플로우를 코드 하드코딩이 아닌 프롬프트와 상태 그래프로 정의해 수정 용이성을 확보했습니다.

3단계: 툴 래퍼(Wrapper) 구현 환불 API, 교환 API, 알림톡 발송 API를 단순 호출 함수가 아닌 '입력 검증 → 호출 → 결과 파싱 → 이상 여부 판단'까지 묶은 래퍼 클래스로 감쌌습니다. 환불 API의 경우 "금액이 0원 초과 주문 총액 이하인가?", "이미 환불 처리된 주문인가?"를 사전 체크하고, 응답 코드 200이어도 "환불 완료" 문구가 없으면 실패로 간주해 재시도 또는 에스컬레이션 태우게 했습니다. 멱등성(Idempotency) 키를 필수로 요구해 중복 호출로 인한 이중 환불을 원천 차단했습니다.

4단계: 비판가 에이전트와 평가 데이터셋 비판가에게 줄 평가 기준서를 만들었습니다. "분류 정확도", "정책 인용 정확도", "개인정보 마스킹 여부", "액션 전 승인 요청 여부", "답변 톤앤매너" 5개 항목에 가중치를 두고 0~1 점수를 내도록 프롬프트 엔지니어링했습니다. 과거 티켓 중 난이도별 500건을 '골든 세트'로 뽑아 회귀 테스트용으로 보관했습니다. 이 골든 세트는 신규 정책 추가나 모델 업데이트 시마다 필수 통과 관문으로 삼습니다.

5단계: 그림자 모드(Shadow Mode) 운영 실제 상담원 옆에서 에이전트가 추천만 하는 '그림자 모드'로 2주간 돌렸습니다. 상담원이 "이 추천 좋다/나쁘다" 피드백 버튼을 누르게 하고, 나쁜 케이스는 즉시 비판가 프롬프트나 RAG 청크 분할 전략을 수정했습니다. 이 기간 동안 환각성 오답(존재하지 않는 정책 인용, 잘못된 주문번호 추출) 비율이 한 자릿수 초반대까지 떨어졌습니다. 실사용자 트래픽 없이 검증만 하는 오프라인 평가로는 잡히지 않는 '엣지 케이스'를 이 단계에서 대거 발견합니다.

6단계: 점진적 자율화 그림자 모드 검증이 끝나면 '자동 분류·답변 초안 작성'까지는 자동으로 돌리고, '환불/교환 실행'만 승인 대기 상태로 둡니다. 1개월 후 승인 거절률이 1% 미만으로 안정되면 소액(예: 3만 원 이하) 건에 한해 자동 실행 권한을 줍니다. 이렇게 단계적으로 자율 범위를 넓혀가는 '커리큘럼 러닝' 방식이 현장에서 가장 안전하고 효과적입니다. 완전 자율화는 목표가 아니라, 비즈니스 리스크 수용 범위에 맞춘 '단계적 위임'의 종착역입니다.

믿을 만한가? 평가 벤치마크와 지표로 말하게 하세요

"우리 에이전트 괜찮아졌어"라는 감 말고 숫자로 증명해야 합니다. 요즘 업계에서 참고하는 대표 벤치마크가 몇 가지 있습니다. 에이전트 벤치(AgentBench)는 웹 쇼핑, 코드 실행, DB 조작 등 8개 환경에서 성공률, 단계 수, 비용을 측정해 다단계 계획 능력을 봅니다. 툴벤치(ToolBench)는 1만 6천 개 이상 API 도구 호출 환경에서 도구 선택 정확도와 파라미터 정확도를 평가합니다. BFCL(버클리 함수 호출 리더보드)은 파이썬, 자바, 자바스크립트 등 다언어 함수 호출 정확도와 환각 비율을 검증합니다. 타우벤치(τ-bench)는 항공사, 유통 도메인 시뮬레이션에서 정책 준수율과 사용자 만족도를 측정합니다.

이 벤치마크들을 돌려보면, 같은 모델을 써도 '프롬프트 설계', 'RAG 청크 크기', '비판가 루프 유무'에 따라 성공률이 20%포인트 이상 차이 납니다. 실무 팀이라면 반드시 자체 골든 세트를 만들어 이 벤치마크 프로토콜로 주기적 회귀 테스트를 돌려야 합니다. "지난주 배포 버전이 이번 주 벤치마크에서 3% 떨어졌네? 무슨 프롬프트 바꿨지?"라는 대화가 일상이 되어야 합니다. 평가 자동화 파이프라인을 CI/CD에 연동해 배포 게이트로 삼는 것이 성숙한 MLOps의 모습입니다.

여전히 남은 숙제: 비용, 지연, 그리고 '모르는 걸 모른다고 말하기'

기술적 방어선을 아무리 쳐도 풀리지 않는 숙제들이 있습니다.

첫째, 지연 시간(Latency)과 비용(Token Cost)입니다. 비판가 루프 한 번 돌리면 LLM 호출이 2~3배 늘고, 응답 시간도 10초에서 30초로 늘어납니다. 사용자 대기 화면에서 "AI가 생각 중입니다"라는 스피너를 30초 보여주면 이탈률이 치솟습니다. 이를 위해 '경량 분류기'로 쉬운 건 바로 처리하고, 어려운 것만 대형 모델+비판가 루프로 보내는 라우팅(Routing) 전략이 필수입니다. 간단한 의도 분류나 엔티티 추출은 소형 언어모델(SLM)이나 규칙 엔진으로 처리해 대형 모델 호출을 최소화하는 '모델 캐스케이드' 아키텍처가 표준이 되고 있습니다.

둘째, 연쇄 오류(Error Propagation)입니다. 1단계 분류가 틀리면 2단계 정책 검색도 엉뚱한 걸 가져오고, 3단계 답변은 완벽한 거짓말이 됩니다. 이를 막으려면 각 단계마다 '확신도(Confidence Score)'를 계산해 임계값 미만이면 즉시 인간에게 넘기는 조기 종료(Early Exit) 장치가 필요합니다. 확신도 산출을 위해 로짓(Logit) 기반 확률, 앙상블 투표, 혹은 별도 검증 모델 점수 등을 복합적으로 활용합니다.

셋째, '모르는 것'을 인정하게 하기입니다. 모델은 기본적으로 '아는 척'하도록 학습됐습니다. "우리 회사에 그런 규정 없어"라는 답을 하게 하려면, RAG 검색 결과가 비었을 때 "관련 문서를 찾을 수 없습니다. 상담사에게 문의하세요"라는 폴백(Fallback) 응답을 시스템 프롬프트 최상단에 하드코딩해야 합니다. 이것조차 프롬프트 인젝션 등으로 우회당할 수 있어, 애플리케이션 레벨에서 '검색 결과 0건이면 강제 폴백'하는 가드레일을 코드로 박아두는 게 정석입니다. '거절 응답(Refusal)' 패턴을 파인튜닝 데이터에 충분히 포함시키는 것도 효과적입니다.

넷째, 평가 데이터셋 편향입니다. 내부 골든 세트가 과거 티켓 위주면, 신상품 출시나 정책 변경 같은 '분포 외(Out-of-Distribution)' 케이스에 취약해집니다. 레드팀(Red Teaming) 조직을 둬 의도적으로 공격적인 질문(프롬프트 인젝션, 정책 우회, 가짜 시나리오)을 던지며 취약점을 찾아내는 루틴을 정기화해야 합니다. 합성 데이터 생성을 이용해 알려지지 않은 공격 패턴을 시뮬레이션하는 것도 좋은 보완책입니다.

자주 묻는 질문 (FAQ)

Q1. RAG만 잘 구축하면 환각이 완전히 사라지나요? 아닙니다. RAG는 '근거 있는 답변' 확률을 높여주지만, 검색된 문서 자체가 오래됐거나 모순되면 모델은 그중 하나를 골라 그럴듯하게 꾸며냅니다. 검색 품질(리랭킹, 하이브리드 서치), 청크 분할 전략, 인용 강제 로직, 그리고 비판가 에이전트의 교차 검증이 함께 돌아가야 비로소 실무 수준에 근접합니다. 문서 업데이트 파이프라인이 자동화되지 않으면 RAG는 '오래된 지식의 무덤'이 됩니다.

Q2. 오픈소스 모델로도 엔터프라이즈급 에이전트 만들 수 있나요? 가능합니다. 다만 함수 호출(Function Calling) 성능과 긴 컨텍스트 추론 능력이 검증된 모델(예: 라마 3.1 70B 인스트럭트 계열 등)을 골라야 하고, 자체 서빙 인프라(vLLM, TGI 등) 튜닝과 프롬프트 엔지니어링 리소스가 상당히 듭니다. 초기 PoC는 상용 API로 빠르게 돌리고, 비용·보안·커스터마이징 필요성이 명확해지면 오픈소스로 마이그레이션하는 하이브리드 전략을 많이 씁니다. 최근에는 소형 모델(7B~8B급)도 함수 호출 특화 파인튜닝을 거치면 특정 도메인에서 대형 모델 대비 손색없는 성능을 보이기도 합니다.

Q3. 에이전트 프레임워크(랭체인, 랭그래프, 오토젠, 크루AI) 중 뭘 써야 하나요? 정답은 없습니다. 랭그래프는 상태 머신 기반으로 복잡한 분기·루프·사람 개입 제어가 필요할 때 강합니다. 오토젠/크루AI는 다중 에이전트 간 대화·협업 시나리오 프로토타이핑에 빠릅니다. 랭체인(LCEL)은 체인 구성과 스트리밍, 배포 파이프라인이 성숙해 운영 환경 붙이기 좋습니다. 팀의 파이썬 숙련도, 워크플로 복잡도, 운영 환경(K8s, 서버리스 등)에 맞춰 하나 정해 깊게 파는 게 낫습니다. 프레임워크 종속성을 줄이기 위해 핵심 로직(상태 관리, 툴 래퍼, 평가)은 프레임워크 독립적인 파이썬 클래스로 분리해 두는 아키텍처를 권장합니다.

Q4. 환각 방지 위해 '온도(Temperature) 0'으로 고정하면 되나요? Temperature 0은 결정론적 출력을 유도해 변동성을 줄여주지만, 창의적 대안 탐색이 필요한 계획 단계에서는 오히려 '고정된 틀린 길'로만 가게 할 수 있습니다. 단계별로 다르게 쓰는 게 좋습니다. 플래너/비평가 단계는 0.3~0.5로 다양성 확보, 최종 답변 생성·코드 실행 단계는 0~0.1로 고정하는 식입니다. 최신 추론 특화 모델(o1 계열 등)은 내부적으로 사고 과정을 거치므로 Temperature 설정이 의미 없거나 다르게 동작할 수 있어 모델별 가이드를 따르는 것이 안전합니다.

Q5. 액션 AI 도입, 어디서부터 시작해야 할까요? "전사 자동화" 같은 거창한 목표 대신, 반복 빈도 높고, 규칙 명확하고, 실수 비용 낮은 단일 태스크 하나부터 시작하세요. 예: "매일 아침 경쟁사 가격 크롤링해 엑셀 정리 후 슬랙 공유", "고객 문의 메일에서 주문번호 추출해 CRM에 태깅". 이 작은 성공 경험이 데이터 파이프라인, 평가 체계, 운영 노하우를 쌓는 토대가 됩니다. '생각하는 에이전트'보다 '일 잘하는 스크립트'부터 만들고, 점진적으로 자율성을 이식하라는 조언이 현장에서 가장 현실적입니다.

마무리: 기술보다 '운영 문화'가 답입니다

액션 AI가 실무에서 살아남으려면 화려한 데모보다 지루한 '운영 문화'가 더 중요합니다. 환각 제로라는 환상 대신, "어디까지 자동화하고, 어디서 사람 개입할지, 틀렸을 때 어떻게 감지하고 롤백할지"를 시스템 아키텍처와 운영 프로세스에 녹여내는 팀만이 진짜 가치를 만듭니다. RAG 청크 사이즈 100자 늘리고, 비판가 프롬프트 한 줄 고치고, 그림자 모드 로그 한 건 더 보며 밤새는 그 과정이 쌓여야 비로소 "이 에이전트한테 이 업무 맡겨도 되겠다"는 신뢰가 생깁니다.

오늘 나눈 이야기들이 여러분 팀의 첫 에이전트 프로젝트, 혹은 멈춰 있던 프로젝트를 다시 움직이게 하는 작은 실마리가 되길 바랍니다. 다음 글에서는 구체적인 프롬프트 템플릿과 평가 자동화 파이프라인 구축 코드 예제를 들고 찾아오겠습니다. 현장에서 건승하시길 응원합니다.

#액션 AI#환각 방지#에이전트형 AI#RAG#인간 개입(HITL)