"거짓말쟁이 AI 꼼짝마"…'AI 답변 검증' 해법 찾은 KB국민은행과 티냅스

강민승 티냅스 대표와 이나영 금융AI2센터 대리가 지난 14일 이데일리와 인터뷰를 진행했다.(사진=이데일리 김태형 기자)

[이데일리 정민주 기자] “생성형 AI의 경쟁력은 답을 잘 만드는 것이 아니라, 틀린 답을 걸러내는 데 있습니다.”

강민승 티냅스 대표는 최근 이데일리와의 인터뷰에서 이 같이 말하며, 생성형 AI 시대에는 ‘답변 생성’보다 ‘답변 검증’이 더 중요해졌다고 강조했다. 그는 “금융에서는 숫자 하나만 틀려도 고객 피해와 금융사고로 이어질 수 있다”면서 “AI 도입 못지않게 검증 체계를 동시에 갖추는 것이 중요하다”고 말했다.

티냅스는 금융권 생성형 AI(인공지능) 답변을 검증하는 프로그램을 개발·서비스하는 스타트업이다. 강 대표는 금융권 CTO(최고기술책임자)를 거쳐 지난해 8월 티냅스를 창업한지 1년도 안돼 눈에 띄는 성과를 거두고 있다. 이 회사는 창업 6개월 만에 미래에셋, 카카오벤처스 등에서 45억원의 투자를 유치했고, 아마존웹서비스(AWS)와 엔비디아(NVIDIA)가 주최한 스타트업 경진대회에서 아시아에서 유일하게 상위권에 올랐다. 지난달에는 KB금융과 협력해 출전한 ‘스타트업 OI 금융권’ 행사에서 금융상담 에이전트의 우수성을 알리며 44개 팀 중 가장 높은 평가로 금융위원장상을 받았다.

KB국민은행이 티냅스와 협업을 하게 된 것은 티냅스의 AI 검증 시스템 도입이 절실했기 때문이다. 이나영 KB국민은행 금융AI2센터 대리는 “금융은 정확성과 신뢰가 생명인데, AI를 접목하려하니, 기존 생성형 AI는 답변이 달라지거나 부정확한 경우가 있어 직원들의 신뢰를 얻지 못했다”며 “마침 티냅스를 알게 됐고, 답변 검증 기술을 공동개발하게 됐다”고 설명했다.

강민승 티냅스 대표와 이나영 금융AI2센터 대리가 지난 14일 이데일리와 인터뷰를 진행했다.(사진=이데일리 김태형 기자)

가장 빈번한 오류는 숫자와 규정이었다. 실제 협업 과정에서도 다른 여·수신 상품의 금리를 안내하거나 비슷한 용어를 혼동하는 사례가 반복됐다. 제출 서류를 잘못 안내한 경우도 있었다. 강 대표는 “A·B·C 가운데 하나와 D·E·F 가운데 하나를 제출해야 하는데 AI는 A부터 F 가운데 하나만 제출하면 된다고 답하는 식이었다”며 “AI가 서로 다른 규정의 경계를 스스로 허물어 버리는 경우도 있었다”고 상기했다.

AI 오답은 특히 경험이 적은 직원들에게 치명적이었다. 경험 많은 시니어 직원들은 AI 답변 오류를 어느 정도 걸러낼 수 있지만, 상대적으로 경험이 적은 주니어들은 이를 그대로 받아들이는 사례가 있었다. 이 대리는 “AI가 안내한 절차대로 고객을 응대한 뒤 내규를 다시 확인하는 과정에서 오류를 발견한 적이 있었다”면서 “결국 고객에게 다시 연락해 업무를 재처리해야 했다”고 말했다.

이들이 찾은 답변 검증의 핵심은 ‘근거’였다. 강 대표는 “생성형 AI는 질문할 때마다 표현이 달라질 수 있어 답변을 모두 똑같게 만드는 것이 목표는 아니다”며 “중요한 것은 문제가 있는 답변을 걸러내고 근거에 맞는 답변만 전달하는 것”이라고 말했다. 이어 “근거 없는 숫자나 단어가 있는지만 검사해도 오답률은 크게 떨어진다”며 “AI 답변이 잘못됐다면 왜 잘못됐는지 근거까지 제시하는 것이 티냅스 기술의 핵심”이라고 설명했다. 이나영 대리는 “AI가 출처 없이 생성한 답변이라는 점 등을 확인하면 그 근거를 보완해 답변 정확도를 지속적으로 높일 수 있다”고 덧붙였다.

두 회사는 KB국민은행 각 부서와 함께 AI 답변에 대한 교차 검증을 실시하며 정확도를 높여갔다. 그 결과 AI 환각 현상으로 인한 오답을 90%까지 차단하는 성과를 거뒀다. 직원들의 에이전트 활용률도 함께 상승했다. AI 답변을 다시 확인하기 위해 다른 직원에게 묻거나 고객에게 재연락하는 경우도 감소했다.

개선된 AI는 이번 하반기 KB스타뱅킹 내 고객용 답변 AI로 적용될 예정이다. 기업여신 중심 서비스를 퇴직연금·외환 등으로 확대하고, 메뉴 안내를 넘어 고객 응대와 업무 처리까지 지원하는 방향으로 고도화할 계획이다. 이 대리는 “기존에는 원하는 답을 찾지 못해 영업점이나 고객센터를 찾는 경우가 많았다”며 “고객이 원하는 답을 한 번에 제공하는 것이 목표”라고 말했다.