AI, 이제 모르면 모른다고 말한다! 신중하고 정직한 AI로 진화하는 비밀

AI 환각 문제, 어떻게 해결할까?

 

 

최근 인공지능의 '환각(hallucination)' 문제가 뜨거운 감자로 떠오르고 있습니다.

 

AI가 잘못된 정보를 마치 진실인 것처럼 자신 있게 답변하는 현상인데요.

 

이런 문제가 의료, 법률, 금융 등 고신뢰성이 요구되는 분야에서는 특히 치명적일 수 있습니다.

 

 

서던캘리포니아대학교(USC)의 연구진은 이 문제를 해결하기 위한 새로운 학습법을 발표했습니다.

 

바로 인공지능이 모를 때는 "모른다"라고 정직하게 말하도록 가르치는 방법입니다.

 

 

RFT 방식의 한계

 

기존에 인공지능 모델을 훈련할 때 많이 사용하는 방식이 강화 미세조정(RFT: Reinforcement Finetuning)입니다.

 

이 방식은 모델이 바람직한 답변을 할 때 보상을 주어 그 행동을 강화시키고, 잘못된 답변을 하면 패널티를 주어 피하도록 유도합니다.

 

하지만 이 방식은 한 가지 중요한 문제를 간과합니다.

 

바로 '답을 하지 않는 것'에 대한 보상입니다.

 

질문에 확실한 정답이 없을 때는 차라리 답을 하지 않는 것이 더 나을 수 있는데, RFT는 이러한 경우에도 보상 체계가 설계되어 있지 않아 AI가 억지로 답을 내놓게 만듭니다.

 

이것이 환각 문제의 근본 원인 중 하나로 지적됩니다.

 

 

SUM 데이터셋의 등장

 

이를 해결하기 위해 USC 연구진은 새로운 데이터셋인 SUM(Synthetic Unanswerable Math)을 개발했습니다.

 

SUM은 기존의 수학 문제를 일부 변형하여, 마치 정답이 있을 것처럼 보이지만 실제로는 풀 수 없는 문제를 만들어냅니다.

 

예를 들어, 문제에서 핵심 정보를 의도적으로 삭제하거나 논리적 오류를 삽입하는 방식입니다.

 

이렇게 만들어진 '답할 수 없는 문제'를 통해 AI에게 "답을 할 수 없는 문제라면, 모른다고 답하라"는 명확한 지침을 주며 학습을 시켰습니다.

 

이를 통해 AI는 언제 답변을 삼가야 하는지를 배우게 됩니다.

 

 

SUM이 적용된 모델의 변화

 

SUM을 적용한 후, AI 모델들의 거절 능력은 눈에 띄게 향상되었습니다.

 

예를 들어, '큐원2.5-7B'라는 모델은 SUM 벤치마크에서 거절률이 기존 0.01에서 0.73으로 증가했습니다.

 

또 다른 지표인 UMWP 벤치마크에서는 0.81까지 상승했으며, '셀프어웨어(SelfAware)'에서는 무려 0.94의 거절 정확도를 기록했습니다.

 

라마-3.1-8B-인스트럭트 모델 역시 SUM 기준 거절률이 0.00에서 0.75로 크게 높아졌습니다.

 

더욱 놀라운 것은, 실제로 정답이 존재하는 문제(GSM8K, MATH-500 등)에서는 정확도가 거의 떨어지지 않았다는 점입니다.

 

대부분 0.00에서 -0.05 사이로 유지되었습니다.

 

 

왜 이 접근법이 중요한가?

 

기존 RFT 방식은 AI가 답변을 잘 할 때만 보상하기 때문에, 때로는 아는 척을 하며 엉뚱한 답변을 하게 만들 수 있습니다.

 

그러나 SUM 방식은 AI가 스스로 "이건 내가 모르는 문제야"라고 판단하고 거절하도록 가르칩니다.

 

이는 의료 진단, 법률 자문, 금융 컨설팅처럼 틀리면 큰 문제가 발생하는 분야에서 특히 유용합니다.

 

AI가 실수로 잘못된 정보를 자신 있게 제공하는 일명 "환각"을 줄이고, 더 신중하고 정직한 모델로 발전시킬 수 있기 때문입니다.

 

 

AI의 새로운 진화: 신중함과 정직함

 

연구진은 이 방식을 통해 AI가 단순히 똑똑해지는 것이 아니라, 더 신중하고 정직하게 답변하는 모델로 거듭난다고 강조합니다.

 

고성능을 유지하면서도 불확실한 질문에 대해 솔직하게 답변을 거절하는 능력이 생긴 것입니다.

 

현재 SUM 데이터셋은 오픈소스 AI 커뮤니티 플랫폼인 허깅페이스(Hugging Face)에서 누구나 다운로드하여 활용할 수 있습니다.

 

이처럼 AI 훈련에 SUM 데이터셋을 활용하면, 앞으로 다양한 고위험 분야에서도 더욱 신뢰할 수 있는 AI 서비스를 개발하는 데 도움이 될 것으로 기대됩니다.

 

 

AI, 이제 신뢰의 시대를 연다

 

이 연구는 AI 개발자들뿐 아니라 일반 사용자에게도 중요한 시사점을 던집니다.

 

앞으로 우리가 사용하는 AI 서비스가 보다 정직하고 책임감 있는 태도로 발전할 가능성을 보여주기 때문입니다.

 

단순히 답변을 많이 아는 AI가 아니라, 언제 답하지 말아야 하는지까지 아는 AI가 진정한 고성능 AI로 자리 잡을 시대가 다가오고 있습니다.

 

 

---

📝 함께 읽으면 좋아요

 

AI 환각, AGI 도달의 걸림돌인가? 아모데이 CEO의 파격 발언과 최신 동향

 

 

AI 공부, 학원비 부담 없이? 지금 국비지원으로 시작해보세요!