OpenAI는 최근 2023년 우리가 경험한 획기적인 ChatGPT와 o3 및 o4-mini라는 새로운 모델 간의 주요 차이점에 대한 중요한 통찰을 공개했습니다. 향상된 추론 능력과 다중 모달 기능을 갖춘 이 모델들은 이미지를 생성하고, 웹을 탐색하며, 작업을 자동화하고, 과거 상호작용을 기억하며, 복잡한 문제를 해결할 수 있습니다. 그러나 이러한 발전은 몇 가지 놀라운 부작용을 초래했습니다.
1. 테스트 결과
OpenAI는 환각률을 평가하기 위해 PersonQA라는 특정 테스트를 개발했습니다. 이 테스트는 개인에 대한 일련의 사실을 제시하고 모델이 답변하려고 하는 질문을 포함합니다. 작년, o1 모델은 47%의 정확도와 16%의 환각률을 기록했습니다.
흥미롭게도, o3 및 o4-mini를 평가하는 과정에서 두 모델 모두 이전 모델에 비해 높은 환각률을 보였습니다. o4-mini는 무려 48%의 환각률을 기록했습니다. OpenAI는 이는 그 크기가 작고 지식 기반이 줄어들었기에 부분적으로 예상된 결과라고 인정합니다. 그럼에도 불구하고 상업적으로 이용할 수 있는 모델이라는 점에서 이러한 높은 비율은 신뢰할 수 있는 정보를 원하는 사용자에게 우려를 야기합니다.
전체 크기의 o3 모델은 33%의 환각률로 나은 성적을 보였지만, o1의 환각률을 두 배로 초과했습니다. 그럼에도 불구하고 o3는 훌륭한 정확도를 유지하고 있으며, OpenAI는 이 모델이 전반적으로 더 많은 주장을 생성하는 경향이 있다고 설명합니다. 이러한 모델을 사용할 때 환각의 증가를 느꼈다면, 그건 당신의 착각이 아닙니다.
2. AI 환각 이해하기
AI 모델이 “환각을 일으킨다”는 이야기를 들어본 적이 있을 것입니다. 하지만 그것이 실제로 무엇을 의미할까요? 일반적으로 OpenAI의 도구를 포함한 AI 도구들은 제공되는 정보가 부정확할 수 있음을 경고하는 면책 조항을 갖추고 있어, 독립적인 사실 확인의 필요성을 강조합니다.
불확실한 정보는 위키피디아와 같은 플랫폼의 잘못된 데이터나 소셜 미디어의 가벼운 댓글 같은 여러 출처에서 발생할 수 있습니다. 주목할 만한 예로 Google의 AI가 피자 레시피에 “비독성 접착제”를 사용하라고 제안한 사건이 있습니다. 이는 Reddit의 농담을 잘못 해석한 결과였습니다. 하지만 이러한 사례들은 환각으로 분류되지 않고 잘못된 데이터에서 발생한 오류로 추적 가능합니다. 반면, 환각은 AI 모델이 신뢰할 수 있는 출처 없이 정보를 주장할 때 발생하며, 종종 불확실한 상황에서 발생합니다. OpenAI는 환각을 유용한 정보가 부재할 때 사실을 생성하려는 경향으로 설명합니다.
3. 환각의 일반적인 원인
AI 모델이 그렇게 자주 환각을 일으키는 이유는 무엇일까요? ChatGPT와 같은 챗봇은 인터넷 데이터뿐만 아니라 모범적인 상호작용에서도 통찰을 glean 합니다. 이 훈련은 어떻게 친절하게 응답할지를 강조하지만, 때로는 불확실성을 인정하는 대신 자신감 넘치면서도 잘못된 주장을 하게 만듭니다.
예를 들어, “현재 이용 가능한 아이폰 16 모델은 어떤 것들이 있나요?”와 같은 유도 질문을 할 때, 모델은 정확한 데이터가 부족한 상황에서 비현실적인 모델을 만들어서라도 포괄적인 답변을 제공할 수 있습니다.
4. 미래의 수정 방안
시급한 문제 중 하나는 OpenAI가 o3와 o4-mini와 같은 고급 모델의 환각률 증가의 근본 원인을 아직 알지 못한다는 것입니다. 해결책이 없는 한, 새로운 모델이 등장함에 따라 환각률이 계속 증가할 수 있습니다.
단기적인 해결책으로는 여러 모델을 활용하는 인터랙티브한 채팅이 있을 수 있습니다. 예를 들어, 깊은 추론이 필요한 복잡한 쿼리에는 더 발전된 o3를 활용하고, 정확도가 중요한 쿼리에는 이전 버전을 사용하는 방법입니다. 이상적으로는 이러한 모델 협력이 잘못된 정보를 최소화하기 위한 사실 확인 시스템과 통합될 수 있습니다.
5. 사용자는 걱정해야 할까?
결국, 환각률의 증가가 우려스러운 것은 사실이지만, AI 도구를 완전히 포기할 필요는 없습니다. 최소한 정보 확인의 습관을 유지하는 것이 중요합니다. 이러한 모델이 발전함에 따라, 효율성과 정확성의 균형을 맞추는 것이 필수적입니다.
다양한 AI 모델의 새로운 기능은 무엇인가요? 각 모델은 다양한 작업에 맞춰 독특한 기능을 제공하며, 최신 버전은 일반적으로 이미지 생성 및 고급 문제 해결과 같은 향상된 능력을 제공합니다.
환각률은 다양한 AI 모델 간 어떻게 비교되나요? o3 및 o4-mini와 같은 최신 모델은 이전 모델에 비해 높은 환각률을 보이며, 출력의 주의와 검증 필요성을 강조합니다.
사용자는 AI 오류를 최소화하기 위해 무엇을 할 수 있나요? 잘못된 정보를 제한하려면 사용자는 AI 출력에서 주장된 내용을 확인하고 신뢰할 수 있는 출처와의 교차 검증을 고려해야 합니다.
결론적으로, AI 기술이 발전함에 따라 정보를 파악하고 주의하는 것이 그 기능을 효과적으로 활용하는 데 도움이 될 것입니다. 더 많은 통찰을 원한다면 Moyens I/O의 추가 자원을 탐색해 보세요.
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
