주요 요점
- Google Gemini 1.5는 Claude 및 ChatGPT와 같은 경쟁사를 능가하는 100만 개의 토큰 컨텍스트 창을 도입했습니다.
- 더 큰 컨텍스트 창은 AI 모델의 성능을 향상시키고 오류를 줄이지만, 전반적인 성공을 보장하지는 않습니다.
- 제미니 1.5의 더 큰 컨텍스트 창은 정확도를 크게 높이고, 오류를 줄이고, 이해도를 향상시킬 수 있습니다.
Google Gemini 1.5는 이제 무려 100만 개의 토큰 컨텍스트 창을 제공하며, ChatGPT, Claude 및 기타 AI 챗봇과의 직접 경쟁을 훨씬 능가합니다.
엄청난 업그레이드처럼 들리며 Gemini를 차별화할 수 있습니다. 전체적인 범위를 파악하기는 약간 어렵지만 Gemini의 엄청난 컨텍스트 창은 게임 체인저가 될 수 있습니다.
컨텍스트 창이란 무엇인가요?
개념을 설명하거나 텍스트를 요약하는 것과 같이 질의에 응답할 때 AI 모델은 응답을 생성하기 위해 고려할 수 있는 데이터의 양에 제한이 있습니다. 고려할 수 있는 텍스트 크기의 제한을 컨텍스트 창이라고 합니다.
다른 관점에서 생각해 보겠습니다. 예를 들어, 장보기 목록 없이 식료품점에 가서 장보기를 한다고 가정해 보겠습니다. 쇼핑할 때 기억하는 식료품의 수에 대한 한계는 컨텍스트 윈도우입니다. 기억할 수 있는 식료품이 많을수록 쇼핑 계획을 망치지 않을 가능성이 높아집니다. 마찬가지로 AI 모델의 컨텍스트 윈도우가 클수록 모델이 최상의 결과를 제공하는 데 필요한 모든 것을 기억할 가능성이 높아집니다.
이 글을 쓰는 시점에서 Anthropic의 Claude 2.1의 200k 컨텍스트 윈도우는 일반적으로 사용 가능한 모든 AI 모델 중 가장 큰 컨텍스트 윈도우입니다. 그 다음은 128k 컨텍스트 윈도우를 갖춘 GPT-4 Turbo입니다. Google Gemini 1.5는 시중의 어떤 것보다 4배 더 큰 100만 컨텍스트 윈도우를 제공합니다. 이로 인해 큰 의문이 생깁니다. 100만 토큰 컨텍스트 윈도우가 무슨 대단한 일일까요?
Gemini 1.5의 컨텍스트 창이 중요한 이유
더 명확하게 말하자면, Claude AI의 200k 컨텍스트 윈도우는 약 150,000단어의 책을 소화하고 답변을 제공할 수 있다는 것을 의미합니다. 엄청난 규모죠. 하지만 Google의 Gemini 1.5는 한 번에 700,000단어를 소화할 수 있을 겁니다!
ChatGPT나 Gemini와 같은 AI 챗봇에 큰 텍스트 블록을 입력하면 가능한 한 많은 텍스트를 소화하려고 하지만 얼마나 소화할 수 있는지는 컨텍스트 창에 따라 달라집니다. 따라서 28k만 처리할 수 있는 모델에서 100k 단어로 진행되는 대화가 있고, 100k 단어의 대화 전체를 완전히 알아야 하는 질문을 시작하면 실패하도록 설정하는 것입니다.
1시간짜리 영화를 20분만 보고 영화 전체를 설명해 달라고 요청받는다고 상상해보세요. 당신의 결과는 얼마나 좋을까요? 대답을 거부하거나 그냥 꾸며낼 텐데, 이는 AI 챗봇이 하는 일과 똑같아 AI 환각으로 이어집니다.
이제, 챗봇에 10만 단어를 입력해 본 적이 없다고 생각한다면, 그게 전부는 아닙니다. 컨텍스트 창은 단일 프롬프트에서 AI 모델에 입력하는 텍스트만을 초월합니다. AI 모델은 채팅 세션 중에 나눈 대화 전체를 고려하여 응답이 가능한 한 관련성이 있도록 합니다.
따라서 10만 단어의 책을 제공하지 않더라도, 주고받는 대화와 제공하는 답변은 모두 컨텍스트 창 계산에 추가됩니다. ChatGPT나 Google의 Gemini가 대화에서 앞서 말한 내용을 계속 잊어버리는 이유가 궁금하신가요? 컨텍스트 창 공간이 부족해서 무언가를 잊기 시작했을 가능성이 큽니다.
더 큰 컨텍스트 창은 긴 기사 요약, 복잡한 질문에 대한 답변 또는 생성된 텍스트에서 일관된 내러티브를 유지하는 것과 같이 컨텍스트에 대한 심층적인 이해가 필요한 작업에 특히 중요합니다. 일관된 내러티브가 있는 50,000단어의 소설을 쓰고 싶으신가요? 1시간 분량의 비디오 파일에서 질문을 “보고” 답할 수 있는 모델을 원하시나요? 더 큰 컨텍스트 창이 필요합니다!
간단히 말해, 제미니 1.5의 더 큰 컨텍스트 창은 AI 모델의 성능을 크게 향상시켜 환각을 줄이고 정확도와 지시를 더 잘 따르는 능력을 크게 높일 수 있습니다.
제미니 1.5는 기대에 부응할 것인가?
모든 것이 계획대로 진행된다면 Gemini 1.5는 잠재적으로 시장에서 가장 우수한 AI 모델을 능가할 수 있습니다. 그러나 Google이 안정적인 AI 모델을 구축하는 데 많은 실패를 겪었다는 점을 고려하면 조심하는 것이 중요합니다. 모델의 컨텍스트 창을 높이는 것만으로 모델이 자동으로 좋아지는 것은 아닙니다.
저는 Claude 2.1이 출시된 이후로 몇 달 동안 200k 컨텍스트 윈도우를 사용해 왔으며, 한 가지 분명한 사실을 알게 되었습니다. 컨텍스트 윈도우가 클수록 실제로 컨텍스트 민감도는 향상되지만 핵심 모델 성능의 문제로 인해 컨텍스트가 커질 경우 별도의 문제가 될 수 있습니다.
Google Gemini 1.5가 게임 체인저를 제공할까요? 소셜 미디어는 현재 조기 액세스 사용자의 Gemini 1.5에 대한 극찬 리뷰로 가득 차 있습니다. 그러나 대부분의 5성급 리뷰는 서두르거나 단순화된 사용 사례에서 비롯됩니다. Gemini 1.5가 실제로 어떻게 수행될지 확인할 수 있는 좋은 곳은 Google의 Gemini 1.5 기술 보고서 내부입니다. [PDF]. 보고서는 “통제된 테스트” 중에도 모델이 컨텍스트 창 크기 내에서 문서의 모든 작은 세부 정보를 검색할 수 없었음을 보여줍니다.
100만 개의 토큰 컨텍스트 윈도우는 실제로 인상적인 기술적 업적이지만, 문서의 세부 정보를 안정적으로 검색할 수 없다면 더 큰 컨텍스트 윈도우는 실질적으로 가치가 거의 없으며 정확도가 떨어지거나 환각 현상이 나타날 수도 있습니다.
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
