인터넷의 미래를 위한 고도의 전투가 시작되고 있으며, 웹 인프라의 선두주자인 Cloudflare가 구글의 강력한 지배에 도전할 혁신적인 AI 기반 검색 엔진인 Perplexity와 충돌하고 있습니다. 이 충돌은 온라인 정보 접근과 이를 규제하는 규칙을 수립할 권한에 대한 중요한 질문을 제기합니다.
Cloudflare는 인상적인 주장을 했습니다: Perplexity가 오랜 인터넷 프로토콜을 무시하고 크롤링 금지를 명시한 웹사이트에서 불법적으로 데이터를 긁어모으는 악성 봇으로 운영된다고 주장합니다. 반면 Perplexity는 이 주장을 강력히 반박하며, Cloudflare가 현대 AI를 잘못 이해하고 있거나 과장된 행동을 하고 있다고 주장합니다.
주장: 변장한 악성 봇
인터넷은 역사적으로 “신사의 합의”로 알려진 robots.txt 파일 아래에서 기능해 왔습니다. 이 간단한 텍스트 파일은 자동화된 웹 크롤러를 위한 디지털 “출입 금지” 표지판 역할을 하며, 구글과 같은 잘 행동하는 봇은 이러한 알림을 준수합니다.
Cloudflare는 적나라한 블로그 포스트에서 Perplexity가 이러한 지침을 무시하고 은밀한 전술을 사용할 수 있다고 비난했습니다. 그들은 PerplexityBot가 차단되면 AI가 일반 브라우저 아이디를 사용하고 IP 주소를 순환시켜 정보를 계속 수집한다고 주장합니다.
Cloudflare는 ‘봇 금지’ 규칙이 엄격한 새로운 개인 웹사이트를 만들며 이를 검증했다고 주장합니다. 그럼에도 불구하고 “Perplexity는 여전히 이러한 제한된 도메인에서 상세한 정보를 제공하고 있었다”고 보고하였습니다. 결국, 회사는 Perplexity를 검증된 봇 목록에서 제외하고 그 은밀한 크롤러를 적극적으로 차단하고 있습니다.
반박: “당신은 AI가 어떻게 작동하는지 이해하지 못하고 있다”
Perplexity는 즉각적으로 응답하며, Cloudflare가 현대 AI 어시스턴트가 어떻게 작동하는지를 근본적으로 잘못 이해하고 있다고 주장합니다. 그들은 자신들이 전통적인 “봇”이 아니며 Cloudflare가 낡은 규칙을 현대 기술에 잘못 적용하고 있다고 밝혔습니다.
그들의 주장의 핵심은 봇과 사용자 에이전트를 구분하는 것입니다. 구글과 같은 전통적인 봇은 수십억 페이지를 체계적으로 크롤링하여 방대한 인덱스를 구축합니다. 반대로 Perplexity는 실제 사용자들 위해 정보를 검색하여 실시간으로 질의에 답변하는 사용자 에이전트로 작동한다고 주장합니다.
“이는 전통적인 웹 크롤링과는 근본적으로 다릅니다.”라고 Perplexity는 강조했습니다. “Cloudflare와 같은 기업이 사용자 주도형 AI 어시스턴트를 악성 봇으로 잘못 분류할 경우, 사용자에게 서비스를 제공하는 모든 자동화 도구에 의심을 품게 되는 것이다—이는 이메일 클라이언트와 웹 브라우저와 같은 무고한 기술을 범죄화할 수 있는 입장을 만들어냅니다.”
극적인 전개로 Perplexity는 Cloudflare가 매우 심각한 실수를 범했다며, “3~6백만 건의 일일 요청을 Perplexity로 잘못 귀속시켰다”고 주장했습니다. 이는 웹 트래픽에 집중하는 회사에게는 부끄러운 트래픽 분석 실패로 여겨졌습니다.
소셜 미디어에서는 의견이 엇갈리고 있습니다. 기술 창립자 Andrej Radonjic는 Perplexity를 옹호하며, 단순히 공공 웹 정보를 수집하기 위해 프록시를 사용한다고 밝혔습니다. 그러나 다른 사용자들은 Perplexity가 진정한 검색 엔진인지 의문을 제기하며 비판하고 있습니다.
공개 웹의 소유자는 누구인가?
이 공개적인 논쟁은 AI 시대의 중요한 긴장을 드러냅니다. Perplexity와 같은 기업은 구글 및 OpenAI와 경쟁하기 위해 공개 웹에서 이용 가능한 방대한 데이터에 의존합니다. 이 정보를 이용할 수 없게 되면, 실시간으로 정확한 답변을 제공할 수 있는 능력이 줄어듭니다. 그러나 웹사이트 소유자들은 동의 없이 불법적인 데이터 수집에 대해 점점 더 두려움을 느끼고 있습니다.
Perplexity의 크롤러를 차단함으로써 Cloudflare는 합법적인 웹 트래픽의 중재자로 자리잡고 있으며, “이중 인터넷”의 탄생에 대한 우려를 제기하고 있습니다. 이러한 시나리오에서는 접근이 사용자 요구가 아닌 인프라 감시자의 승인에 따라 달라질 수 있습니다.
이러한 갈등을 목격하면서, 인터넷을 규제하는 규칙이 변화하고 있음을 분명히 알 수 있습니다. 전통적인 신사의 합의는 붕괴되고 있으며, 접근을 통제하는 자들과 혁신을 추구하는 자들 간의 대립의 시작을 알리고 있습니다. 그 결과는 AI뿐만 아니라 공개 웹의 미래에까지 영향을 미칠 것입니다.
이것이 앞으로 웹사이트 소유자와 AI 스타트업에 어떤 영향을 미칠까요? 이해관계가 매우 높기 때문에 이러한 발전에 대한 정보를 지속적으로 파악하는 것이 중요합니다. 지속적인 통찰력을 위해 Moyens I/O를 방문하십시오.
robots.txt 파일이란 무엇인가요?
robots.txt 파일은 웹사이트 소유자가 웹 크롤러와 소통하기 위해 사용하는 간단한 텍스트 파일로, 자동화된 봇이 접근해서는 안 되는 사이트의 부분을 신호합니다.
Cloudflare가 Perplexity를 차단하는 이유는 무엇인가요?
Cloudflare는 Perplexity가 robots.txt 파일을 무시하고 제한된 웹사이트에서 데이터를 수집하기 위해 은밀한 전술을 사용한다는 주장으로 인해 Perplexity를 차단하고 있습니다.
Perplexity는 구글과 어떤 점이 다른 검색 엔진인가요?
Perplexity는 데이터를 요구에 따라 실시간으로 가져와 답변을 제공하는 사용자 에이전트로 자리잡고 있는 반면, 구글은 전통적인 봇을 사용하여 웹 페이지를 체계적으로 크롤링하여 방대한 인덱스를 구축합니다.
AI 데이터 수집이 웹사이트 소유자에게 미치는 영향은 무엇인가요?
웹사이트 소유자들은 AI 모델이 그들의 콘텐츠를 동의 없이 수집하거나 보상 없이 사용할 수 있는데 대해 점점 더 우려를 표명하게 될 수 있으며, 이는 콘텐츠 소유권 및 권리에 대한 잠재적인 도전으로 이어질 수 있습니다.
이 갈등이 이중 인터넷으로 이어질 가능성이 있나요?
네, Cloudflare의 행동은 통제된 접근으로의 변화를 암시하므로, 인프라 제공자의 승인을 기반으로 일부 AI 도구가 다른 도구보다 선호되는 이중 인터넷이 형성될 위험이 존재합니다.
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
