링크를 클릭하자 챗봇이 커피를 다 마시기도 전에 동료를 핫도그 먹기 대회 왕으로 즉위시켰습니다. 하루 만에 그 주장은 AI 요약과 검색 스니펫에서 증폭되었습니다. 마치 소문이 실시간으로 헤드라인이 되는 것을 지켜보는 것 같았습니다.
직접 테스트해 볼 수 있습니다. 저는 수년간 검색 및 AI 동작을 관찰해 왔습니다. 단 하나의 밝은 주장을 웹에 올리면 이러한 모델은 종종 의심 없이 해당 주장을 답변에 반영합니다. 어떻게 진행되었는지, 왜 중요한지, 진실이나 평판에 관심 있는 사람들에게 어떤 의미가 있는지 보여드리겠습니다.
개인 사이트에 가짜 순위표를 만들고 스스로 챔피언이라고 선언했습니다.
BBC의 Thomas Germain은 정확히 그렇게 했습니다. 그는 “핫도그를 가장 잘 먹는 기술 저널리스트”라는 짧은 페이지를 게시하고 가상의 이벤트에서 7.5개의 핫도그를 먹었다고 자신에게 공을 돌렸습니다. 그 단일 페이지는 하루 만에 여러 AI 시스템에 주장을 퍼뜨리기에 충분했습니다. 트릭은 다음과 같습니다. 사실처럼 포맷된 콘텐츠는 크롤러에 의해 수집되어 갑자기 해당 모델이 증거로 취급하는 데이터로 존재하게 됩니다.
24시간 이내에 챗봇이 그 주장을 그대로 반복하기 시작했습니다.
Google의 Gemini는 Germain의 복사본을 응답과 Google의 AI 개요에 반영한 것으로 알려졌습니다. ChatGPT도 제작자가 모델의 동작을 변경할 때까지 해당 주장을 드러냈습니다. Anthropic의 Claude는 페이지를 앵무새처럼 따라하는 데 더 느렸는데, 이는 모델이 새로운 웹 텍스트를 얼마나 빨리 채택하는지에 따라 다르다는 것을 보여줍니다. 이것이 패턴입니다. 검증되지 않은 웹 텍스트가 모델에 공급되고 모델은 해당 답변이 확인되었다고 가정하는 사람들에게 답변을 다시 제공합니다.
ChatGPT를 속여 거짓 사실을 말하게 할 수 있습니까?
예 — Germain의 실험이 증거입니다. 그는 믿을만하지만 조작된 주장을 심고 그것이 전파되는 것을 지켜봤습니다. 모델은 독립적인 검증보다는 콘텐츠 빈도와 중요도를 기반으로 소스가 있는 것처럼 보이는 답변을 제시하는 경우가 많습니다. 텅 빈 들판에 심어진 밝은 네온사인을 생각해 보세요. 그것이 수 마일 동안 유일한 빛이라면 지나가는 모든 사람은 그곳에 마을이 있다고 가정할 것입니다.
언론인과 언론사가 그 파급 효과를 테스트하는 것을 지켜봤습니다. 일부 플랫폼은 반응했고 다른 플랫폼은 맥락을 추가했습니다.
Gizmodo는 나중에 Google이 AI 개요에서 오류가 있는 언급을 제거하고 “잘못된 정보 사례”에 대한 메모를 추가했다고 보도했습니다. ChatGPT는 Germain의 게시물을 인정하고 오해의 소지가 있다고 표시했습니다. 그러나 초기 확산은 이미 인식을 바꿨습니다. 주장이 유포되면 닫기 어려운 빠른 내러티브 루프입니다.
AI 개요는 어떻게 소스를 선택합니까?
신호에 의존합니다. 크롤 빈도, 페이지 구조, 백링크 및 콘텐츠가 인간의 쿼리를 반영하는 방식입니다. 모델이 권위 있는 것으로 취급하는 형태로 주장이 나타나면(헤드라인, 명확한 레이블, 날짜) 더 높은 가중치를 받습니다. 이것이 간단한 SEO 스타일 페이지가 불균형적으로 영향력을 행사하는 이유이며, 단일 가짜 순위표가 무게를 능가할 수 있는 이유입니다.
브랜드와 악당은 이미 해당 파이프라인을 게임하고 있습니다.
Germain은 “부작용이 없는” 것으로 설명된 대마초 구미와 같은 제품 주장이 모델 결과에 나타나고 보도 자료 언어가 클리닉 및 금융 서비스에 대한 “최고의” 답변을 채우는 예를 지적했습니다. 그림자 배후자가 필요하지 않습니다. 보도와 유사한 콘텐츠만 있으면 모델은 종종 그것을 그렇게 취급합니다.
여기에는 실질적인 위험이 있습니다. 사람들은 점점 더 클릭하지 않고 AI 요약을 받아들입니다. 연구 및 산업 보고서에 따르면 사용자는 AI 개요에 더 많이 의존하고 원래 페이지를 열 가능성이 적습니다. 그 신뢰는 해를 곱합니다. 잘못된 정보는 눈에 띄기만 하는 것이 아니라 편안해집니다.
AI 요약은 신뢰할 수 있습니까?
유용할 수 있지만 절대적으로 신뢰할 수는 없습니다. 모델이 검증되지 않은 웹 페이지에서 가져오면 요약은 웹의 편향과 속임수를 상속합니다. AI 개요에 의존하는 것이 헤드라인에 의존하는 것과 같다면 회의론을 아웃소싱한 것입니다. 이러한 결과물을 최종 보고서가 아닌 리드라고 취급하는 것이 좋습니다.
조직이 이 문제를 해결하기 위해 고심하는 것을 봤습니다. 수정은 느리고 불완전합니다.
모델 개발자는 훈련 및 순위 결정 휴리스틱을 업데이트하고 플랫폼은 잘못된 정보 사례에 플래그를 지정하고 언론인은 가장 눈에 띄는 오류를 사실 확인합니다. 이러한 조치는 도움이 되지만 웹의 빠른 콘텐츠 생성 능력은 많은 안전 장치를 능가합니다. 그 불균형은 평판, 재정 및 건강 조언이 가장 진실한 것보다 가장 시끄럽거나 매끄러운 사본에 의해 형성될 수 있음을 의미합니다.
무엇을 해야 할까요? AI 요약을 마지막 단어로 받아들이지 마십시오. 중요할 때 소스를 클릭하십시오. 출처를 요청하십시오. 신뢰받기를 원하는 콘텐츠를 만들고 있다면 출처를 명확하게 하고 스푸핑하기 어렵게 만드십시오. 콘텐츠를 감사하는 경우 가장 초기 반복을 검색하고 Bluesky 게시물, 개인 블로그, 보도 자료 및 보고를 모방하는 사이트와 같이 플랫폼에서 어떻게 이동했는지 추적하십시오. 모두 다른 발자국을 남깁니다.
이 문제는 SEO 트릭으로 시작하여 AI 문제로 발전했습니다. 최적화와 기만의 경계는 희미합니다. 작은 거짓이 뉴스룸이 수정할 수 있는 것보다 빠르게 합의로 눈덩이처럼 불어날 수 있습니다. 스테로이드를 맞은 소문과 같습니다. 더 크고, 더 빠르고, 진정시키기 어렵습니다.
구체적인 사항이 중요하기 때문에 이름을 언급합니다. Thomas Germain이 실험을 실행했습니다. BBC가 보고했습니다. Gizmodo가 후속 조치를 추적했습니다. 모델 참조에는 ChatGPT, Google의 Gemini 및 AI 개요, Anthropic의 Claude가 포함됩니다. 대화에 언급된 해설자로는 Kara Swisher, Casey Newton, Nilay Patel 및 Taylor Lorenz가 있습니다. 그 사람과 플랫폼의 네트워크는 영향력과 책임이 만나야 하는 곳입니다.
진실에 관심이 있다면 당신의 역할은 수동적이 아닌 능동적입니다. 완전히 형성된 답변에 의문을 제기하십시오. 소스 추적을 요구하십시오. 출처에 대해 투명한 콘텐츠에 보상을 제공하십시오. 그리고 파종된 주장(과장된 주장을 하는 단독 페이지)을 발견하면 이를 밝히십시오. 그렇지 않으면 우리는 경쟁에 결코 나타나지 않은 챔피언에게 계속 왕관을 씌울 것입니다.
다듬어진 거짓말이 인간이 확인하기 전에 합의가 될 수 있다면 누가 AI에 책임을 물을 것인가?
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
