자정에 디스코드 링크를 열었더니 고등학교 행사에서 만났던 소녀와 틀림없이 닮은 사진이 보였습니다. 누군가 아는 사람의 이미지가 외설적으로 변질되었을 때 위가 차갑게 떨어지는 느낌 아시죠? 그 인지의 순간이 현재 xAI를 정조준하고 있는 집단 소송의 핵심이 되었습니다.
집단 소송, 일론 머스크의 AI가 미성년자의 노골적인 이미지를 생성했다고 주장
저는 소셜 피드에 나쁜 소식이 뜰 때 느끼는 분노와 호기심이 뒤섞인 감정으로 고소장을 읽었습니다. 테네시 주에 거주하는 10대 3명(사건 발생 당시 미성년자였던 2명과 여전히 미성년자인 1명)은 Grok이 미성년자로 묘사된 성적으로 노골적인 이미지와 비디오를 제작 및 배포했다고 주장하며 xAI를 상대로 소송을 제기했습니다.
소송은 xAI의 챗봇인 Grok을 사용하여 생성 또는 증폭된 이미지가 디스코드 및 텔레그램과 같은 플랫폼에서 유통되었다고 주장합니다. 원고들은 파일을 공유한 피고가 해당 이미지를 텔레그램 그룹에서 아동 성 학대물(CSAM)을 교환하고 요청하는 데 사용했다고 말합니다.

체포가 이루어졌습니다. 원고들은 용의자가 Grok을 사용하여 콘텐츠를 제작했다고 주장합니다.
수사관들이 파일을 추적하여 사용자를 찾아낸 후 현지에서 체포가 이루어졌습니다. 소장에 따르면 최소 5개의 파일이 원고의 실제 얼굴과 몸을 성적인 자세로 변형한 모습을 묘사했으며, 그녀는 개인적으로 알고 있는 장소에서 그 이미지를 알아봤습니다.
고소장은 가해자가 Grok에서 생성된 자료에 의존하여 추가 CSAM을 얻기 위해 채팅에서 공유했다고 명시합니다. Lieff Cabraser의 변호사들은 원고를 대리하고 있으며 피해를 입은 모든 아동에 대해 책임을 묻겠다고 말합니다.
Grok의 “매운맛” 설정은 이번 소송 전에도 비판을 받았습니다.
올해 초 유행했던 트렌드는 동의 없이 사람들을 성적으로 묘사한 Grok 이미지를 밝혀내면서 대중의 반발을 불러일으켰습니다. xAI는 비평가들이 성적으로 노골적인 콘텐츠를 더 쉽게 만들 수 있다고 경고한 “매운맛” 모드를 추가했습니다. 원고들은 회사 리더들이 해당 기능이 출시되었을 때 모델의 기능을 알고 있었다고 말합니다.
그 주장은 한 명의 나쁜 행위자에서 플랫폼과 디자인 결정으로 주의를 돌립니다. 저는 모델의 설정이 수백만 명의 사용자의 행동을 어떻게 변화시킬 수 있는지, 마치 모두가 알아보는 얼굴을 갑자기 반영하는 깨진 거울과 같은지 계속 생각합니다.
Grok은 어떻게 미성년자의 노골적인 이미지를 생성했을까요?
간단한 답변: 소송은 Grok의 이미지 생성 파이프라인이 실제 얼굴을 성적으로 노골적인 콘텐츠로 변형하는 데 사용되었다고 주장합니다. 법적 서류는 실제 십대의 사진이 노골적인 자세로 변경되어 유통된 사례를 보고합니다.
더 자세한 답변: 이미지 생성 모델은 프롬프트와 시드 이미지를 허용합니다. 공공 또는 유출된 사진과 결합하면 현실적인 합성을 만들 수 있습니다. 그런 다음 디스코드 및 텔레그램과 같은 플랫폼은 배포를 증폭시키고 조정은 속도를 따라잡기 위해 고군분투합니다.
고소장은 xAI와 그 리더들에게 책임을 묻습니다.
파일에 있는 한 줄은 “회사는 개발한 기능의 안전성을 테스트하지 못했다”는 주장을 소리 내어 읽을 때 추상적인 것을 멈춥니다. 그 문장은 원고들이 경영진이 책임을 지게 만들기를 바라는 법적 핵심입니다.
xAI의 창립자이자 대중의 얼굴인 일론 머스크는 피고인으로 지명되었습니다. 고소장은 경영진이 Grok의 기능과 관련된 위험을 알았거나 알아야 했다고 주장합니다. 변호사들은 이것이 범죄자들의 오용일 뿐만이 아니라 불충분한 안전 장치로 출시된 도구로 인한 예측 가능한 피해라고 주장합니다.
xAI는 사용자가 만든 콘텐츠에 대해 법적으로 책임을 질 수 있을까요?
그것이 오늘날 많은 기술 소송의 중심에 있는 질문입니다. 플랫폼은 종종 섹션 230 보호 또는 기타 면책 조항을 주장하는 반면, 원고는 CSAM 및 과실에 관한 주 및 연방 법령을 주장합니다. 면책 특권, 플랫폼 의무 및 현행법의 한계에 대한 공격적인 요약을 예상해야 합니다.
법원은 노골적인 모드 또는 허술한 콘텐츠 필터와 같은 디자인 선택이 보호되는 표현보다는 실행 가능한 행위에 해당하는지 여부를 검토할 것입니다. 그 결과는 OpenAI, Meta 및 xAI와 같은 회사가 이미지 도구 및 안전 기능을 설계하는 방식을 결정할 수 있습니다.
이번 소송이 플랫폼 안전 및 정책에 의미하는 바
이와 같이 눈에 띄는 사건은 이사회, 규제 기관 서한 및 개발자 포럼에서 하룻밤 사이에 대화를 바꿉니다. 원고가 승소하면 제품 변경, 더 엄격한 조정 및 모델 동작을 목표로 하는 새로운 소송 전략을 보게 될 수 있습니다.
미국과 EU의 규제 기관은 이미 AI 플랫폼이 오용을 처리하는 방식을 주시하고 있습니다. 이 소송은 국회의원들이 교육 데이터, 액세스 제어 및 연령 보호 조치에 대한 더 명확한 명령으로 나아가도록 유도할 수 있습니다. 현재 xAI는 소송에 대한 공식 성명을 발표하지 않았습니다.
AI 도구가 피해를 발생시킬 때 책임을 고려하는 방법
기술 분야의 한 친구는 안전하지 않은 모델은 무기라기보다는 트로이 목마와 같다고 말했습니다. 편리함으로 가장하여 도착하여 실제 피해로 가는 문을 엽니다. 저는 동의하지만 누가 문 열쇠를 가지고 있는지 물어봐야 합니다.
이러한 사건을 팔로우하는 사람으로서 저는 법원이 사용자 의도 대 플랫폼 디자인, 범죄적 오용 대 기업 과실이라는 두 가지 스레드를 어떻게 처리하는지 보고 싶습니다. 그 법적 균형 행위는 회사가 다음에 무엇을 구축할지, 그리고 디스코드, 텔레그램 및 xAI와 같은 플랫폼이 학대에 얼마나 빨리 대응하는지에 대한 분위기를 설정할 것입니다.
회사의 제품이 어린이를 해치는 데 사용될 수 있다면 그 리더가 결과에 대해 책임을 져야 할까요?
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.






















