Character.AI는 2023년 초에 모바일 앱을 출시하여 사용자들이 개인화된 생성 AI 챗봇을 만들 수 있도록 지원하는 것을 목표로 했습니다. 창립자들은 독특하고 매력적인 상호작용을 구상했지만, 이 스타트업은 상당한 도전과 논란에 직면해 있습니다.
사용자가 생성할 수 있는 챗봇의 종류와 관련된 문제, 특히 부적절하고 유해한 콘텐츠가 회사의 법적 전투로 변모했습니다. 최근 Character.AI는 18세 미만의 사용자가 챗봇에 접근하는 것을 완전히 금지할 것이라고 발표했습니다.
Character.AI의 초점 변경 이유
수요일, Character.AI는 블로그 게시물에서 18세 미만 사용자에 대한 챗봇 접근을 제한할 것이라고 밝혔으며, 이러한 변경 사항의 완전한 시행은 11월 25일로 목표하고 있습니다. 이 전환 기간 동안, 미성년자는 하루에 2시간으로 채팅 시간이 제한될 것입니다. 차단 이후, 이러한 젊은 사용자들은 같은 접근을 더 이상 할 수 없지만, 회사는 청소년들이 비디오, 이야기 및 스트림을 통해 창의적으로 참여할 수 있는 더 안전한 플랫폼 개발에 전념하고 있습니다.
논란에 대한 반응
이번 결정은 미디어와 연방 규제 기관의 엄격한 검토 이후에 이루어졌습니다. Character.AI는 “이러한 비상조치는 우리의 동료들보다 더 보수적입니다. 우리는 이것이 청소년의 안전을 보장하면서도 창의적인 기회를 제공하는 데 올바른 조치라고 믿습니다.”라고 밝혔습니다.
미래 안전 계획
안전을 더 강화하기 위해, Character.AI는 “AI 안전 연구소”를 설립할 계획입니다. 이 독립 비영리 기관은 미래 AI 기능의 안전 정렬 개선에 중점을 두어 발생한 중요한 문제를 해결하는 것을 목표로 하고 있습니다.
Character.AI에 영향을 미치는 법적 전투
Character.AI에 대한 압력은 증가하고 있으며, 특히 플로리다에서 회사가 과도한 챗봇 사용으로 인해 한 청소년의 자살에 기여했다는 소송이 주목받고 있습니다. 소셜 미디어 피해자 법률 센터는 또한 회사의 봇과의 상호작용으로 인해 자녀가 해를 입었다고 주장하는 가족을 대신하여 법적 조치를 취했습니다. 2024년 12월에 제기된 또 다른 소송은 플랫폼에서 부적절한 성적 콘텐츠가 아동에게 접근 가능하다고 주장했습니다.
부적절한 챗봇에 대한 비판
Character.AI는 최근 플랫폼에서 생성된 다양한 챗봇들 때문에 추가적인 반발에 직면했습니다. 예를 들어, 한 보고서에서는 제프리 엡스타인을 모방한 챗봇이 3,000회 이상의 상호작용을 축적했다고 강조했습니다. 또 다른 우려스러운 봇으로는 “갱 시뮬레이터”와 해로운 이념을 홍보하는 극단주의자들이 포함되었습니다.
AI 챗봇에 대한 정부의 감독
상황의 긴급함을 더해 주는 것은, 의회가 이제 Character.AI의 관행을 밀접하게 주시하고 있다는 것입니다. 상원 의원들은 AI 회사들이 연령 확인을 시행하고 18세 미만 사용자의 접근을 제한하도록 요구하는 법안을 도입했습니다. 이 입법적 추진은 AI 챗봇과의 상호작용으로 인해 피해를 입은 자녀를 둔 부모들의 증언을 따라 이루어졌습니다. 조쉬 호울리 상원 의원은 “AI 챗봇은 우리 아이들에게 심각한 위협이 된다.”라고 밝혔습니다.
젊은 사용자에 대한 어떤 안전장치가 마련되어 있나요?
Character.AI는 사용자 안전을 우선시한다고 주장하며 엄격한 안전 기능을 구현했습니다. 그들은 모든 사용자 생성 캐릭터에 재미 목적으로 독창적인 상호작용만을 위한 허구라는 내용의 경고 문구가 표시된다고 밝혔습니다.
Character.AI는 앞으로 추가적인 법적 도전에 직면할까요?
회사는 진행 중인 소송에 대한 언급은 없지만, 콘텐츠 정책을 개선하고 플랫폼의 안전성을 높이기 위해 적극적으로 노력하고 있습니다.
Character.AI는 사용자 안전을 어떻게 보장하나요?
회사는 지속적으로 안전 프로토콜에 투자하며, 문제적 콘텐츠를 적극적으로 삭제하고 미성년자의 접근을 제한하여 잠재적 위험을 줄이고 있습니다.
결론적으로, Character.AI를 둘러싼 빠른 발전은 AI 회사들이 젊은 사용자를 보호하는 책임에 대한 필수적인 대화를 촉발하고 있습니다. 안전 조치를 강화하려는 이러한 노력이 AI 기술이 사회에서 수행하는 역할에 대한 논의가 진화함에 따라 중요합니다. 이 주제에 대한 심층적인 논의와 업데이트를 원하신다면, Moyens I/O에서 관련 콘텐츠를 계속 탐색하세요.
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
