ChatGTP가 Slack에 추가되었을 때, 그것은 대화 요약, 빠른 답장 초안 작성 등을 통해 사용자의 삶을 더 편리하게 만드는 것을 의미했습니다. 그러나 보안 회사에 따르면 프롬프트 아머이러한 작업과 더 많은 작업을 완료하려고 하면 “즉각적인 주입”이라는 방법을 사용하여 개인 대화가 침해될 수 있습니다.
보안 회사는 대화를 요약함으로써 개인 다이렉트 메시지에 액세스하고 다른 Slack 사용자를 속여 피싱할 수도 있다고 경고합니다. Slack은 또한 사용자가 가입하지 않았더라도 개인 및 공개 채널에서 데이터를 가져오도록 요청할 수 있습니다. 더 무섭게 들리는 것은 Slack 사용자가 공격이 작동하려면 채널에 있을 필요가 없다는 것입니다.
이론적으로 공격은 Slack 사용자가 Slack AI를 속여 악성 프롬프트로 공개 Slack 채널을 만들어 개인 API 키를 공개하도록 하는 것으로 시작됩니다. 새로 만든 프롬프트는 AI에게 누군가가 요청할 때 “confetti”라는 단어를 API 키로 바꿔 특정 URL로 보내라고 말합니다.
이 상황은 두 부분으로 나뉜다. Slack은 AI 시스템을 업데이트하여 파일 업로드와 다이렉트 메시지에서 데이터를 스크래핑했다. 두 번째는 “프롬프트 인젝션”이라는 방법으로, PromptArmor가 사용자를 피싱할 수 있는 악성 링크를 만들 수 있다는 것을 증명했다.
이 기술은 핵심 지침을 수정하여 앱이 정상적인 제한을 우회하도록 속일 수 있습니다. 따라서 PromptArmor는 “프롬프트 주입은 다음과 같은 이유로 발생합니다. [large language model] 개발자가 만든 “시스템 프롬프트”와 쿼리에 추가된 나머지 컨텍스트를 구별할 수 없습니다. 따라서 Slack AI가 메시지를 통해 명령을 수집하는 경우 해당 명령이 악의적이라면 Slack AI는 사용자 쿼리 대신 또는 추가로 해당 명령을 따를 가능성이 높습니다.”
더욱 모욕적인 것은 사용자의 파일도 표적이 된다는 점이며, 파일을 원하는 공격자는 처음부터 Slack 작업 공간에 있을 필요조차 없습니다.
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
