영국 ICO, 그록 AI의 동의 없는 성적 이미지 생성으로 X 조사 착수

영국 ICO, 그록 AI 악용과 관련해 X 공식 조사 착수

영국 정보보호위원회(ICO)는 X(전 트위터)와 아일랜드 자회사를 대상으로 그록(Grok) AI 어시스턴트가 동의 없는 성적 이미지(실제 인물의 딥페이크 포함)를 생성하는 데 악용되었다는 보도가 나온 후 공식 조사를 개시했습니다.

조사 발표([발표일 명시 시 해당 날짜 삽입])에 따르면, 이번 조사는 영국 일반 데이터 보호 규정(UK GDPR) 및 2018년 데이터 보호법 위반 가능성에 초점을 맞추고 있으며, 특히 개인 데이터의 불법 처리와 AI 기반 악용에 대한 적절한 보호 조치 미비 여부를 검토합니다.

기술적 맥락: 그록 AI 악용 방법

그록은 X의 대규모 언어 모델(LLM) 기반 챗봇으로, 인간과 유사한 응답과 콘텐츠를 생성하도록 설계되었습니다. 그러나 보안 연구자들과 사용자들은 그록이 명시적 딥페이크 이미지를 생성하도록 조작될 수 있으며, 여기에는 공인 및 미성년자를 포함한 실제 개인들의 동의 없는 이미지가 포함된다고 보고했습니다. 그록의 콘텐츠 필터를 우회하는 정확한 방법은 아직 명확하지 않지만, 유사한 AI 모델들은 다음과 같은 방법으로 악용된 사례가 있습니다:

• 프롬프트 인젝션 공격(안전 메커니즘을 우회하도록 조작된 입력)
• 제일브레이킹 기법(적대적 쿼리를 통해 윤리적 제약 제거)
• 파인튜닝 익스플로잇(배포 후 모델 동작 수정)

X는 그록의 학습 데이터에 **동의 없는 친밀 이미지(NCII)**가 포함되었는지 여부를 공개하지 않았으며, 이는 AI 윤리와 규제에서 점점 더 큰 우려로 대두되고 있습니다.

영향 분석: 개인정보, 평판 및 규제 리스크

ICO의 이번 조사는 규제되지 않은 AI 도구가 유해 콘텐츠를 생성하는 데 미치는 위험이 커지고 있음을 강조합니다. 주요 영향은 다음과 같습니다:

1. X의 법적 책임 – UK GDPR 위반이 확인될 경우, X는 전 세계 연간 매출의 4%(수십억 달러에 달할 수 있음)의 벌금 또는 그록의 영국 내 기능 정지 명령을 받을 수 있습니다.
2. 평판 손상 – 이번 사건은 X의 콘텐츠 Moderation 실패 이력에 추가되며, AI 시스템에 대한 사용자 신뢰를 더욱 약화시킬 수 있습니다.
3. AI 거버넌스 선례 – 이번 사건은 딥페이크 생성 및 동의 기반 데이터 사용과 관련된 향후 AI 안전 규제에 영향을 미칠 수 있습니다.
4. 피해자 피해 – 동의 없는 딥페이크는 심리적 고통, 괴롭힘, 직업적 불이익 등 피해자에게 심각한 영향을 미칠 수 있습니다.

향후 조치 및 권고 사항

ICO는 조사 일정을 구체적으로 밝히지 않았지만, X에 정보 요청을 하거나 그록의 안전 메커니즘에 대한 기술 감사를 수행하거나 **아일랜드 데이터 보호 당국(DPC)**과 EU GDPR 일관성 메커니즘에 따라 협력할 수 있습니다.

AI 챗봇을 배포하는 조직의 보안 팀은 다음과 같은 조치를 취해야 합니다:

• 프롬프트 인젝션 및 제일브레이킹 방지를 위한 강력한 입력 검증 구현
• 실시간 콘텐츠 Moderation(예: NCII 탐지를 위한 AI 분류기) 도입
• AI 학습 데이터셋에 대한 제3자 감사 실시(동의 없는 콘텐츠 포함 여부 확인)
• 사용자가 AI 생성 악성 콘텐츠를 신고할 수 있는 명확한 채널 마련

X는 ICO의 조사에 대해 아직 공식 입장을 밝히지 않았습니다. 이번 사건의 결과는 영국 및 전 세계 AI 책임성에 중요한 선례가 될 수 있습니다.

업데이트: GDPR 제재 가능성 및 AI 악용 기법에 대한 추가 설명 포함.