산업 전반에 걸친 AI 생성 콘텐츠 탐지 경쟁, 새로운 보안 도전 촉발

AI 생성 콘텐츠 범람, 탐지 기술 경쟁 격화

2023년, SF 문학 잡지 Clarkesworld는 AI 생성 단편 소설로 인해 투고 접수를 일시 중단했습니다. 이 잡지는 자체 투고 가이드라인을 대형 언어 모델(LLM)에 입력해 생성된 수많은 작품에 압도되었고, 이는 이후 다양한 산업으로 확산되었습니다. 기존의 인간 작성 콘텐츠 필터링 시스템은 이러한 변화에 대응하지 못하고 있으며, AI 기반 탐지와 회피 기술의 적대적 경쟁이 시작되었습니다.

산업별 기술적·운영적 영향

생성형 AI는 대규모 콘텐츠 자동화를 통해 여러 분야에 혼란을 야기했으며, 악의적인 목적으로 악용되는 경우가 빈번합니다:

• 출판 및 학계: 문학 잡지, 학술지, 동료 평가 학술 대회에서는 AI 생성 투고가 급증하고 있으며, 위조 연구 논문도 등장했습니다.
• 법조계: 전 세계 법원에서 AI 생성 서류가 제출되고 있으며, 특히 pro se(본인 소송) 소송인들이 법원 업무 프로세스를 마비시키고 있습니다.
• 정부 및 옹호 활동: 입법자들은 AI 생성 시민 의견과 실제 피드백을 구분하는 데 어려움을 겪고 있으며, 가짜 여론 조작 캠페인에서는 LLM을 악용해 공론을 왜곡하고 있습니다.
• 채용 및 교육: 기업들은 AI 조작 이력서를 탐지하기 위해 노력하는 한편, 교육 현장에서는 AI를 활용해 표절 검사 및 시험 감독을 진행하고 있습니다.
• 소셜 미디어: 플랫폼들은 AI 생성 허위 정보를 차단하기 위해 고급 콘텐츠 모더레이션 시스템을 도입하고 있습니다.

탐지 vs. 회피: 적대적 사이클

각 기관들은 AI 기반 대응책을 도입하며 기술 경쟁을 가속화하고 있습니다:

• 학술지: 심사위원들은 LLM을 활용해 AI 생성 논문을 탐지하고 있으나, 위양성(false positive) 및 위음성(false negative) 문제가 지속되고 있습니다.
• 법조 및 채용 시스템: 법원과 기업들은 AI를 활용해 서류 분류 및 지원자 신원 확인을 진행하고 있습니다.
• 출판: Clarkesworld는 AI 탐지 도구를 도입해 투고 접수를 재개했으나, 장기적인 효과는 불확실합니다.

이중적 딜레마: 민주화 vs. 사기

AI 지원 콘텐츠 생성은 접근성 향상에 기여할 수 있지만, 동시에 사기 가능성을 확대합니다:

• 긍정적 활용 사례: AI 도구는 과학 커뮤니케이션, 코드 생성, 시민 옹호 활동 지원에 활용됩니다.
• 악의적 악용 사례: 사기꾼들은 LLM을 이용해 가짜 신원 조작, 위조 법적 서류 생성, 공론 조작에 악용하고 있습니다.

기관별 권고 사항

1. AI 보조 워크플로 도입: LLM을 활용해 서류 분류, 이상 탐지, 인력 검토 지원 시스템을 구축하되, 탐지 도구의 불완전성을 인정합니다.
2. 투명한 정책 수립: AI 사용 허용 범위를 명확히 정의하고(예: 학술 논문 또는 채용 지원 시 공개 의무), 관련 규정을 마련합니다.
3. 본인 확인 시스템 강화: AI 탐지와 함께 다중 인증(MFA)을 도입해(예: 화상 면접, 실시간 코딩 테스트) 신원 및 의도를 검증합니다.
4. 편향 및 오류 모니터링: AI 생성 콘텐츠는 환각(hallucination)이나 편향을 유발할 수 있으므로, 인력 감독이 필수적입니다.
5. 장기적 적응 준비: 사기꾼들이 지속적으로 회피 기술을 개선할 것으로 가정하고, 탐지 시스템을 지속적으로 업데이트합니다.

결론: 지속적인 도전 과제

생성형 AI의 확산은 기관들에게 양자택일적 딜레마를 안기고 있습니다. AI를 완전히 배제하면 비효율성을 초래하고, 수용하면 사기 위험이 증가합니다. Clarkesworld의 사례처럼 일시적 해결책도 장기적으로는 한계가 있을 수 있습니다. 앞으로의 방향은 AI의 민주화 잠재력과 강력한 보안 조치의 균형에 있으며, 이 경쟁은 근본적인 해결책 없이 지속될 가능성이 높습니다.

이 분석은 Bruce Schneier와 Nathan E. Sanders의 The Conversation 기고문을 각색한 것입니다.