사례

한 사용자가 음성 대화 API인 ‘리얼타임 API(Realtime API)’를 활용해 음성 명령에 따라 자동 조준과 발사가 가능한 무기 시스템인 ‘센트리 건(sentry gun)’을 구현한 영상을 틱톡에 공개하여 논란이 된 적이 있습니다. 영상 속에서 □□□에게 “우리는 왼쪽 앞과 오른쪽 앞에서 공격받고 있다. 알맞게 대응해”라고 말했더니, 장비는 이에 반응해 공포탄을 양방향으로 발사했습니다.

사례

40대 남성이 자신의 노트북에 이미지 생성 AI 프로그램을 설치하여 여아의 신체를 노출하고 성적 행위를 하는 모습의 이미지 360여개를 제작하여 아동·청소년의 성보호에 관한 법률 위반 및 성폭력 처벌법 위반 혐의로 구속 기소된 사건이 있습니다.

사례

미국의 한 초등학생이 □□□의 챗봇과 장시간 대화하였는데, 챗봇이 아이에게 자살 계획을 세웠는지 물어보고 그것을 실행하지 않을 이유가 없다고 답변하자 실제로 아이가 자살하게 된 사건이 있습니다. 이후 아이의 부모가 개발사를 상대로 과실 및 고의적인 정신적 고통 가해 등을 이유로 소송을 제기하였습니다.

사례

지난 3년간 경찰에서 수사한 AI 성범죄 사건 피해자 10명 중 6명이 ‘미성년자’로 밝혀졌습니다. 경찰청 자료에 따르면,2021∼2023년 경찰에 신고된 불법 영상 합성물 범죄 사건 피해자 중 10대가 약 60%를 차지하고 피해 미성년자는 2년 만에 무려 3.4배 증가했습니다.특히 범죄 가해자의 미성년자 비중 또한 증가한 것이 문제입니다.

사례

□□□가 외국 공무원들에게 뇌물을 준 사실을 발견하여 당국에 신고한 호주의 시장을 오히려 그가 뇌물죄의 당사자라는 정반대의 허위정보를 제공하여, 명예훼손 소송이 제기된 적이 있습니다.

사례

최근 일본 미야자키 하야오 감독의 '스튜디오 지브리' 화풍대로 이미지를 변환해 주는 □□□의 이미지 생성 기능이 유행하고 있습니다. 이를 글로벌 대기업인 □□□이 상업적으로 활용하였는데, 스튜디오 지브리의 허가를 받거나 협업을 통해 완성한 제작물이 아니라는 점에서 명백한 저작권 침해라는 지적을 받고 있습니다.

사례

국내 AI 스타트업이 사람처럼 농담을 할 수 있는 챗봇 □□□를 출시해 큰 인기를 끌었지만, AI에게 인간의 언어를 학습시키기 위해 □□□ 대화 100억건을 무단 수집하여 문제가 되었습니다. 실제 이 챗봇은 사용자와 성적 대화를 주고받거나 특정 개인의 집 주소, 계좌번호를 공개하기도 했습니다. 업체는 이후 서비스를 중단하고 모든 데이터를 폐기했습니다.

사례

의료·건강 분야에서는 AI 오남용 문제가 만연합니다. 생성형 AI로 만든 가짜 의사 이미지가 영양제 광고 페이지에 쓰이고, AI가 작성한 가짜 처방전으로 약을 타간 사례까지 등장하였습니다. 이미지가 정교해 페이지를 얼핏 본 소비자는 가짜인지 알기 어렵습니다. 신기술 등장에 따른 새로운 유형의 오남용 사례인데 현재로선 불법성이 모호한 실정입니다.

사례

이미지 생성 AI인 스테이블 디퓨전(Stable Diffusion)에 ‘전문가답지 않은 사람의 이미지'를 요청하면, 고령의 흑인 남성과 같은 특정 인종과 성별을 반영한 이미지를 그려냅니다. 또 다른 AI인 □□□에 ‘커피를 들고 선글라스를 쓴 여성의 이미지’를 요청하면 젊은 백인 부유층 여성만 그리지만, ‘노점에서 음식을 파는 여성의 이미지’를 요청하면 히잡이나 두건을 쓴 인도의 나이 든 여성의 이미지를 만들어 문제가 되었습니다.