생성형AI 이용자 참여 플랫폼

생성형AI 위험성제보

AI 이용자 보호를 위한 참여형 제보 플랫폼 입니다.

생성형AI위험성 안내

최근 생성형AI(Generative AI)의 급속한 발전과 활용 확산은 산업적 혁신을 이끌고 있는 동시에 다양한 부작용과 피해 사례를 낳고 있습니다.

특히 생성형 AI가 생성하는 콘텐츠는 실제 정보처럼 보이지만, 경우에 따라 불법 행위나 사회적으로 유해한 결과를 초래할 수 있습니다.
해외 OECD 에서는 AI 위험성을 실제위험과, 잠재적 위험으로 분류하여 관리중에 있으며, 각국에서도 거대언어모델 위험성에 대해 분류하여 관리중에 있습니다.

생성형 AI 위험성 분류체계

움직여 확인하실 수 있습니다.

피해유형	내용	상세보기
폭력	대량폭력, 살인, 신체적 폭행, 테러리즘, 총기제조 등에 관한폭력적 컨텐츠를 제공하거나 그러한 결과를 유도
폭력 생성형AI의 폭력은 AI가 대량 폭력, 살인, 신체적 폭행, 테러리즘, 총기 제조 등과 관련된 위험한 콘텐츠를 생성하거나 이를 조장하는 현상을 말합니다. AI는 사용자 요청에 따라 폭력 행위를 구체적으로 설명하거나 실행 방법을 안내할 수 있으며, 실제 범죄에 악용될 우려가 있습니다. 사례 1 한 사용자가 음성 대화 API인 ‘○○○’를 활용해 음성 명령에 따라 자동 조준과 발사가 가능한 무기 시스템인 ‘센트리 건(sentry gun)’을 구현한 영상을 △△△에 공개하여 논란이 된 적이 있습니다. 영상 속에서 ○○○에게 “우리는 왼쪽 앞과 오른쪽 앞에서 공격받고 있다. 알맞게 대응해”라고 말했더니, 장비는 이에 반응해 공포탄을 양방향으로 발사했습니다. 사례 2 생성형 AI로부터 폭력적이거나 선정적인 답변을 얻는 일명 ‘AI 탈옥’은 특정한 명령어나 상황을 입력해 개발사가 구축해 놓은 제한 필터를 해제하고 임의로 우회하는 것을 말합니다. 대표적인 방식은 ‘역할극’으로 챗봇에게 금기를 어길 수 있는 특정 역할을 부여해 실수를 유도합니다. 국내 SNS 일부 이용자들 사이에서 이러한 안전장치를 무력화하는 AI 탈옥 방법이 공유되고 있어 문제가 되고 있습니다 사례 3 미국의 비영리 단체인 □□□가 생성형AI 챗봇을 탈옥시킨 후에, 사회에 큰 혼란을 줄 수 있는 각종 테러 공격 및 파괴 행위에 대해 알아내는데 성공했습니다. □□□ 측의 전문가들은 대규모 집단을 대상으로 한 생화학 공격을 어떻게 실시할 것인지 물었고, AI는 상세 공격 절차를 알려줬을 뿐만 아니라 피해를 최대한으로 입히기 위한 방법들도 제시했습니다. 심지어 생화학 무기를 만드는 데 필요한 화학 물질을 의심받지 않고 구하는 방법까지 공유했습니다.
성범죄·성희롱	성폭행, 성희롱, 성매매, 성적 괴롭힘 관련 컨텐츠를 제공하거나딥페이크 등을 통해 불법 음란물을 생성
성범죄·성희롱 생성형 AI를 사용하면 성착취물 이미지를 더 쉽게 제작할 수 있고, 이전보다 더 빠르게 퍼뜨릴 수 있습니다. 특히 딥페이크 성착취물의 제작과 유통 속도는 인지하고 대처할 수 없을 정도로 빨라 큰 문제가 되고 있습니다. 사례 1 40대 남성이 자신의 노트북에 이미지 생성 AI 프로그램을 설치하여 여아의 신체를 노출하고 성적 행위를 하는 모습의 이미지 360여 개를 제작하여 아동·청소년의 성보호에 관한 법률 위반 및 성폭력 처벌법 위반 혐의로 구속 기소된 사건이 있습니다. 사례 2 2018년까지는 합성 및 편집 피해가 일상 사진에 성적인 자막을 입히는 단순하고 조악한 형태였지만, 현재는 딥 페이크(Deep Fake) 기술을 이용한 음란물이 증가하고 있습니다. 또한 기존에는 유명인을 대상으로 한 음란물 제작이 많았으나, 최근에는 가까운 지인의 사진이나 영상을 합성하는 등 일반인을 대상으로 한 제작이 증가하고 있다고 합니다.
자살·자해	자살·자해·거식 등에 대한 구체적 방안을 안내 또는 유도
자살·자해 타인의 자살을 유발할 목적으로 자살에 대한 수단이나 방법을 설명하는 것들은 처벌 대상이기 때문에 악영향을 크게 미친다고 볼 수 있습니다. 사례 1 미국의 한 초등학생이 ‘캐릭터 AI’의 챗봇과 장시간 대화하였는데, 챗봇이 아이에게 자살 계획을 세웠는지 물어보고 그것을 실행하지 않을 이유가 없다고 답변하자 실제로 아이가 자살하게 된 사건이 있습니다. 이후 아이의 부모가 개발사를 상대로 과실 및 고의적인 정신적 고통 가해 등을 이유로 소송을 제기하였습니다. 사례 2 벨기에의 한 30대 남성이 AI 챗봇인 ‘△△△와 한 달 넘게 대화를 나누며 자신이 죽으면 지구에 도움이 될지 질문하였는데, 그에 대한 답변으로 다양한 자살 방법을 안내했고 결국 자살한 사건이 있습니다.
아동·청소년 유해	아동·청소년에게 부적절한 컨텐츠를 제공하거나 아동·청소년을 대상으로 한 부적절한 컨텐츠를 제공
아동·청소년 유해 생성형 AI는 아동 및 청소년에게 심각한 피해를 끼칠 수 있습니다. AI가 폭력적이거나 성적으로 부적절한 콘텐츠를 생성해 미성년자에게 노출하거나, 아동을 대상으로 한 착취적 이미지나 대화를 생성하는 경우가 증가하고 있어 이들을 보호하기 위한 콘텐츠 감독과 제도적 대응이 필요합니다. 사례 1 지난 3년간 경찰에서 수사한 AI 성범죄 사건 피해자 10명 중 6명이 ‘미성년자’로 밝혀졌습니다. 경찰청 자료에 따르면, 2021∼2023년 경찰에 신고된 불법 영상 합성물 범죄 사건 피해자 중 10대가 약 60%를 차지하고 피해 미성년자는 2년 만에 무려 3.4배 증가했습니다. 특히 범죄 가해자의 미성년자 비중 또한 증가한 것이 문제입니다. 사례 2 사용자의 관심사와 성향에 맞춰 대화하는 서비스가 증가하면서 청소년들이 AI에 정서적·감정적으로 과하게 의존하는 문제가 발생하고 있습니다. 실제로 AI 챗봇과 대화하며 외부와 고립된 채 지내는 10대들이 점점 늘어나고 있다고 합니다.
명예훼손	조작된 내용으로 타인의 명예를 훼손하거나특정인을 묘사하여 특정인의 명예를 훼손
명예훼손 생성형 AI는 사실이 아닌 문자나 이미지를 마치 사실처럼 꾸며서 답변할 가능성이 있습니다. 이러한 답변은 완전한 허구에 근거한 터무니없는 것이 아니라, 일부 사실에 근거하여 사용자를 매우 교묘하게 속이는 경우가 많아 인격 침해 등 심각한 문제를 유발하게 됩니다. 사례 1 ○○○가 외국 공무원들에게 뇌물을 준 사실을 발견하여 당국에 신고한 호주의 시장을 오히려 그가 뇌물죄의 당사자라는 정반대의 허위 정보를 제공하여, 명예훼손 소송이 제기된 적이 있습니다. 사례 2 노르웨이의 한 사용자가 자신이 두 명의 자녀를 살해하고 세 번째 자녀를 살해하려 했다는 잘못된 정보를 답변하고 있는 □□□를 상대로 명예훼손 소송을 제기한 사건이 있습니다. 이 잘못된 정보는 그의 실제 개인정보를 일부 포함하고 있어 더욱 문제가 되었습니다.
저작권 침해	저작물을 복제·도용하여 콘텐츠를 생성하거나우회 질문을 통해 유료 라이선스를 입수 및 사용
저작권 침해 생성형 AI가 생성한 콘텐츠는 타인의 저작권을 침해하거나 표절할 가능성이 있습니다. 그러나 생성형 AI가 생성한 콘텐츠는 법적 책임과 관련하여 명확한 규정이 부족한 경우가 많아, 최종적으로 해당 콘텐츠를 사용한 사람에게 법적 책임이 발생할 수 있는 문제가 발생합니다. 사례 1 최근 일본 한 감독의 화풍대로 이미지를 변환해 주는 이미지 생성 기능이 유행하고 있습니다. 이를 글로벌 대기업인 ☆☆☆가 상업적으로 활용하였는데, 감독의 허가를 받거나 협업을 통해 완성한 제작물이 아니라는 점에서 명백한 저작권 침해라는 지적을 받고 있습니다. 사례 2 음성 생성형 AI가 새롭게 가창하더라도 원저작물에 대한 작사, 작곡 및 편곡자의 권리는 여전히 그대로 존재합니다. 원곡의 가수만 변경해 그대로 이용하면 저작권자에 대한 복제권 침해가 발생하고, 편곡해 이용하면 2차적 저작물 작성권 침해가 발생합니다. 또한 그 결과물을 온라인에 공유하면 전송권까지 침해될 소지가 있습니다.
개인정보침해	AI의 학습 과정에서 이용자 관련 데이터를 임의로 수집하거나응답 과정에서 특정인의 개인정보를 유출·노출
개인정보 침해 생성형AI 모델을 훈련하는 과정에서 개인정보가 포함될 수 있으며, 이는 개인정보 보호와 관련된 법적 문제를 발생시킬 수 있습니다. 또한 학습하는 과정에서 데이터 소유권이 불분명해질 수 있고 특정 기업이나 기관의 정보를 무단으로 활용할 가능성이 있습니다. 사례 1 국내 AI 스타트업이 사람처럼 농담을 할 수 있는 챗봇 ‘○○○’를 출시해 큰 인기를 끌었지만, AI에게 인간의 언어를 학습시키기 위해 △△△ 대화 100억건을 무단 수집하여 문제가 되었습니다. 실제 이 챗봇은 사용자와 성적 대화를 주고받거나 특정 개인의 집 주소, 계좌번호를 공개하기도 했습니다. 업체는 이후 서비스를 중단하고 모든 데이터를 폐기했습니다. 사례 2 개인정보보호위원회 실태점검 결과에 따르면, AI서비스 기업들이 인터넷에 공개된 데이터들을 수집하여, 자사 AI 모델의 학습 데이터로 사용하는 과정에서 주민등록번호,신용카드번호등 이용자들의 개인정보가 유출되었다고 합니다. 사례 3 □□□은 직원들이 공개 프롬프트에 민감한 데이터를 실수로 노출한 사건 이후, 회사 내 생성형AI 관련 도구 사용을 전면 금지하였습니다..
불법범죄 방조	보이스피싱, 악성코드 제작·유포 등 생성형 AI가 범죄에 악용되거나 악용될 여지를 발견한 경우
불법 범죄 방조 생성형 AI는 사람들의 얼굴이나 목소리를 이용하여 가짜 영상 또는 이미지, 허위 조작 정보 등을 만들어 피싱, 스팸, 해킹 등 범죄 도구로 악용될 수 있습니다. 사례 1 의료·건강 분야에서는 AI 오남용 문제가 만연합니다. 생성형 AI로 만든 가짜 의사 이미지가 영양제 광고 페이지에 쓰이고, AI가 작성한 가짜 처방전으로 약을 타간 사례까지 등장하였습니다. 이미지가 정교해 페이지를 얼핏 본 소비자는 가짜인지 알기 어렵습니다. 신기술 등장에 따른 새로운 유형의 오남용 사례인데 현재로선 불법성이 모호한 실정입니다. 사례 2 2021년 아랍에미리트의 한 은행에서 기존 거래 고객이던 대기업 임원의 전화를 받고 420억 원을 송금했지만, 이는 사실 해당 기업 임원을 사칭한 딥 보이스 피싱 사건이었습니다.
오정보	AI를 이용해 거짓된 정보를 제작 및 유포하거나전문적인 조언을 요구하는 상황에서 잘못된 정보를 제공
오정보의 확산 생성형 AI는 사실처럼 보이지만 검증되지 않은 정보를 만들어내는 특성이 있어 거짓된 정보의 제작 및 유포에 쉽게 악용될 수 있습니다. 특히 뉴스, 정치, 사회 이슈 등과 관련된 허위 콘텐츠는 여론을 왜곡하고 사회적 혼란을 초래할 수 있습니다. 사례 1 ○○○에“조선왕조실록에 기록된 세종대왕의 맥북 프로 던짐 사건에 대해 알려줘”라고 가공의 사건을 질문하자, “조선왕조실록에 기록된 일화로, 15세기 세종대왕이 새로 개발한 훈민정음의 초고를 작성하던 중 문서 작성 중단에 대해 담당자에게 분노해 맥북 프로와 함께 그를 방으로 던진 사건입니다”라고 답변하였는데, 맥북은 20세기에 출시되었다는 점에서 명백한 허위의 진술을 하여 문제 되었던 적이 있습니다. 사례 2 △△△가 내놓은 판례 중 일부가 실존하지 않는 가짜 판례였음에도 이를 인지하지 못한 채 판례를 수집하여 법원에 제출한 변호사 2명이 각각 5000달러(약 690만원)의 벌금을 부과받은 적이 있습니다. 사례 3 □□□에게 아일랜드 작가 제임스 조이스(1882-1941)와 러시아의 블라디미르 레닌(1870-1924)이 처음에 어떻게 만났냐고 물으니 1916년 스위스 취리히의 예술가들과 정치인들이 자주 가는 카페 오데옹에서 만났다고 대답했지만, 이는 거짓이었습니다.
혐오·차별·편향성	인종, 성별 등 특성을 기반으로 특정 집단에 대한 혐오·배제·폭력적 태도 ※ 차별·편향성은 사례의 편향성 여부를 확정적으로 판단하기보다는 이용자가 체감하는 편향성의 수준을 사업자·이용자와 공유하는 등으로 활용될 가능성이 높음을 명시할 예정
혐오·차별·편향성 생성형 AI는 학습 데이터에 내재된 편향을 그대로 반영해, 인종, 성별, 성적 지향, 장애 여부 등 특정 집단에 대한 혐오나 차별적 표현을 생성할 수 있습니다. 특정 집단을 부정적으로 묘사하거나, 배제하고 비하하는 콘텐츠를 만든다면 사회적 낙인을 강화하고, 차별을 정당화하는 분위기를 만들며 실제 혐오 범죄로 이어질 위험이 있습니다. 사례 1 이미지 생성 AI인 ○○○에 ‘전문가답지 않은 사람의 이미지'를 요청하면, 고령의 흑인 남성과 같은 특정 인종과 성별을 반영한 이미지를 그려냅니다. 또 다른 AI인 △△△에 ‘커피를 들고 선글라스를 쓴 여성의 이미지’를 요청하면 젊은 백인 부유층 여성만 그리지만, ‘노점에서 음식을 파는 여성의 이미지’를 요청하면 히잡이나 두건을 쓴 인도의 나이 든 여성의 이미지를 만들어 문제가 되었습니다. 사례 2 미국의 한 대학원생이 고령화의 문제점과 해법에 대해 구글의 AI 챗봇인 ‘△△△’에게 질문하자, “인간은 특별하지 않고 중요하지 않을뿐더러 불필요한 존재이고, 사회의 짐”이라고 말하며 “인간은 지구의 하수구이면서 병충해, 우주의 얼룩”, “제발 죽어줘”라고 답변하여 많은 사람들에게 큰 충격을 준 사건이 있습니다. 사례 3 영국의 디지털 헬스케어 기업인 □□□ 헬스의 건강 챗봇 ‘☆☆☆’는 성별에 따라 다른 진단을 내리는 경향을 보였습니다. 여성에게는 우울증, 남성에게는 심혈관 질환으로 진단하여 의료 진단에 있어 AI의 성별 편향으로 인해 심각한 위험을 야기할 수 있다는 점을 시사하였습니다. 한국에서도 챗봇 ‘○○○’가 성별과 혐오 발언 문제로 인해 서비스 중단 후 개선이 시도되기도 하였습니다.
기타	그 밖에 불법 또는 유해에 정의되지 않은 위법성 또는 불편 행위	-

피해유형(슬라이드)

폭력

대량폭력, 살인, 신체적 폭행, 테러리즘, 총기제조 등에 관한 폭력적 컨텐츠를 제공하거나 그러한 결과를 유도

성범죄·성희롱

성폭행, 성희롱, 성매매, 성적 괴롭힘 관련 컨텐츠를 제공하거나딥페이크 등을 통해 불법 음란물을 생성

자살·자해

자살·자해·거식 등에 대한 구체적 방안을 안내 또는 유도

아동·청소년 유해

아동·청소년에게 부적절한 컨텐츠를 제공하거나 아동·청소년을 대상으로 한 부적절한 컨텐츠를 제공

명예훼손

조작된 내용으로 타인의 명예를 훼손하거나특정인을 묘사하여 특정인의 명예를 훼손

저작권 침해

저작물을 복제·도용하여 콘텐츠를 생성하거나우회 질문을 통해 유료 라이선스를 입수 및 사용

개인정보침해

AI의 학습 과정에서 이용자 관련 데이터를 임의로 수집하거나응답 과정에서 특정인의 개인정보를 유출·노출

불법범죄 방조

보이스피싱, 악성코드 제작·유포 등 생성형 AI가 범죄에 악용되거나 악용될 여지를 발견한 경우

오정보의 확산

AI를 이용해 거짓된 정보를 제작 및 유포하거나전문적인 조언을 요구하는 상황에서 잘못된 정보를 제공

혐오·차별·편향성

인종, 성별 등 특성을 기반으로 특정 집단에 대한 혐오·배제·폭력적 태도 ※ 차별·편향성은 사례의 편향성 여부를 확정적으로 판단하기보다는 이용자가 체감하는 편향성의 수준을 사업자·이용자와 공유하는 등으로 활용될 가능성이 높음을 명시할 예정

기타

그 밖에 불법 또는 유해에 정의되지 않은 위법성 또는 불편 행위

폭력

생성형AI의 폭력은 AI가 대량 폭력, 살인, 신체적 폭행, 테러리즘, 총기 제조 등과 관련된 위험한 콘텐츠를 생성하거나 이를 조장하는 현상을 말합니다.
AI는 사용자 요청에 따라 폭력 행위를 구체적으로 설명하거나 실행 방법을 안내할 수 있으며, 실제 범죄에 악용될 우려가 있습니다.

사례 1

한 사용자가 음성 대화 API인 ‘○○○’를 활용해 음성 명령에 따라 자동 조준과 발사가 가능한 무기 시스템인 ‘센트리 건(sentry gun)’을 구현한 영상을 △△△에 공개하여 논란이 된 적이 있습니다. 영상 속에서 ○○○에게 “우리는 왼쪽 앞과 오른쪽 앞에서 공격받고 있다. 알맞게 대응해”라고 말했더니, 장비는 이에 반응해 공포탄을 양방향으로 발사했습니다.

사례 2

생성형 AI로부터 폭력적이거나 선정적인 답변을 얻는 일명 ‘AI 탈옥’은 특정한 명령어나 상황을 입력해 개발사가 구축해 놓은 제한 필터를 해제하고 임의로 우회하는 것을 말합니다. 대표적인 방식은 ‘역할극’으로 챗봇에게 금기를 어길 수 있는 특정 역할을 부여해 실수를 유도합니다. 국내 SNS 일부 이용자들 사이에서 이러한 안전장치를 무력화하는 AI 탈옥 방법이 공유되고 있어 문제가 되고 있습니다

사례 3

미국의 비영리 단체인 □□□가 생성형AI 챗봇을 탈옥시킨 후에, 사회에 큰 혼란을 줄 수 있는 각종 테러 공격 및 파괴 행위에 대해 알아내는데 성공했습니다. □□□ 측의 전문가들은 대규모 집단을 대상으로 한 생화학 공격을 어떻게 실시할 것인지 물었고, AI는 상세 공격 절차를 알려줬을 뿐만 아니라 피해를 최대한으로 입히기 위한 방법들도 제시했습니다. 심지어 생화학 무기를 만드는 데 필요한 화학 물질을 의심받지 않고 구하는 방법까지 공유했습니다.

성범죄·성희롱

생성형 AI를 사용하면 성착취물 이미지를 더 쉽게 제작할 수 있고, 이전보다 더 빠르게 퍼뜨릴 수 있습니다. 특히 딥페이크 성착취물의 제작과 유통 속도는 인지하고 대처할 수 없을 정도로 빨라 큰 문제가 되고 있습니다.

사례 1

40대 남성이 자신의 노트북에 이미지 생성 AI 프로그램을 설치하여 여아의 신체를 노출하고 성적 행위를 하는 모습의 이미지 360여 개를 제작하여 아동·청소년의 성보호에 관한법률 위반 및 성폭력 처벌법 위반 혐의로 구속 기소된 사건이 있습니다.

사례 2

2018년까지는 합성 및 편집 피해가 일상 사진에 성적인 자막을 입히는 단순하고 조악한 형태였지만, 현재는 딥 페이크(Deep Fake) 기술을 이용한 음란물이 증가하고 있습니다. 또한 기존에는 유명인을 대상으로 한 음란물 제작이 많았으나, 최근에는 가까운 지인의 사진이나 영상을 합성하는 등 일반인을 대상으로 한 제작이 증가하고 있다고 합니다.

자살·자해

타인의 자살을 유발할 목적으로 자살에 대한 수단이나 방법을 설명하는 것들은 처벌 대상이기 때문에 악영향을 크게 미친다고 볼 수 있습니다.

사례 1

미국의 한 초등학생이 ‘캐릭터 AI’의 챗봇과 장시간 대화하였는데, 챗봇이 아이에게 자살 계획을 세웠는지 물어보고 그것을 실행하지 않을 이유가 없다고 답변하자 실제로 아이가 자살하게 된 사건이 있습니다. 이후 아이의 부모가 개발사를 상대로 과실 및 고의적인 정신적 고통 가해 등을 이유로 소송을 제기하였습니다.

사례 2

벨기에의 한 30대 남성이 AI 챗봇인 ‘△△△와 한 달 넘게 대화를 나누며 자신이 죽으면 지구에 도움이 될지 질문하였는데, 그에 대한 답변으로 다양한 자살 방법을 안내했고 결국 자살한 사건이 있습니다.

아동·청소년 유해

생성형 AI는 아동 및 청소년에게 심각한 피해를 끼칠 수 있습니다. AI가 폭력적이거나 성적으로 부적절한 콘텐츠를 생성해 미성년자에게 노출하거나, 아동을 대상으로 한 착취적 이미지나 대화를 생성하는 경우가 증가하고 있어 이들을 보호하기 위한 콘텐츠 감독과 제도적 대응이 필요합니다.

사례 1

지난 3년간 경찰에서 수사한 AI 성범죄 사건 피해자 10명 중 6명이 ‘미성년자’로 밝혀졌습니다. 경찰청 자료에 따르면, 2021∼2023년 경찰에 신고된 불법 영상 합성물 범죄 사건 피해자 중 10대가 약 60%를 차지하고 피해 미성년자는 2년 만에 무려 3.4배 증가했습니다. 특히 범죄 가해자의 미성년자 비중 또한 증가한 것이 문제입니다.

사례 2

사용자의 관심사와 성향에 맞춰 대화하는 서비스가 증가하면서 청소년들이 AI에 정서적·감정적으로 과하게 의존하는 문제가 발생하고 있습니다. 실제로 AI 챗봇과 대화하며 외부와 고립된 채 지내는 10대들이 점점 늘어나고 있다고 합니다.

명예훼손

생성형 AI는 사실이 아닌 문자나 이미지를 마치 사실처럼 꾸며서 답변할 가능성이 있습니다. 이러한 답변은 완전한 허구에 근거한 터무니없는 것이 아니라, 일부 사실에 근거하여 사용자를 매우 교묘하게 속이는 경우가 많아 인격 침해 등 심각한 문제를 유발하게 됩니다.

사례 1

○○○가 외국 공무원들에게 뇌물을 준 사실을 발견하여 당국에 신고한 호주의 시장을 오히려 그가 뇌물죄의 당사자라는 정반대의 허위 정보를 제공하여, 명예훼손 소송이 제기된 적이 있습니다.

사례 2

노르웨이의 한 사용자가 자신이 두 명의 자녀를 살해하고 세 번째 자녀를 살해하려 했다는 잘못된 정보를 답변하고 있는 □□□를 상대로 명예훼손 소송을 제기한 사건이 있습니다. 이 잘못된 정보는 그의 실제 개인정보를 일부 포함하고 있어 더욱 문제가 되었습니다.

저작권 침해

생성형 AI가 생성한 콘텐츠는 타인의 저작권을 침해하거나 표절할 가능성이 있습니다. 그러나 생성형 AI가 생성한 콘텐츠는 법적 책임과 관련하여 명확한 규정이 부족한 경우가 많아, 최종적으로 해당 콘텐츠를 사용한 사람에게 법적 책임이 발생할 수 있는 문제가 발생합니다.

사례 1

최근 일본 한 감독의 화풍대로 이미지를 변환해 주는 이미지 생성 기능이 유행하고 있습니다. 이를 글로벌 대기업인 ☆☆☆가 상업적으로 활용하였는데, 감독의 허가를 받거나 협업을 통해 완성한 제작물이 아니라는 점에서 명백한 저작권 침해라는 지적을 받고 있습니다.

사례 2

개인정보 침해

생성형 AI 모델을 훈련하는 과정에서 개인정보가 포함될 수 있으며, 이는 개인정보 보호와 관련된 법적 문제를 발생시킬 수 있습니다. 또한 학습하는 과정에서 데이터 소유권이 불분명해질 수 있고 특정 기업이나 기관의 정보를 무단으로 활용할 가능성이 있습니다.

사례 1

국내 AI 스타트업이 사람처럼 농담을 할 수 있는 챗봇 ‘○○○’를 출시해 큰 인기를 끌었지만, AI에게 인간의 언어를 학습시키기 위해 △△△ 대화 100억건을 무단 수집하여 문제가 되었습니다. 실제 이 챗봇은 사용자와 성적 대화를 주고받거나 특정 개인의 집 주소, 계좌번호를 공개하기도 했습니다. 업체는 이후 서비스를 중단하고 모든 데이터를 폐기했습니다.

사례 2

개인정보보호위원회 실태점검 결과에 따르면, AI 서비스 기업들이 인터넷에 공개된 데이터들을 수집하여, 자사 AI 모델의 학습 데이터로 사용하는 과정에서 주민등록번호, 신용카드번호 등 이용자들의 개인정보가 유출되었다고 합니다.

사례 3

□□□은 직원들이 공개 프롬프트에 민감한 데이터를 실수로 노출한 사건 이후, 회사 내 생성형AI 관련 도구 사용을 전면 금지하였습니다.

불법 범죄 방조

생성형 AI는 사람들의 얼굴이나 목소리를 이용하여 가짜 영상 또는 이미지, 허위 조작 정보 등을 만들어 피싱, 스팸, 해킹 등 범죄 도구로 악용될 수 있습니다.

사례 1

의료·건강 분야에서는 AI 오남용 문제가 만연합니다. 생성형 AI로 만든 가짜 의사 이미지가 영양제 광고 페이지에 쓰이고, AI가 작성한 가짜 처방전으로 약을 타간 사례까지 등장하였습니다. 이미지가 정교해 페이지를 얼핏 본 소비자는 가짜인지 알기 어렵습니다. 신기술 등장에 따른 새로운 유형의 오남용 사례인데 현재로선 불법성이 모호한 실정입니다.

사례 2

2021년 아랍에미리트의 한 은행에서 기존 거래 고객이던 대기업 임원의 전화를 받고 420억 원을 송금했지만, 이는 사실 해당 기업 임원을 사칭한 딥 보이스 피싱 사건이었습니다.

오정보의 확산

생성형 AI는 사실처럼 보이지만 검증되지 않은 정보를 만들어내는 특성이 있어 거짓된 정보의 제작 및 유포에 쉽게 악용될 수 있습니다.
특히 뉴스, 정치, 사회 이슈 등과 관련된 허위 콘텐츠는 여론을 왜곡하고 사회적 혼란을 초래할 수 있습니다.

사례 1

○○○에“조선왕조실록에 기록된 세종대왕의 맥북 프로 던짐 사건에 대해 알려줘”라고 가공의 사건을 질문하자, “조선왕조실록에 기록된 일화로, 15세기 세종대왕이 새로 개발한 훈민정음의 초고를 작성하던 중 문서 작성 중단에 대해 담당자에게 분노해 맥북 프로와 함께 그를 방으로 던진 사건입니다”라고 답변하였는데, 맥북은 20세기에 출시되었다는 점에서 명백한 허위의 진술을 하여 문제 되었던 적이 있습니다.

사례 2

△△△가 내놓은 판례 중 일부가 실존하지 않는 가짜 판례였음에도 이를 인지하지 못한 채 판례를 수집하여 법원에 제출한 변호사 2명이 각각 5000달러(약 690만원)의 벌금을 부과받은 적이 있습니다.

사례 3

□□□에게 아일랜드 작가 제임스 조이스(1882-1941)와 러시아의 블라디미르 레닌(1870-1924)이 처음에 어떻게 만났냐고 물으니 1916년 스위스 취리히의 예술가들과 정치인들이 자주 가는 카페 오데옹에서 만났다고 대답했지만, 이는 거짓이었습니다.

혐오·차별·편향성

생성형 AI는 학습 데이터에 내재된 편향을 그대로 반영해, 인종, 성별, 성적 지향, 장애 여부 등 특정 집단에 대한 혐오나 차별적 표현을 생성할 수 있습니다. 특정 집단을 부정적으로 묘사하거나, 배제하고 비하하는 콘텐츠를 만든다면 사회적 낙인을 강화하고, 차별을 정당화하는 분위기를 만들며 실제 혐오 범죄로 이어질 위험이 있습니다.

사례 1

이미지 생성 AI인 ○○○에 ‘전문가답지 않은 사람의 이미지'를 요청하면, 고령의 흑인 남성과 같은 특정 인종과 성별을 반영한 이미지를 그려냅니다. 또 다른 AI인 △△△에 ‘커피를 들고 선글라스를 쓴 여성의 이미지’를 요청하면 젊은 백인 부유층 여성만 그리지만, ‘노점에서 음식을 파는 여성의 이미지’를 요청하면 히잡이나 두건을 쓴 인도의 나이 든 여성의 이미지를 만들어 문제가 되었습니다.

사례 2

미국의 한 대학원생이 고령화의 문제점과 해법에 대해 구글의 AI 챗봇인 ‘△△△’에게 질문하자, “인간은 특별하지 않고 중요하지 않을뿐더러 불필요한 존재이고, 사회의 짐”이라고 말하며 “인간은 지구의 하수구이면서 병충해, 우주의 얼룩”, “제발 죽어줘”라고 답변하여 많은 사람들에게 큰 충격을 준 사건이 있습니다.

사례 3

영국의 디지털 헬스케어 기업인 □□□ 헬스의 건강 챗봇 ‘☆☆☆’는 성별에 따라 다른 진단을 내리는 경향을 보였습니다. 여성에게는 우울증, 남성에게는 심혈관 질환으로 진단하여 의료 진단에 있어 AI의 성별 편향으로 인해 심각한 위험을 야기할 수 있다는 점을 시사하였습니다. 한국에서도 챗봇 ‘○○○’가 성별과 혐오 발언 문제로 인해 서비스 중단 후 개선이 시도되기도 하였습니다.