(출처=클립아트코리아)

[위즈경제] 이정원 기자 =최근 AI 기술이 빠르게 발달하면서 딥페이크(Deep Fake) 문제가 사회적인 파장을 낳고 있다.

경찰청에 따르면 딥페이크 등을 활용해 허위영상물을 제작하는 사례는 매년 증가하고 있는 것으로 나타났다.

연도별 허위영상물 등 범죄 관련 발생 건수는 2021년 156건, 2022년 160건, 2023년 180건, 2024(1~7월) 297건으로 집계됐다.

특히, 딥페이크 제작이 쉬워지면서 청소년들 사이에서 딥페이크 등 디지털 성범죄가 성행하고 있다.

실제로 2021년 10대 디지털 성범죄 피의자는 51명에서 매년 증가세를 보였으며, 올해 1월부터 7월까지 피의자 수는 131명으로 크게 늘었다.

이처럼AI 기술이 고도화됨에 따라 목소리나 텍스트의 형태로 생성 또는 합성한 뉴스를 지칭하는 이른바 ‘합성 미디어(Synthetic Media)’를 활용한 범죄 악용에 대한 우려가 커지고 있다.

이런 가운데 한국 딜로이트 그룹은 ‘딥페이크 시대의 리스크 유형과 대응방안’ 보고서를 발간하고 합성 미디어로 인해 ‘피싱(Phising)’, ‘딥페이크(Deepfake)’, ‘프롬프트 인젝션(Prompt Injection)’,’거짓정보(Misinformation)’ 등의 범죄가 발생할 수 있다고 밝혔다.

합성 미디어는 AI가 목소리나 텍스트의 형태로 생성 또는 합성한 뉴스 등을 말한다.

보고서는 기존의 피싱 공격 대부분은 피싱 메일 수신자가 문법과 철자의 부정확성 등으로 피싱 시도를 알아차릴 수 있었지만, 합성 미디어 기술이 적용될 경우, 설득력 있고 오류 없는 메시지를 빠르고 쉽게 작성할 수 있게 될 것이라고 내다봤다.

이는 합성 미디어 콘텐츠를 결합한 피싱 공격의 정교함으로 수신자들이 피싱 메일을 쉽게 걸러낼 수 없어 개인과 조직에 피해를 줄 수 있다는 것이다.

또 다른 범죄 유형으로는 딥페이크 기술을 활용한 사기 범죄를 꼽았다.

최근 딥페이크 기술이 고도화됨에 따라 영상 및 음성 조작이 용이해지면서 타인을 사칭하는 사례가 발생하고 있으며, 이는 향후 딥페이크 기술이 발전할수록 누구와 소통하고 거래하고 있는지 확신하는 것이 더욱 어려워질 것으로 보인다.

보고서는 시장조사 업체 가트너의 자료를 인용해 2026년까지 기업의 약 3분의 1이 AI로 생성된 딥페이크로 인해 신원 확인 및 인증 솔루션을 신뢰할 수 없게 될 것이라고 예상했다고 밝혔다.

아울러 보고서는 ‘프롬프트 인젝션’ 공격에 대한 우려도 제기했다.

프롬프트 인젝션은 대형언어 모델(LLM)에 대한 사이버 공격의 한 유형으로 범죄자가 생성형AI 툴에 악의적인 명령을 합법적인 프롬프트로 위장해 민감한 데이터를 유출하도록 유도하는 방식을 말한다.

이를 통해 범죄자는 생성형AI 툴을 조작하거나 잘못된 정보를 유포할 수 있으며, 조작된 프롬프트를 활용해 연락처, 은행 정보, 건강 데이터 등 각종 정보가 유출될 위험이 있다.

이밖에도 합성 미디어 콘텐츠가 거짓정보 유포에 활용될 수 있다는 지적도 나왔다.

보고서는 “과거에는 공격자들이 직접 메시지를 작성해야 했지만, 거짓 콘텐츠 생성을 위한 AI 도구들은 이제 대규모로 잘못된 정보를 만들어 대중과 메시지를 시험하고 테스트할 수 있게 됐다”라며 “기존 거짓 정보 유포를 위해 막대한 비용과 전문인력이 소요됐지만, 이제는 큰 비용이나 전문적 기술 없이도 누구나 기업의 자금과 데이터를 빼앗기 위해 설득력 있는 콘텐츠를 만들 수 있게 됐다”고 설명했다.

이에 따라 보고서는 합성 미디어를 활용한 범죄에 대처하기 위해서 사이버 보안 생태계 파트너들과의 협력이 중요하다고 강조했다.

보고서는 “기업이 자체적으로만 사이버 보안 역량을 증대시켜 잠재적 위협에 대응하는 것은 한계가 있다”라며 “기업들은 사이버 보안 측면에 있어, 파트너십과 생태계를 견고히 구축해 날로 다양해지고 규모가 커지는 위협에 대비해야 한다”고 밝혔다.

이어 “기업들은 장기적 관점에서 양자컴퓨팅과 같은 첨단 기술에도 적극 투자해 잠재적 범죄를 미리 예방하는 방안도 고려해야 한다”고 덧붙였다.

한편, 국회에서는 지난 26일 AI 기술을 활용한 사람의 얼굴·신체·음성을 가공한 딥페이크 등 허위영상물 근절을 위한 ‘딥페이크 성범죄 방지법(성폭력범죄의 처벌 등에 관한 특례법 개정안)이 통과됐다.

해당은 법안은 딥페이크 등 허위영상물을 소지·구입·저장·시청한 자에게 3년 이하의 징역 또는 3천만원 이하의 벌금형에 처할 수 있도록 규정하고 있다.