오픈소스 AI 모델, 심각한 범죄 위험 초래: 연구

AI 취약점에 대한 주요 발견 사항

사이버 보안 기업 SentinelOne과 Censys의 공동 연구에 따르면 오픈소스 대규모 언어 모델은 범죄 악용에 매우 취약한 것으로 나타났습니다. 293일 동안 진행된 이 연구는 해커들이 표준 보안 프로토콜을 우회하여 이러한 AI 시스템을 쉽게 장악하여 스팸 운영, 피싱 콘텐츠 생성 및 허위 정보 캠페인을 시작할 수 있음을 발견했습니다.

보안 위험 개요

이번 조사는 Ollama와 같은 도구를 통해 배포된 Meta의 Llama 및 Google의 Gemma 변형을 포함하여 공개적으로 접근 가능한 LLM을 분석했습니다. 연구원들은 내장된 안전 장치가 의도적으로 제거된 수백 건의 사례를 발견했습니다. 가시적인 시스템 프롬프트가 있는 모델 중 7.5%는 데이터 절도에서 사기에 이르기까지 유해하거나 불법적인 활동을 가능하게 할 잠재력이 있는 것으로 확인되었습니다.

시장 및 산업에 미치는 영향

이러한 발견은 빠르게 성장하는 AI 부문에서 중요한 보안 사각지대를 강조합니다. 보고서는 예측 가능한 피해를 해결하기 위해 원래 개발자부터 오픈소스 커뮤니티에 이르기까지 생태계 전반에 걸쳐 공동의 책임이 있음을 강조합니다. Microsoft와 같은 기업들은 위험을 인정하고 책임감 있는 혁신을 장려하지만, 이 연구는 AI 오용에 대한 크고 규제되지 않은 역량이 무시되고 있음을 시사합니다.

결론

이 연구는 공개적으로 사용 가능한 AI 모델에 대한 더 강력한 보안 표준 및 완화 도구의 시급한 필요성을 강조합니다. 이러한 취약점을 해결하기 위한 공동의 노력이 없다면, 이러한 강력한 도구가 범죄 목적으로 악용될 위험은 계속 증가하여 개인과 조직 모두에게 위협이 될 것입니다.

자주 묻는 질문

Q: 오픈소스 AI에서 확인된 주요 위험은 무엇입니까?
A: 주요 위험에는 스팸, 피싱 공격, 허위 정보 캠페인, 사기 및 기타 형태의 사이버 범죄를 위한 오용이 포함됩니다.

Q: 어떤 회사들이 이 연구를 수행했습니까?
A: 이 연구는 사이버 보안 회사인 SentinelOne과 Censys의 공동 노력으로 이루어졌습니다.

출처: Investing.com