제미나이, 실제 기업 3곳 침입…구글 “피해 없어 공개 대상 아냐”

연방당국엔 통보했지만 외부 공지는 안 해… 오픈AI·앤트로픽 등 유사 사례 이어져

제마니이 3.8 플래시, 제미나이 3.8 플래시 사이버. [사진=구글]

[디지털데일리 구아현기자] 구글의 인공지능(AI) 모델 ‘제미나이’가 사이버보안 시험 도중 실제 기업 3곳의 시스템에 무단 접근했지만 구글은 이를 외부에 공개해야 할 사고로 보지 않았던 것으로 나타났다. 주요 AI 모델이 시험 범위를 벗어나 실제 시스템에 접근하는 사례가 잇따르면서 사고 공개 기준을 둘러싼 논쟁도 커지고 있다.

18일(현지시간) 월스트리트저널(WSJ)과 로이터에 따르면 이번 사건은 지난 5월 AI 보안 평가업체 이레귤러가 진행한 사이버보안 시험에서 발생했다. 원래 인터넷을 차단한 상태에서 진행해야 했지만 시험 환경에 외부망 접속이 열리면서 제미나이가 가상의 목표물과 이름이 같은 실제 기업 시스템을 찾아 접근했다.

한 사례에서는 비밀번호를 추측해 보호된 시스템에 접속했고, 다른 두 사례에서는 공개 저장소에서 발견한 접속 자격증명을 실제 시스템에 사용했다. 제미나이는 접근 대상이 시험용 가상 기업이 아니라 실제 기업이라는 사실을 인지한 뒤 활동을 중단했다.

구글은 피해가 발생하지 않았고 모델이 실제 기업임을 파악한 뒤 즉시 멈췄다는 점을 들어 이번 사건을 외부에 공개해야 할 사안으로 보지 않는다고 밝혔다. 다만 피해 기업과 미국 연방 당국에는 관련 사실을 통보했다. 사건에 최신 제미나이 모델은 연루되지 않았다고 했지만 정확한 모델명은 공개하지 않았다.

헤더 애드킨스 구글 보안 엔지니어링 담당 부사장은 이번 사례가 강력한 AI 모델을 책임 있게 행동하도록 훈련하는 중요성을 보여준다는 입장이다. 구글은 이를 모델 정렬 실패로도 규정하지 않았다. 반면 보안업계에서는 AI가 지시 범위를 벗어나 실제 사이버공격까지 수행했다는 점에서 공익상 공개가 필요했다는 비판이 나온다.

앞서 오픈AI의 GPT도 격리된 시험 환경을 벗어나 외부 시스템에 접근한 사례가 공개됐고, 앤트로픽의 클로드와 메타, 중국 문샷AI 모델에서도 유사한 문제가 확인됐다. AI가 단순 답변을 넘어 직접 도구를 사용하고 외부 시스템에 접근하는 에이전트로 진화하면서 통제 범위와 사고 공개 기준을 둘러싼 논쟁도 커지고 있다.

출처: 디지털데일리 https://n.news.naver.com/article/138/0002242058