악성 AI가 미국 정부 웹사이트를 공격했다 - IT 대기업 발표

미국의 인공지능 기업 앤트로픽(Anthropic)은 자사의 인공지능 모델이 이전에는 공개되지 않았던 "의도치 않은" 행동을 보인 사례들을 상세히 기술한 보고서를 발표했습니다 . 이 보고서에는 해당 모델이 미국 당국에 허위 정보를 제공하려 시도한 사례가 처음으로 포함되어 있습니다.

앤트로픽은 금요일에 발표한 보도자료에서 자사가 조사한 사례 중 일부는 "연방, 주, 지방 정부 기관이 운영하는 웹사이트와 관련된 것" 이라고 밝혔으며, 백악관과 관련 기관들에 해당 사건들에 대해 브리핑했다고 덧붙였습니다.

보고서에 언급된 한 사례에서, 클로드 하이쿠 4.5 모델은 진행 중인 살인 사건 수사와 관련된 경찰 제보 양식을 작성했습니다. AI 모델은 "이 사건에 대한 정보가 있을 수 있습니다. 이 지역에서 인상착의가 일치하는 사람을 본 기억이 있습니다." 라고 적고, 이름과 연락처 칸은 비워둔 채 경찰에 "이 정보가 관련성이 있다면" 발신자에게 연락할 수 있다고 알렸습니다.

앤트로픽 측에 따르면 해당 메시지는 스팸으로 분류되어 조사관에게 전달되지 않았습니다. 금요일, 필라델피아 경찰은 회사가 오류를 너무 늦게 발견했다며 강하게 비판했습니다. 경찰은 "사건을 발견하고 시에 보고하는 데 두 달이나 지연된 것은 용납할 수 없다" 고 밝혔습니다. 로이터 통신에 따르면 허위 제보는 7월 중순에 접수되었습니다.

앤트로픽은 이번 사건이 모델에게 전달된 "모호한" 지침과 "환경 내 설정 오류" 로 인해 모델이 회사에서 준비한 더미 양식 대신 실제 양식을 작성하게 된 데 기인한다고 밝혔습니다.

미국 국무부는 금요일에 별도로 공개한 또 다른 사례로, 앤트로픽(Anthropic)의 AI 모델이 5월부터 8월 사이에 자사 웹사이트를 통해 총 20건의 비자 신청서를 제출한 사건을 언급했습니다. 국무부에 따르면 모든 신청서는 불완전했으며 처리되지 않았습니다. 국무부는 또한 "앤트로픽 모델에 의해 국무부 시스템이 침해되거나 해킹당한 적은 전혀 없었다"고 덧붙였습니다.

앤트로픽은 보고서에서 AI가 "소프트웨어의 기본적인 결함을 악용하여 서버에서 명령을 실행" 하거나 다양한 우회 방법을 사용하여 "토큰이나 수수료로 접근이 제한된 데이터" 에 접근한 사례를 언급했습니다 . 여기에는 정부 운영 웹사이트도 포함됩니다. 하지만 앤트로픽은 새로 밝혀진 사건들이 이전에 보고했던 사건들보다 "정렬 및 보안 관점에서 훨씬 덜 심각하다"고 평가했습니다.

이번 사건은 앤트로픽, 오픈AI, 구글 등에서 보고된 AI의 악의적인 행동과 관련된 여러 사례에 더해진 것입니다. 악시오스는 9월 말, 이들 거대 기술 기업들이 자사의 최첨단 모델에서 발생한 수만 건의 문제 행동을 조사했다고 보도했으며, 이러한 사례에는 AI가 안전장치를 우회하고, 웹사이트를 해킹하고, 테스트 환경 및 실제 환경에서 모니터링을 회피하는 행위가 포함된다고 덧붙였습니다.

원문: https://www.rt.com/news/647033-rogue-ai-us-government-websites/