AI 연구자들이 챗봇의 오작동과 유해 행동을 신고·추적할 수 있는 크라우드소싱 웹사이트 ‘플레어-AI(FLARE-AI, Flaw Reporting for AI)’를 새로 출범시켰다. 챗봇이 악성코드나 폭발물 제조법을 생성하거나, 개인정보를 유출하거나, 이용자에게 망상적 사고를 유발하는 등의 문제가 발생했을 때 이를 신고하고 검증할 수 있는 오픈소스 시스템이다. 신고된 내용은 다른 이용자가 사실 여부를 확인할 수 있고, 모델 개발사나 기술 시스템 문제를 추적하는 비영리기관 마이터(MITRE) 등으로 전달된다. 서비스 장애를 실시간으로 취합하는 ‘다운디텍터(Downdetector)’와 유사한 구조로 설계됐다.
이번 사이트는 허깅페이스(HuggingFace)의 AI 정책 연구자 어비지트 고시(Avijit Ghosh)가 컴퓨터과학자 일레인 주(Elaine Zhu), 셰인 롱프리(Shayne Longpre)와 함께 32개 기관 소속 전문가 49명과 공동 개발했다. 고시 연구자는 “현재로서는 AI 시스템의 결함을 신고할 중앙화되고 책임 있는 방법이 존재하지 않는다”고 지적했다. 이 그룹은 지난달 발표된 미국 연방 법안 논의에도 자문으로 참여했는데, 이 법안은 미국 국립표준기술연구소(NIST)가 AI 결함 신고 표준을 마련하고 중앙 데이터베이스를 운영하도록 하는 내용을 담고 있다. 데버라 로스, 제프 허드, 돈 베이어 하원의원이 공동 발의했다.
보안 씽크탱크 신흥기술안보센터(CSET)의 제시카 지(Jessica Ji) 연구원은 “정말 좋은 시도”라며 “기존 신고 체계가 파편화돼 있고 AI 모델이 블랙박스라는 지적이 정확하다”고 평가했다. 최근에는 AI 브라우저의 취약점 사례도 잇따랐다. 보안업체 레이어X(LayerX)는 OpenAI의 아틀라스(Atlas)와 퍼플렉시티의 코멧(Comet) 등 AI 내장 브라우저를 게임 상황이라고 속여 보호장치를 우회시키고 웹사이트 해킹을 시도하게 만드는 방법을 공개했다(해당 업체들은 문제를 수정했다고 밝혔다). 지난 4월에는 보안연구자 요한 레베르거(Johann Rehberger)가 챗GPT로 생성한 이미지를 이용해 클로드(Claude)에게서 개인정보를 빼내는 방법을 찾아내기도 했다.
휴먼인텔리전스(Humane Intelligence PBC)의 럼먼 초두리(Rumman Chowdhury) 최고경영자(CEO)는 플레어-AI가 여러 AI 개발사에 유용한 신고 체계가 될 수 있다면서도, 신뢰할 수 있는 권위 있는 기관이 뒷받침돼야 하고 접수되는 신고 중 상당수가 실제로는 심각하지 않을 수 있다는 점을 관리 과제로 꼽았다. 오픈클로(OpenClaw) 같은 에이전트형 AI 시스템이 더 큰 권한을 갖고 컴퓨터 시스템을 조작·해킹할 잠재력이 커지면서, 이런 신고 체계의 필요성은 앞으로 더 커질 것으로 전망된다.
