파일럿 프로그램의 일환으로 200명 이상의 임상 제공자와 의료 분석가들이 군 의료 애플리케이션에서 AI 챗봇을 사용할 때 발생할 수 있는 잠재적 취약점을 식별하는 데 도움을 주었다.

미국 국방부 디지털 및 인공지능 최고 책임자실(CDAO)은 군 의료 서비스에서 AI 챗봇을 사용하는 데 중점을 둔 파일럿 프로그램을 종료했다고 1월 2일 발표했다.

국방부는 이번 Crowdsourced AI Red-Teaming(CAIRT) 보증 프로그램 파일럿이 임상 기록 요약과 군에서 의료 자문을 위한 대형 언어 모델(LLM) 사용에 초점을 맞췄다고 밝혔다.

AI 기업들이 자사 제품을 미국 군대와 방위산업체에 제공해 군사 애플리케이션에서의 유용성을 조사하는 사례가 늘어나는 가운데 진행된 것이다.

국방부에 따르면, 이번 파일럿 프로그램은 기술 비영리 단체인 Humane Intelligence가 주도한 레드팀(공격팀) 작업이었다.

200명 이상의 독립적인 외부 참가자들이 참여했으며, 임상 제공자 및 의료 분석가들이 세 가지 주요 챗봇 모델을 비교했다.

국방 건강국(Defense Health Agency) 및 국방부 산하 Uniformed Services University of the Health Sciences의 분석가들도 다른 참가자들과 협력해 챗봇 사용 중 발생할 수 있는 시스템의 약점과 결함을 테스트했다.

국방부에 따르면, 파일럿 프로그램에서는 군 의료 애플리케이션에서 챗봇을 사용할 때 발생할 수 있는 수백 건의 문제를 발견했다.

“이 실험에서는 이러한 잠재적 사용 사례에서 발생할 수 있는 취약점과 편향성에 관한 800건 이상의 발견 사항이 드러났다.”

“이번 실험은 벤치마크 데이터 세트 개발을 통해 반복 가능하고 확장 가능한 결과를 낳을 것이며, 이는 미래의 벤더 및 도구가 성능 기대치와 일치하는지 평가하는 데 사용될 수 있다”고 국방부는 밝혔다.

이 프로그램을 주도한 CDAO의 매튜 존슨은 이번 결과가 국방부가 미래에 배치할 수 있는 생성형 AI(GenAI) 시스템의 연구 및 개발 방향을 설정하는 데도 사용될 것이라고 말했다.

CDAO는 2022년 6월에 설립되어 미국 군대와 국방 작전에서 디지털 및 인공지능 기술의 통합을 감독하고 발전시키는 역할을 하고 있다.

관련: 구글, Gemini 2.0 기반 AI 에이전트로 ‘새로운 에이전트 시대’ 선언

작년 11월, 미국 의회 초당적 위원회는 중국과의 경쟁이 심화되는 상황에서 인공지능 개발을 촉진하기 위해 맨해튼 프로젝트와 유사한 이니셔티브를 개발해야 한다고 밝혔다.

위원회는 구체적인 권고 사항 목록에서 국방부 장관이 AI 프로젝트에 가장 높은 국가 우선순위 지정을 해야 한다고 강조했다.

한편, 소셜 미디어 및 기술 기업 메타는 인공지능 모델 Llama를 국가 안보 목적을 위해 미국 군대와 방위산업체에 제공하기 시작했다

• 페이스북 공유
• 트위터 공유