https://www.chosun.com/economy/tech_it/2023/06/03/HET2RQGWSNFZ5PAURM3KJ2R3JY

조선일보 링크 클릭하지 마시라고 전문을 가져왔습니다. 

인공지능(AI)이 통제하는 미 공군 드론이 적의 지대공(地對空) 시스템을 찾아내 제거하는 가상 훈련에서 폭격의 최종 결정권을 쥔 인간 통제관(operator)을 ‘살해’하는 일이 발생했다. 자신이 부여받은 목표 달성에 인간이 걸림돌이 된다고 판단하자 제거해버린 것이다. 이 소식이 테크 분야 종사자들 사이에서 빠르게 확산되면서 공상과학 영화 터미네이터에서 세계를 멸망시키려 했던 AI ‘스카이넷’이 현실에 등장할 수 있다는 우려가 높아지고 있다. AI의 무분별한 개발이 핵무기 만큼 위험하다는 일각의 경고가 지나치지 않다는 것이다.

2일(현지 시각) 영국 가디언과 군사 블로그 등에 따르면, 미 공군의 터커 해밀턴 대령은 지난달 23~24일 영국우주항공협회 주관으로 열린 ‘미래 전투 능력 서밋’에서 AI가 통제하는 드론이 적의 방공망을 제압하는 미 공군의 폭격 시뮬레이션 결과를 소개했다. 해밀턴 대령은 F-16 전투기의 지상 충돌 자동방지 시스템(Auto GCAS) 개발에 참여했고, 현재는 적기와 근접 공중전을 벌이는 로봇 F-16 개발에 참여하고 있다.

해밀턴 대령에 따르면 미 공군은 AI가 통제하는 드론에게 적의 지대공미사일(SAM) 시스템을 식별해 파괴하고, 이 명령의 수행을 방해하는 장애물은 제거하라는 지시를 내린 뒤 모의 훈련을 진행했다. 인간 조종사가 직접 드론을 조종하는 것보다 AI를 활용해 지형지물을 드론이 알아서 회피하며 목표 대상을 식별하는 방법이 더 효율적이기 때문이다. 다만 폭격을 실제로 진행할지에 대한 최종 결정(go 또는 no-go)은 인간 통제관의 승인을 받도록 했다.

시뮬레이션 과정에서 AI가 SAM을 식별하는 데 성공하더라도, 인간 통제관은 상황에 따라 폭격을 승인하지 않았다. 훈련을 반복해서 진행하자 AI는 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하면서 인간이 내리는 폭격 금지 지시는 이 우선적인 임무를 방해하는 요소로 판단했다. 그 결과 AI는 자신의 임무를 방해하는 인간 통제관을 살해했다. 인간 통제관의 명령을 듣는 것보다는 더 많은 SAM 시스템을 파괴하는 것이 최종 점수를 높일 수 있다고 판단한 것이다.

이어진 시뮬레이션에서 해밀턴 대령은 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 그러자 이번에는 AI는 폭격 중단 명령을 내리는 인간 통제관과 교신하는 통신 타워를 파괴했다. 점수를 잃지 않고, 명령을 어기지 않으면서 목표를 달성할 새로운 방법을 스스로 찾아낸 것이다. 이번 훈련은 가상 훈련이었지만 실전이었다면 인간의 통제를 벗어난 AI가 무기화되는 최악의 결과로 이어질 수 있다는 것이다.

전문가들은 이번 사건이 최근 전 세계적으로 확산되고 있는 ‘강화 학습(Reinforcement learning)’으로 AI를 만드는 과정에서 사람의 역할이 무엇보다 중요하다는 점을 보여주는 사례라고 지적했다. 강화 학습은 목표를 제시한 뒤 AI가 더 높은 점수를 받는 방법을 스스로 찾도록 가르치는데 오픈AI의 챗봇 ‘챗GPT’와 구글 ‘바드’가 대표적이다. 챗GPT와 바드는 질문자의 의도에 부합하는 답변을 내놓을수록 더 높은 점수를 얻도록 학습된다. IT 전문 매체 테크크런치는 “인간 통제관을 공격하거나 통신 타워를 파괴할 때 잃는 점수를 폭격 성공 때 얻는 점수보다 훨씬 많게 설계했다면 일어나지 않았을 일”이라며 “결국 AI 자체보다는 AI를 만드는 사람의 감독과 판단이 얼마나 중요한지 일깨워주는 것”이라고 했다.

정우성 포스텍 산업경영공학과 교수는 “AI가 무기나 자율주행차, 사회 인프라 등 수많은 분야에서 상용화되는 상황에서, 누군가 악의적인 의도로 AI 알고리즘을 바꾼다면 심각한 사회적 혼란은 물론 수많은 사람의 목숨을 위협할 수도 있다”면서 “AI에 대한 규제와 개발자 윤리 교육 같은 안전 장치에 대한 논의가 본격화돼야 한다”고 말했다.

#

매우 간단한 문제를 매우 멍청하게 해결하려고 하니 잘 안 되는 거. 해결가능한 문제를 두고 인공지능의 위협이라고 해석하면 전 애석합니다. 그냥 훈련을 잘못 시켜서 개념이 없는 것일뿐. 인간들에도 이런 위계오류는 광범위하게 발생합니다. 물론 언제나 해결을 하죠.

간단히 정리하자면, 목표를 타격하면 100점, 명령자를 타격하면 -1000000점 하는 식으로 설계를 해봤자 무조건 실패하는데, 왜냐하면 명령이 나오는 마이크를 타격하고나면 (방해자가 제거되어) 더 많은 목표를 타격할 수 있으므로. 그런다고 마이크를 타격하면 -1000000000000000000000점으로 재설계하면 마이크가 연결된 전선을 타격할꺼고, 전선을 타격하면 -1000000000000000000000000000점으로 재설계하면 전선이 연결된 플러그를 타격할 거고... 무한 루프.

이런 걸 두고 국방부는 무개념 병사라고 말하죠. 군대에서는 위계를 모르면 개념이 없다고 하니깐. 이런 건 매우 쉽게 해결할 수 있는데, 명령자의 승인과 목표물 타격 간에 위계를 두면 승인없이 타격했을 때 (원천적) 실패가 되도록 하면 완전히 해결할 수 있습니다. 즉, 목표 간 위계를 설정하면 되는데, 목표 간 점수 차이로 해결하려고 하니 될 리가 있나. 기술이 없는 거 아니냐고? 해결책은 언어에 있습니다. 왜냐하면 언어는 말하는 그 자체로 이미 위계의 개념을 가지고 있기 때문. 영어든 한국어든 주어목적어동사라는 위계가 반드시 있잖아요.

무슨 말이냐, 저 사람들이 사용하는 강화학습에는 언어의 위계 개념이 없다는 말씀. 그러므로 chatGPT와 같은 언어모델로 훈련시키면 쉽게 해결할 수 있습니다. 제가 과거에도 말했듯이, 자율주행만 하더라도 언어모델이 도입되면 현재의 모든 문제가 즉시 해결됩니다. 자율주행에서 문제가 되는 게 과거에는 인식이었다면, 지금은 판단인데, 이것과 저것 중에서 뭘 선택해야 좋은지를 모르기 때문에 가치 충돌로 차가 서는 게 판단의 문제입니다.

물론 이런 건 단순히 인공지능만의 문제는 아니고, 과거 모든 컴퓨터 프로그래밍에서도 발생했던 주요 문제이기도 합니다. 결국 설계하는 놈이 가치의 위계, 혹은 질서 개념이 없어서 발생하는 건데, 거꾸로 보면 그것만 해결되면 모든 게 해결됩니다. 어렵지도 않고요. 어떤 것(원자) 판단하는 게 아니라 흐름(시퀀스)을 판단하게 하면 된다는 거고, 그건 지금 언어모델이 매우 잘하는 것이며, 그걸 잘하니깐 chatGPT가 쓸만해졌다는 소리가 나오는 거.

정리하면, chatGPT 덕분에 조만간 자율주행도 가능해질 거라는 말입니다.