이런 건 진지하게 접근해야 한다. 우리가 아는 것으로는 부족하다. 그들의 언어로 변환까지 해줘야 뭔가가 성립한다. 나는 경계에 선 사람이다. 경계에 서면 양쪽의 입장을 다 듣게 된다. 한쪽이 바보라면 바보인 이유가 있다. 바보라고 하여 무시할 수는 없다. 이찍이 바보라고 하여 제주도에 몰아놓고 따로 살라고 할 수도 없는 노릇이다. 누군가는 설명해야 한다. 그러려면 똥밭에도 굴러야 한다. 

전세계의 모든 천재와 기업, 국가가 총력전을 펼치고 있는 판이다. 20세기초의 상대성이론, 양자역학 때와는 온도가 또 다르다. 그때도 이정도로 치열하진 않았다. 나스닥이 폭락하는 기저에 인공지능 거품이 꺼져서 그런거 아니냔 말이 돈다. 미국이 돈 풀어서 다 어디 갔었겠냐? 돌고 돌아 죄다 엔비디아와 마이크로소프트의 주식으로 갔다. 

경제는 돈을 풀어야 하는 게 맞긴한데, 돈만 풀어서 될 리가 없다. 결국은 그 돈으로 몰린 인간이 너머를 탐색해야 하는 문제다. 상대성을 지나 절대성으로 나가려는 게 인간이다. 새로운 질서를 만들어야 하는 게 인간의 본질이다. 핵폭탄에 사활을 걸듯, 지금 전인류는 인공지능에 사활을 걸고 있다. 

이 사이트에서 생각하는, 실험적인 건 웬만하면 다 해봤다고 생각하면 맞다. 지렁이와 아메바, 유글레나, 선충도 만들어봤고 유아infant도 만들고 별의 별 것을 죄다 만들어봤다. 그런데 안 되니깐 이 지경인 것이다. 그나마 좀 된다 싶었던 게 chatGPT로 대표되는 언어모델이다. 그런데 그것도 뭔가가 이상하다고 느낀 것이다. 이건 핵폭탄이 아닌데?

능동만 구현해서는 이 바닥의 문제를 풀 수 없다. 먼저 인간들이 어디까지 왔나를 보자. 아래는 논문의 이름이다.

Curiosity-driven Exploration by Self-supervised Prediction(2017년, 버클리): 자기 감독 예측에 의한 호기심 구동 탐색

Developmental Curiosity and Social Interaction in Virtual Agents(2023, 스탠포드): 가상 에이전트의 발달 호기심과 사회적 상호작용

제목을 보면 대강 뭐 하려는 지 알 수 있다. 논문 읽어보고 싶으면 GPT나 claude를 유료 구독하고 대신 읽어달라고 부탁하면 된다. 어려운 말이 좀 나오겠지만, 그정도는 감수해야 하지 않겠나. 어려운 용어는 그때그때 gpt에게 물어보면 친절하게 답해준다. 이게 끝이 안 보일 정도니깐 문제이긴 한데, 경험상 한 5년 정도 읽으니깐 대강 감이 잡히더라.

이 바닥에서 중요한 건 목적함수의 설정이다. 첫번째 논문은 모두 인간 행동의 근본 동기, 즉 목적함수는 호기심이 아닐까?하는 것이고, 두번째 논문은 호기심만으로는 안 되는 것 같으니 상호작용의 방법도 추가해봐야 하는 게 아닐까?하는 것이다. 두번째 논문은 첫번째에 비해 무게감은 낮지만, 대강 이 바닥 인간들이 어디까지 기어왔나를 가늠하는데 참조할 수 있다. 

그럼 목적함수가 뭐냐? 목적함수는 행동에 대한 동기를 의미한다. 함수라는 말에 쫄지 말고, 함수는 그냥 '측정한다' 정도로 이해하면 된다. 가령 이런 식이다. 능동적으로 움직이는 에이전트(=인공지능)를 만들어보자. 그런데 그 에이전트는 왜? 무엇을 위해서 움직이는 거지? 뭘 찾는 거지?를 정하는 게 목적함수의 의미다. 그리고 뭘 찾는다고 정하면 결과적으로 인간처럼 되는 걸 확인하려고 한다.

그래서 목적함수라고 나온 게 '호기심'이다. 그런데 호기심이 뭐지? 그리고, 그게 뭐면, 뭘로 측정하지? 가 문제가 된다. 이쯤에서 섀넌의 정보엔트로피가 등장하신다. 에이전트가 눈 앞에 본 것을 '예측'하고 그것이 실제와 불일치 하면 그것을 좇도록 하자. 그것을 좇는 게 호기심이라고 하기로 정했다. 불일치 정도를 정보량이라고 하고, 정보량의 측정은 로그라고 해서 루트 비슷한 거 씌워서 대충한다.

중요한 것은 그것을 '측정'하려고 한다는 것이다. 예민한 사람들은 여기서 이상함을 느껴야 한다. 호기심을 왜 양으로 측정하지? 그럼 측정하지 안 하면 어쩌냐?하는 반론도 있다. 그래서 열심히 찾아봤는데, 문제는 그래도 문제가 안 풀리더라는 거. 암만 만들어도 아메바조차 안 나오더라는 거. 그나마 된 게 지피티인데, 지피티는 언어라서 이 문제를 쉽게 통과했다. 언어는 덩어리가 잡혔거든. 토큰이라고 해서 형태소 비슷한 게 있는데 그걸 원자로 삼으니깐 뭐가 좀 됐다. 

형태소(토큰)를 3만개 정도 정한다음, 문장에서 다음에 나올 형태소를 예측하는 모델을 만들자. 1/30000을 맞추는 문제. 그러면 그게 지피티다. 쉽지? 질문하면 답도 예측하는 것이다. 지능을 높인 방법은? 더 많은 문장을 학습하여(읽어서) 예측력을 높이는 거다. 그래서 인간이 만든 모든 문장을 읽게 만든 거. 그래서 집채만한 GPU를 만들고 핵발전소로 전기를 공급한거.

이렇게 해서 이미지도 읽게 만들었다. 근데 딱 거기까지. 문제는 이게 동영상에는 안 통한다는 것이다. 거기다가 에이전트의 액션까지 한 차원을 더한다면? 형태소는 원자로 만들 수 있는데, 동영상은 픽셀로 하려니 머리가 아프다. 인간이 대략 6k정도의 해상도로 세상을 본다는데, 이는 대략 6144 * 3156 개의 픽셀에 초당 120 프레임 정도의 정보를 처리한다는 말이 된다. 

대충 정보량을 조합해보라. 다 곱하기만 해도 모자랄 정도다. 더 문제는 각 프레임이 다음 프레임의 변화를 예측하게 하려고 한다면? 절망이다. 언어분야의 인공지능은 그걸 하셨다. 그래서 지구온난화가 오긴 했지만. 사실 알파고는 이거에 비하면 껌이다.

그런데 인간은 어떻게 이 정보의 바다에서 허우적대지 않고 필요한 걸 쏙쏙 뽑아먹을 수 있을까? 결론부터 말하자면 목적함수가 틀렸다. 목적함수를 뭘로 정하냐가 틀린 게 아니라, 목적함수를 단일계층의 함수로 정한게 틀렸다. 대신 목적함수는 반드시 이중구조여야 한다. 바로 생각에 관한 생각이다. 

힘들어서 2부에서 계속