많은 분들이 언어모델을 두고 사람처럼 생각하는 경향이 있습니다. 얘는 기억력이 없다는둥, 수동적이라는둥 하며 그게 이상하다고 하는 거죠. 근데 이건 완전한 오해입니다. 그리고 그런 오해 때문에 우리는 언어모델에서 뭐가 빠졌는지, 그리고 어떤 인간은 왜 말귀를 못알아먹는 지를 이해할 수 있습니다.

공대생들은 인간을 기계처럼 생각하고 인문계생은 언어모델을 인간처럼 생각합니다. 공대생이 눈치가 없고 대화가 안 되는 것은 맥락의 존재를 잘 모르기 때문입니다. 물론 인문계라고 해서 맥락을 정확히 아는 것은 아닙니다. 그래도 이치들은 사람을 많이 겪어봐서 이른바 생각의 쿠션을 두는 편입니다.

가령 어떤 사람이 나에게 욕을 했다면 공대생은 그걸 말 그대로 욕으로 받아들이고 반대로 인문계는 혹시 내가 모르는 뭔가가 있을 수 있다고 생각합니다. 이런 차이는 남녀에서도 많이 납니다. 남자들은 생각의 쿠션이 없고 여자들은 있습니다. 여자들이 쿠션, 즉 관절을 하나 더 두고 사람을 대하는 거죠. 대신 기계를 잘 못 다룹니다. 기계를 다루는게 쿠션을 두면 안 되니깐요.

오히려 기계를 두고 사람처럼 생각하는 경향이 있습니다. 될 리가 없죠. 바로 이 차이점에 언어모델의 미래가 있습니다. 현재의 언어모델은 공대생에 가깝습니다. 1차원적입니다. 사실 이 문제에 대한 해결법은 관리자를 하나 더 두면 되긴 하는데, 여기서 근본적인 문제가 발생합니다. 언어모델은 판단보다는 데이터, 즉 경험에 의존하는 학습에 치중되어 있다는 겁니다.

이걸 딥시크가 일부 접근을 하긴 하는데, 여전히 어설픕니다. 가령 이런식입니다. 애당초 실행자와 관리자를 명확하게 구분하는 겁니다. 근데 말입니다. 사람은 이게 명확하지 않습니다. 그때그때 달라요. 사안에 따라, 현 시점의 문제 레벨이나 상황, 상태에 따라 탑다운으로 문제를 정의하고 판단합니다.

현재의 딥시크나 챗지피티는 이런 게 안 됩니다. 기억력은 있습니다. 지금도 100페이지 정도는 기억할 수 있습니다.(프롬프팅) 인간은 오히려 기억력이 짧은데도 말이죠. 숫자 다섯 개 이상을 기억할 수 있는 사람이 얼마나 될까요. 글쎄요. 연상으로는 가능하지만 직접 기억은 어렵습니다. 대신 인간은 달아매기 전략을 사용합니다.

오히려 기억력이 짧기 때문에 더 맥락적으로 문제에 접근합니다. 제가 관찰한 바에 의하면 기억력이 좋은 사람일 수록 맥락을 고려하지 않는 경향이 강하다는 것입니다. 지금의 언어모델이 그렇습니다. 그둘은 함께 대화를 해도 대화가 된다는 느낌이 안 듭니다. 내말에 받아쳐야 하는데 그냥 자기 하고 싶은 말만 합니다. 변희재처럼 말이죠.

왜? 공대 엘리트생이니깐 그렇습니다. 변희재에게 빠진 것을 넣어줘야 언어모델은 근본적으로 사람 구실을 하게 될 겁니다. 암기? 필수적인 것만 하면 되며, 필수적인 건 주로 경로에 대한 작은 지식들입니다. 지식이 아니라 지혜가 있는, 정보가 아닌 판단력이 있는 언어모델이어야 작지만 강한 인공지능이 만들어질 수 있습니다. 정보는 검색하면 되는데 그걸 죄다 머릿속에다 박아넣는 건 미련한 거죠. 수능칠 것도 아니고. 그냥 오픈북하면 되는구만.