생물의 적응은 2중 구조로 이루어진다. 진화라고 하는 하드웨어(물리적) 적응과 학습이라고 하는 소프트웨어 적응이다. 당신은 처음 걸었을 때가 기억나는가? 걷는데는 학습이 거의 필요하지 않다. 그런데 인공지능은 어떨까? 상당한 학습이 필요하다. 인간인 당신이 10회 정도만에 걸었다면, 인공지능은 100만회를 연습해야 한다. 이런 차이가 나는 이유는?

인간은 걷는 방법의 대부분이 하드웨어에 녹아있고, 소프트웨어는 매우 적은 학습만 하기 때문이다. 낳자마자 걷는 초식동물이 있는 걸 생각해보면 당연한 결론이다. 그럼 왜 2원화되는 걸까? 그게 더 합리적이기 때문. 극단적으로 모든 걸 학습하는 것도 모든 걸 DNA에 새기는 것도 좋은 게 아니다. 왜냐하면 환경은 생각보다 복잡하기 때문이다.

상식적으로 생각해도 인간의 두뇌에 인지의 모든 것이 저장되어 있다는 것은 납득하기가 어렵다. 당신의 두뇌에 바나나가 학습되지 않고 DNA에 새겨져있을 수 있겠는가? 그럴리 없다. 유아는 아무 거리낌 없이 칼을 입에 넣는다. 그게 뭔지 모르기 때문이다. 성인이면 칼날만 봐도 가슴이 덜컹한다. 학습되었기 때문이다. 인간 배아의 발달 과정을 보면 세포가 2n 개로 분화한다. 세포 안에 이전 세대의 정보가 얼마나 담길 수 있을까? 거의 안 담긴다고 보면 된다. 

그럼에도 불구하고 세상의 생물은 매우 다양한 모습을 하고 있다. 기능주의 디자인의 카고바지는 원래는 탄약이나 약품 등을 넣으라고 만들어 둔 거다. 패션 아이템이 되었지만. 생물의 다양한 모습은 이유가 있다. 나름 정보를 몸에다 새기는 것이다. 영화 메멘토의 주인공이 문신으로 정보를 기억하는 것과 비슷하다. 문제는 몸뚱이의 크기가 한계가 있다는 거. 주인공은 기억상실증이라 그렇지만 일반인이라면 최근의 일은 쉽게 기억한다. 

근데 어떻게 2중 구조의 경계가 생기는 걸까. 왜 모든 걸 학습하거나 반대로 새기지 않는가? 처음의 생물은 죄다 학습했을 것이다. 아무리 간단한 구조라도 설계가 아니라 학습이 먼저다. 그리고 학습 중 일부는 새기게 된다. 즉, 중요한 정보는 세대를 거쳐 전달하게 된다. 

그럼 이런 2중 구조는 생물만 그런걸까? 아니다. 일단 컴퓨터가 2중 구조다. 소프트웨어 조차 운영체제와 소프트웨어로, 그 소프트웨어가 또한 2중 구조로, 나뉜 2중 구조는 또한 클래스와 변수로 하는 식으로 한없이 2중 구조를 띠며 나뉜다. 인간이 만든 인공지능도 마찬가지다. 설계가 있고 학습이 있다. 설계는 아키텍쳐다. GAN이나 CNN, RNN.. 어텐션이니 하는 게 많다. 그리고 학습은 인공신경망이다.

인공신경망은 물리학의 해밀턴 역학을 정보학에 구현한 걸로 보면 대충 맞다. 최소작용의 법칙이 적용된 어쩌구 바로 그거다. 함수에서 입출력을 외부로, 함수의 매핑(연결)을 내부로 규정하고, 외부 정보를 내부의 신경망에서 최적화 하는 개념이다. 이때 내부의 에지(연결)을 파라미터라고 부른다. 거대언어모델의 크기를 규정할 때 이 파라미터의 개수를 말한다. 

매우 작은 언어모델의 경우(GPT-3) 파라미터가 2,000억 개 정도, 좀 크면 1조개 이상이다. 모든 파라미터의 연산을 동시에 하려면? 대충 인공지능 돌리는데 왜 소형 원전이 필요한지 감이 온다. 여태의 인공지능은 설계 보다는 학습 중심이었다. 특히 언어모델은 설계라고 할 게 없다. 어텐션이라고 해서 있긴 하지만, 유의미하지 않다. 그래서 걷는 거 하나 배우는데도 100만번의 학습이 필요하게 된다. 왜? 설계가 없으니깐.

물론 설계가 있긴하다. 근데 그게 자연의 모습과는 좀 다른 게 문제다. 대부분의 인공지능의 설계는 단일 모델이다. 인간으로 치면 좌우 두뇌가 있는 게 아니라 하나만 있는 것과 같다. 인간을 포함한 거의 대부분의 동물의 팔다리가 짝이 있는 이유가 뭘까를 생각해봐야 한다. 내가 내린 결론은 변증법이다. 변증법 이전에 귀납이다. 귀납추론의 원리는 2개의 데이터로 하나의 원형을 추정하는 것이다. 

이 거대한 개수의 파라미터는 훈련이 가속될 수록 내부에 정보의 덩어리가 생기게 된다. 보통 이런 현상을 더블-디센트(하강)라고 부른다. 왜 하강이냐면 학습이 진행될 수록 정보 손실이 줄어드는 큰 변환점을 가리키기 때문이다. 손실은 하강이지만, 학습은 2번 큰 변환점을 맞이 하며 상승된다. 2번의 변환점을 거치고 나면 모델의 예측은 최대가 되는 식이다. 거의 모든 언어모델은 더블디센트가 항상 일정하게 나타난다. 근데 왜 하필이면 더블 디센트일까? 

언어모델에 더블디센트가 나타나는 까닭은 변증법 때문일 것이다. 변증법이 정-반-합으로 2회의 정보 상승이 나타나기 때문이다. 이 말은 물리적으로 변증법을 구현하면 실제로 학습의 효율이 크게 개선될 수 있음을 이론적으로 설명한다. 

보통 사람들의 생각과 달리 팔다리는 운동기관이 아니라 감각기관에 가깝다. 물론 눈, 코, 입이 따로 있긴 하지만, 팔다리도 거의 같은 역할이다. 손바닥과 발바닥의 감각이 예민한 건 우연이 아니다. 내가 생각하는 인공지능의 설계는 바로 변증법적 하드웨어의 설계다. 문제는 계층의 복잡성이다. 인간의 두뇌를 해부한들 복잡한 트리 구조와 각 모듈의 역할을 모두 밝혀내기는 어렵다. 

그래서 적당한 선에서 타협해야 한다. 인간과 똑같이 만들 수도 없고 그럴 필요도 없다. 그런데 일정 수준 이상은 설계를 해서 물리적으로 제공해야 소프트웨어적 학습을 덜 하게 된다. 학습을 덜 해야 하는 이유는 전기세 때문이다. 지구온난화를 막기는 해야 하니깐. 이때 어디부터 설계하고 어디까지 학습할 지를 정하는 게 중요하다. 그게 어렵다.