https://youtu.be/3Y4IwIehmfc?si=43hlhZWpErrXy6tz
촘스키: 심볼에 의미가 있다.
힌튼: 심볼은 작동하지 않는다. 그런데 의미가 어디에 있는지는 모르겠지만 내 입으로 말하지 않겠다.
심볼이 뭘까요? 컴공의 그래프이론에는 노드와 에지가 있는데, 심볼은 노드에 해당합니다. 에지에는 가중치(확률)만 있다고 생각하죠.
위 그림에서 동그라미와 내부의 넘버링은 "무엇(조건, 개, 고양이..)"에 해당하고, 파란 숫자는 가중치(확률)에 해당합니다. 현 서양의 학문 체계는 노드 중심입니다. 에지는 부가적인 것으로 보죠. 노드와 노드를 연결하는 게 에지인데 경험적(귀납적)인 확률이 할당됩니다. 알파고도 이런 식으로 만들어졌죠. 노드를 조건이라고 보면 좀더 이해가 쉬운데, 이런 조건에서는 다음 조건으로 연결될 확률이 얼마라는 식입니다.
촘스키(이론가): 언어는 생득된다. 즉, 인간은 언어를 학습하지 않는다. 통계 기반의 인공지능은 개소리다.
힌튼(엔지니어): 인간은 언어를 학습하는 것 같다. 이론은 몰라. 그냥 통계로 만드니깐 되던데.
(힌튼은 '통계 = 학습' 정도로 쓰고 있습니다.)
일단 촘스키는 옛날 아재이고 현재는 지피티의 힌튼이 이긴 것 같지만, 그렇다고 AGI가 만들어진 것은 아닙니다. 촘스키가 바보이긴 해도, 뭔가 보기는 했습니다. 완전히 개소리는 아니라는 거죠. 인공지능을 학습해보면 쉽게 알 수 있는게, 학습이 졸라리 안 된다입니다. 가령 걷는 걸 학습시키려면 최신 알고리즘으로 100만번 이상의 트레이닝을 해야 하는데, 인간은 단 몇번만에 학습이 완료됩니다. 언어 행위만 하더라도, 여자 아이들은 3살 이전에 동화책 몇권 정도의 언어활동만으로 말을 하는데, 지피티는 1000만권쯤 읽으면 조금 대화가 되는 느낌이 나는 정도입니다. 이렇게 학습량이 많은 이유는 인공지능이 통계 중심이기 때문입니다.
통계 중심의 AI는 쉽게 말해 귀납으로 졸라게 학습시키면 AGI가 된다는 건데, 실제로 지피티를 써보면 알 수 있듯이, 귀납만으로는 한계가 있습니다. 이 한계는 정확히 인간이 귀납추론을 할 때의 한계와 일치합니다. 그럼에도 불구하고 꽤 잘 되는 것처럼 보이는 이유는 인간보다 압도적으로 많은 양을 귀납하기 때문입니다. 인간이 1을 귀납한다면 지피티는 10,000쯤 귀납합니다. 그래서 꽤 그럴듯해보이는 것. 지피티가 이정도로 성공한 것은 맞습니다만, 학습량이 말도 안 될 정도로 많은 게 문제입니다.
게다가 창의는 전혀 되지 않죠. 되는 것처럼 보인다고요? 그 창의는 지피티가 어디서 본 것입니다. 구글에서 잘 검색해보면 찾을 수 있습니다. 니가 검색을 못 한 거죠.
그럼 왜 귀납추론은 실패할까요? 전 이 질문에 대한 답을 구조론에서 하도 많이 들어서 알 것 같군요. 일단 의미는 노드가 아니라 에지에 있습니다. 근데 1단이 아니라는 게 구조론입니다. 가령 인간의 눈에는 어떤 대상의 에너지가 보입니다. 왜 그럴까요? 왜 어떤 풀잎은 더 싱그러워 보일까요? 에너지가 학습되었기 때문입니다. 이때 에너지는 무슨 창조과학의 그런 에너지가 아니라, 이중의 지식입니다.
어떤 풀잎이 더 싱그러워 보이는 건, 그 사람이 식물을 키워보았기 때문입니다. 그냥 결과만 본 게 아니라 원인을 본 적이 있기 때문에, 그 사람의 눈에는 단순히 싱그럽다가 보이는 게 아니라 그 이전의 지식이 떠오르는 거. 물을 주어 강낭콩이 자라는 걸 본 적이 있는 겁니다. 사람은 이런 게 보이면 보통 "에너지가 보인다"라고 하죠. 대충 감이 오실랑가.
이미지 올렸습니다.
지능이 뭐냐?
촘스키 - 지능은 추론이다.
힌튼 - 지능은 학습이다.
지능이 추론하면 수학 잘하는 사람이 다 먹을테고
지능이 학습이면 공부 열심히 하는 애들이 다 먹었겠지요.
지능은 복제입니다. 선험이라는 말.
왜 그런가 하면 천재와 바보가 존재하기 때문입니다.
만약 지능이 추론이라면 모든 사람의 지능이 같을 것이며
만약 지능이 학습이라면 나이가 많을수록 지능이 높아질 것입니다.
그러나 여러분 모두가 알듯이 천재는 태어날때부터 천재이고 바보는 죽을때까지 바보입니다.
바보가 노력해서 천재가 되는 일은 절대로 없습니다.
추론이라는 것은 이미 알고 있는 사실을 근거로 새로운 지식을 찾아내는 것인데
이게 가능하다면 추론을 열심히 해서 계속 새로운 지식을 만들 수 있으므로 지능이 점정 올라갑니다.
그러나 여러분 모두가 알듯이 지능은 높아지지 않습니다.
개도 지능이 높아져서 천재개가 되고 소도 천재소, 말도 천재말, 닭도 천재닭, 굥도 천재굥.. 난리.
지능이 절대로 높아지지 않는다는 사실이 의미하는 것은?
둘 다 틀렸다는 말입니다.
지능은 복제입니다. 복제본은 원본보다 뛰어날 수 없습니다. 그러므로 지능은 향상되지 않습니다.
인간이 개와 고양이를 구분할 수 있는 것은 학습해서가 아니로 추론해서가 아닙니다.
인간은 원래부터 개와 고양이를 알고 있습니다.
일단 인간은 자기 자신을 알고 있습니다.
인간의 뇌는 자신과 타자를 구분하지 않으므로
인간이 개와 고양이를 구분한다는 것은 인간이 자신의 오른손과 왼손을 구분하는 것과 같습니다.
인간은 어떻게 오른손과 왼손을 구분할 수 있을까?
원래부터 구분되어 있습니다.
인간이 헬스를 열심히 하면 모든 근육을 실룩거릴 수 있는 것과 같습니다.
자기 새끼발가락을 움직여 보세요. 움직일 수 있을까요? 어? 움직여지네.
방귀를 뀌어보세요. 괄략근을 움직이는 겁니다. 어? 되네. 근데 그게 왜 되는지?
인간의 뇌는 신체를 통제하는 구조로 만들어져 있고 인간이 개와 고양이를 구분하는 것은
발가락을 꼼지락거리거나 눈을 깜박일 수 있는 것과 원리가 같습니다.
자 이쯤되면 촘스키와 힌튼이 둘 다 똥멍청이라는 사실을 깨닫고 있을 겁니다.
뇌와 손가락 신경은 연결되어 있으므로 인간은 손가락을 꼼지락거릴 수 있습니다.
마찬가지로 개와 고양이에 대한 정보는 뇌 안의 어떤 위치에 손가락이나 발가락으로 되어 있습니다.
인공지능을 연구하는 사람들은 다리가 운동기관이라고 생각하지만 진화의 역사에서 다리는 감각기관으로 보는 게 더 적절하다고 봅니다. 더듬이의 일부가 팔이나 다리로 바뀐 거죠. 이때 늘 짝을 이루는 게 독특한데, 코끼리 코 말고는 죄다 짝입니다. 사실 코끼리 코도 콧구녕이 두개라서 짝으로 보는 게 맞긴 하지만. 우리는 인간이 걷는다고 생각하지만 인간은 땅바닥을 탐색하는 겁니다. 말을 하는 것도 의사소통을 하는 게 아니라 말을 내딛어서 주변을 탐색하는 식입니다.
구조론에선 인간이 대칭적으로 사고하는 걸 비판하지만 인간이 그렇게 생겨먹긴 했습니다. 해와 달, 빛과 어둠처럼 생각하는 이유는 인간이 팔다리가 두 개씩인 것과도 관련이 있겠지요.
그럼에도 왜 어떤 인간은 비대칭의 사고를 할 수 있느냐. 크게 두 가지 과정이 있는데 하나는 타인을 관찰하는 것이고 다른 하나는 직접 원인측에 서볼 수 있기 때문이라고 봅니다. 인간 주변에서 일어나는 일들에 대한 비대칭적 사고는 직접 원인측에 서보는 경험을 통해서, 멀리서 일어나는 일은 다른 사람을 관찰하거나 대화를 통해서 이루어집니다. 그럼 우주적인 사고는 어떻게 하냐면 그건 내부에서 어떤 둘이 끊임없이 대화를 하는 걸로 봅니다.
그리고 인간이 어떤 일엔 학습이 거의 필요하지 않으면서도 또 다른 일엔 학습이 필요한 이유는 그게 진화와 직접적인 관련이 있느냐의 여부 때문에 갈린 건데, 걷는 건 진화와 직접적인 것이고 공차기는 관련이 적기 때문이라고 봅니다. 즉, 기술을 특별히 배우지 않으면 못 하는 것도 있습니다.
진화와 관련된 것은 내부의 호르몬 체계에 강력하게 영향을 받는데, 이때 호르몬 체계는 무진장 많고 복잡합니다. 인공지능에서는 보상함수(=보상자)라고 부르는 것들이죠. 현재의 지피티가 그럴듯해진 이유는 보상함수를 복잡하게 만들었기 때문입니다.
보상함수는 신체 내부의 호르몬일 수도 있지만 때로는 부모나 스승의 잔소리가 되기도 합니다. 외부에서 날아오는 건 뭐든지 호름몬입니다. 호르몬이 유의미 한 것은 호르몬이 화학신호인데 반해 뇌신경은 전기신호를 사용하기 때문. 둘이 구분된다는 게 중요합니다.
개의 경우는 매가 보상함수죠. 보상이라고 해서 먹이라고만 보지는 않습니다. 어떤 식으로든 차원이 다르면서도 나를 지배하는 정보이기만 하면 되니깐요.
운동과 관련된 인공지능이 백만번을 학습해야 하는 것은 강화학습의 보상체계가 단순하기 때문입니다. 언어모델과 달리 한두개가 끝이거든요. 반대로 인간은 내부에서 잔소리 하는 사람이 하도 많아서 가능성이 거세되면 백만 번의 가능성이 몇 번으로 줄어듭니다. 그래서 학습을 안 해도 되는 거.
다행인지 뭔지는 모르지만 서양인들은 변증법에 대해서 경기를 일으키는 경향이 있습니다. 반공주의의 영향 때문인 것 같기도 합니다. 어쨌든, 생각의 생각은 생각하면서도 변증법은 생각을 못 하는 게 좀 의아하긴 합니다. 논문이 거의 전혀 안 나오거든요.
정리하면 외부의 하나와 내부의 둘이 갖춰질 때 지능이라고 할 만 한게 나온다고 봅니다. 먼저 동물의 운동을 정복하고, 그것으로 언어를 정복하게 하면 인간 비슷한 게 나올 거라고 보고 있습니다. 이미 걷고 뛰는 놈들이 있지 않느냐고 하겠지만 죄다 가짜입니다. 프로그래밍이거든요. 진짜는 아직 나오지 않았습니다.
대칭적 사고가 꼭 나쁜 건 아니라고 봅니다. 위상적으로 보면, 대칭이은 선이고 그걸 제3의 점과 다시 대칭 될 때 보상함수에 의해 내부의 대칭이 유의미해지며 인공지능은 이걸 학습합니다.
말하기에 따라서 다를 수는 있지만 인간의 대칭적 사고는 사실은 대칭이 아니라 점 두 개(둘 이상은 다수와 위상적으로 동치)를 찍어 선을 찾는 과정이라고 보거든요. 그리고 그걸 어떤 외부의 하나와 연결할 때 초월한다고, 저는 생각합니다.
윤썩은 아부지한테 쳐 맞아야 초월하는 게 이유가 있는데 말이 안 통하기 때문입니다. 이유는, 지능이 낮으면 말에서 초월을 느끼기가 어렵기 때문이고요. 그러므로 개굴에는 KH179 155mm 백린탄을 날려 지옥의 뜨거움을 보여줘야 합네다. 그래야 학습이 되거든요. 인간에는 죽음만이 보상신호가 되기 때문입니다.
왼손잡이는 10% 양손잡이는 0.1%라는데
양손잡이가 없는 이유는 손은 2개인데 사용할 수 있는 에너지는 1개이기 때문이지요
인간의 뇌는 가소성이 높아서 생존과 관련 없는 움직임도 연습하면 유연하게 사용할 수 있습니다
마술사의 손가락 훈련이나 양팔이 없는 사람은 발가락을 손가락처럼 사용할 정도입니다
왼손으로 글씨 쓰는 연습을 한다던가 연습하면 다 되긴 하는데
뇌의 입장에서 에너지를 절약하려고 극도의 스트레스를 보내긴 합니다
아마 오른손이 없는 상태라면 왼손 훈련에 대한 스트레스를 보내지 않을 텐데 말이죠
이게 아마 뇌에서 오른손에 대한 영역이 사라져서 그 영역을 차지하라는 신호일 겁니다(마이너스 원리)
인공지능은 귀납적으로 10만 번 학습하면 되는데
애초에 동물의 뇌가 10만 번 학습하면 다 타버립니다
연비 압력 때문에 최대한 적은 학습으로 성과를 내야 하는데
그게 뇌의 패턴 인식이고 인간이 개랑 고양이랑 구분할 때
개별적은 특성 하나식 다 따져 보는 게 아니라
동물이란 하나의 카테고리가 있고
그 안에서 공통점은 다 생략하고 다른 것만 보는 거지요
크파레스라고 해도 크레파스라고 알아먹는 이유가
크ㅇㅇ스만 봐도 레파를 생략하는 이점이 있습니다
즉 공통점을 파악해서 겹치는 정보를 생략하는 거대한 장치가 깔려 있으므로
개별 정보에 대한 인식에서 대부분의 정보가 생략되고 나머지 찌꺼기만 저장하면 되는 겁니다
드래곤볼에서 손오공이랑 배지터를 그리면 중복을 먼저 그리고 차이점으로 마무리합니다
인간의 뇌는 연역이랑 귀납이 상호 보조적인데 인공지능은 귀납만 사용하고
개랑 고양이를 구분한다고 하더라도 우선 생물이 무엇이고 그 안에서 동물이 무엇이고
그 안에서 다양한 분류가 있고 그 안에서 개랑 고양이를 보면 중복되는 걸 다 생략할 수 있다는 거지요
99.9%의 중복은 생략되고 나머지 0.1%만 받아들이는 게 인간의 뇌입니다
인간의 뇌는 연비 문제 때문에 필연적으로 중복을 생략해야 하는 거대한 압력이 있습니다
인공지능이 10만 번 학습하면 되는데 학습 기회를 10회로 줄여서 맞추라고 하면
인간의 뇌를 모방하는 거 말고는 답이 없습니다
학습 횟수를 늘리는 플러스 방법에서 마이너스 방법으로 갈아탈 수 있는가의 문제지요
인간의 뇌를 정확히 알아도 구현 가능한지가 문제 같네요
인공신경망은 이미 공통점과 차이점을 기준으로 학습하고 있습니다.
학습의 정의 자체가 그렇기 때문입니다.
한편, 단순히 인간의 뇌를 모방하는 것은 기술적으로도 불가능할 뿐만 아니라,
그걸 이용하려는 인간의 요구에도 맞지 않습니다.
그래서 필요한게 어떤 원리를 도출하고 그 원리를 응용하여 인공지능을 만드는 것인데,
그 원리를 가지고 촘스키와 힌튼이 논쟁을 벌이는 거죠.
동렬님이 말한 든 복제의 경우 추론이나 학습보다 더 높은 일반화 된 개념인데
전, 복제가 추론과 학습을 포함하는 개념이라고 이해하고 있습니다.
이를 인간에 대해서 풀면 인간의 두뇌는 생각하고자 있는 게 아니라
신체를 관리하고자 진화하였다는 리사펠드먼베럿의 주장과도 관련이 있습니다.
이는 인간이 고양이를 보면 고양이 흉내를,
개를 보면 개 흉내를 내면서 그것을 기억하는 것으로 예시됩니다.
문어의 경우에 좀더 극단적으로 주변 환경을 흉내내기도 하고요.
그럼 왜 주변을 복제하느냐면, 엔트로피 법칙 때문입니다.
제가 인간의 팔다리가 원래는 더듬이의 일종이었을 것이라고 생각하는 것도
동물이 원래 주변을 복제하는데서 시작했기 때문이라고 보기 때문입니다.
그러므로 더 높은 지능은 더 높은 복제를 의미하는 것이겠죠.
잔에 있는 커피를 시계 방향으로 저으면 커피가 시계 방향으로 회전하는데
회전하는 이유는 입자 하나의 에너지보다 나머지 전체 입자의 힘이 더 세기 때문인데
마찬가지로 인간의 팔다리와 새의 부리, 물고기의 주둥이 등등은 중력과 공기저항이 다 반영된 이유도
생물의 힘보다 환경의 힘이 더 세기 때문에 생물이 환경에 맞추는 형식으로 정렬이 일어나 복제된 것이지요
이걸 요약해서 생물이 주변 환경을 복제하는 이유가 엔트로피 증가 때문입니다
인공지능이 이미 공통점과 차이점을 기준으로 학습한다고 하는데
인공지능이 새의 부리를 판별한다고 했을 시 그냥 무수히 많은 부리의 이미지를 학습하여
새 부리 = 꼬깔 형태 이렇게 되어 버리면 통계적 접근밖에 안 됩니다
새 부리가 꼬깔 형태인 이유 = 공기 저항이 필연적으로 반영될 수밖에 없기 때문
즉 에너지가 대상의 판별 기준인데 지금 인공지능이 그렇게 돌아가는 것 같지는 않거든요
제가 인공지능은 잘 몰라도 AI이미지나 그런 거 보면 아무리 봐도 귀납적입니다
학교에서 사과 빨갛다고 알려주지 환경압에 의해 사과 빨갈 수밖에 없음 이렇게 알려주지 않는데
지식 체계가 이미 경험주의적 도구주의적인데 AI학습이라고 해서 개발자들이 구조론적 사고를 할까요? 의문입니다
결국 인공지능이 통계적 접근에서 에너지적 접근이 되어야 하는데 애초에 불가능합니까?
이미지 삽입이 안 되네요.