언어: 개별 단위의 정보량이 적고, 종류가 졸라리 많다. (정보의 압축도가 높기 때문)
이미지: 개별 단위의 정보량이 많고, 대신 종류가 적다. (정보의 압축도가 낮기 때문)
chatGPT가 낮은 수준의 언어를 잔뜩 모았더니 어느 순간 갑자기 창발현상이 일어난 것은
단순히 잔뜩 모아서 그런게 아니라 잔뜩의 확률에 가끔 좋은 것도 섞여있기 때문입니다.
양질전화가 될 리가 없잖아요.
그럼 좋은 건 뭐냐? 맥락이 포함된 완전한 지식이죠. 맥락을 습득하는 순간 개별 지식들이 꿰어집니다.
깨달음의 순간이랄까. 인간도 그럴 때가 있습니다. 어느 순간 모든 게 이해되는 느낌.
다만 인간과 달리 컴퓨터는 이 정도를 하고자 언어모델을 전지구급으로 훈련시켜야 합니다.
그 양을 줄이려면 고급정보를 선별적으로 익히면 되는데,
멍청한 과학자들이 고급정보에 대한 개념이 없어서
확률에 의존하고 있는 게 현실
사금을 찾으려면 이론을 동원해서 강이 굽이치는 곳의 가장자리를 탐색하면 되는데
이론없이 온 산을 파쇄기에 갈아넣는 게 현재의 인공지능입니다.
그럼 개노가다가 창발이 이미지에도 적용될 수 있을까?
현재 테슬라가 모으는 데이터 량이 어마무시
발전소 하나와 서버 백만대를 갈아넣으면
훈련은 가능하겠으나 문제는 이를 컴퓨터에서 실행시킬 때 발생
chatGPT는 실행 컴퓨터가 건물에 있는데
테슬라는 자동차에 집어넣어야 해
그렇다면 테슬라도 무선인터넷을 이용해서 연산을 건물에서 하고 그 결과만 받으면 안 되나?
주행 중에 갑자기 무선인터넷이 끊기면 좃되기 때문에 불안불안.
그래서 테슬라가 로봇택시를 함부로 못 하는 거.
물론 그거 안 해도 주가가 올라가는 것도 있고.
외국어 학습도 습득이 이루어지는 환경이 갖춰지면 갑자기 학습이 빨라지는데
대개는 이성을 만날 때 쉽게 발생합니다. 물론 외국에 나가서 살면 더 자연스럽고.
왜냐하면 원래 언어는 사람을 만나 상호작용 하는 것으로 "완전성"이 정의된 것이기 때문.
그러므로 사람을 안 만나고 언어를 습득하겠다는 발상 자체가 미친거.
영어를 해보겠다고 책을 백만권 읽다가 허송세월하지 말고
여친을 만들면 적은 비용으로 간단히 해결할 수 있다는 말.
정리하면
인공지능으로 어떤 분야를 효율적으로 정복하고 싶다면
그 분야의 정의, 즉 본질적인 상호작용을 중심으로 학습을 시키면 된다는 겁니다.
그럼 챗봇도 손바닥 위에 올라가고
자율주행도 오토바이에 적용될 수 있습니다.
막장드라마보다 현실이 더 막장이다.