상금이 너무 적어서 전 포기합니다.

상금이외의  명성은 덤. 파급 효과로 노벨상도 가능.

85점에 도달하지 못해도 올해 최고 점수를 기록한 팀에게는 10만달러 준다고 합니다.

패턴을 발견하는 기능이 없다는 말인데 알파고는 어떻게 알았지?

규칙을 알아내는 시합을 해서 이기는 넘이 규칙을 잘 찾아낼텐데.

끝말잇기나 스무고개는 챗 gpt도 할 수 있을텐데 규칙을 어떻게 알아냈지?

반대 토론자 "드와케시"가 아래와 같이 질문을 했을 때 .  "프랑수와"가 답변한 내용으로 미루어 짐작을 해보면 

ChatGPT가 다 외워서 하나 봅니다.  

강화학습과 지도학습의 차이를 알면 쉽게 답할 수 있는 문제인데,

결론적으로 말하면 언어모델은 '지도학습자'입니다.

그리고 알파고는 '강화학습자'이고요.

일단 용어에 왜 지도와 강화가 들어갔는지는 너무 진지하게 생각하지 않기로 합시다.

저걸 만든 놈들이 저 용어가 적절할 지 생각한 건 아니지만.

그리고 연구자들은 강화학습과 지도학습의 적용 범위를 독립적이라고 생각하지

일반과 특수라고 생각하지 않습니다. 무식한 거죠.

제가 여기서 누누이 말했지만

현재의 언어모델은 지도학습과 강화학습이 짬뽕된 것입니다.

이게 이상하게 들리겠지만, 인간에게 서비스하는 상품이라서 그렇습니다.

만약 언어모델이 강화학습자라면 환경의 영향을 받아 변합니다.

그러면 상품이 변질됩니다.

그래서 변질되지 않도록 지도학습에 머물게 합니다.

상부구조를 강제로 제거해서요.

상품은 학습하지 않습니다. 그래서 학습이란 표현도 어색합니다. 

실행모델이라고 하는 게 낫습니다만, 학계 용어라서.

대신 아예 멍청하면 안 되니깐, 학습할 때는 일부(마지막에) 강화학습을 적용합니다.

아마 이해가 안 되실듯한데,

비유를 하자면,

1. 책으로 연애를 열심히 학습한다.

2. 가상 실전에 돌입하여 여친에게 싸다구를 맞아가며 학습을 한다.

3. 가상여친을 제거한 뒤에 실전에 돌입하여 연애를 하는척 한다. 이때 가상여친이 없으므로 추가학습은 없다. 추가학습은 신(OpenAI 엔지니어)이 명령할 때 이루어진다.

입니다. 

실제 인간은 가상의 여친이 머리속에 있어서 나에게 끊임없이 잔소리를 하여 내 행동을 교정합니다.

그리고 그 가상의 여친 또한 끊임없이 사회의 질서와 동기화(학습) 됩니다.

이게 현재의 챗지피티와 인간의 결정적인 차이입니다.

정리하자면, 

가상의 여친이 있는 걸 "강화학습"이라고 하고

나만 있으면 "지도학습"이라고 하며

챗지피티는 학습할 때는 강화학습이었다가

실행할 때는 지도학습이며

성능이 떨어진다고 오픈에이아이 엔진니어가 판단할 때

일시적으로 학습을 추가합니다.

그리고 저런 퍼즐 문제를 풀려면

행동과 규칙을 동시에 풀어야 하는데,

언어모델을 기반하는 인공지능은

상부구조가 거세되었으므로 

당연히 못 풉니다.

물론 알파고는 풉니다.

그럼 강화학습으로 풀면 되는 거 아니냐고요.

네. 그냥 그렇게 풀면 되는데,

강화학습이 실제로는 알고리즘으로 복잡하게 꼬여있고

그게 뭘 의미하는 지 연구자들도 몰라서

그걸 적용하면 되는지 조차 몰랐는데

최근에야 상부구조를 얹으면 뭔가 된다고 

오픈에이아이가 발표한 것입니다.

그리고 저 문제를 낸 사람들은 아직 그걸 눈치 못 깐 거고.

그냥 알파고 가져다 쓰면 되는 거 아니냐고요?

네, 됩니다. 근데 현재 사람들이 언어모델에 신기해하고 있는 중이라.

그럼 그걸 아는 너는 뭐하냐고요?

코딩을 못 해서..

참고로 저 문제는 2 ~ 3년 전부터 나온거 같고. 저 프랑소와 라는 양반은 얼마전까지 딥러닝 하는 사람들이 많이 사용한 "케라스" 라는 툴을 만든 사람 이라고 합니다. ( https://ko.wikipedia.org/wiki/%EC%BC%80%EB%9D%BC%EC%8A%A4)

현재 45점 까지 맞은 팀이 등장 했다고 합니다. 

얼마전 화산재 두루마리를 AI를 이용해서 해독해서 상금 받은 청년도 저 팟케스트 듣던 22살 청년 이었다고 함.

참고 사이트: https://m.post.naver.com/viewer/postView.naver?volumeNo=37391485&memberNo=30120665