토론실
프로필 이미지
[레벨:27]오리
read 708 vote 0 2024.07.06 (16:17:48)



ChatGPT 같은 LLM 기반 인공지능이 잘 못 푸는 문제가 있네요.
아래의 사이트에 들어가면 6개의 샘플 퀴즈가 나오는데 이러한 종류의 문제를
인간은 평균 85점 정도, 5살 어린이도 50점 정도는 맞추는 반면 ChatGPT4o는 9점 정도라고 합니다.
https://arcprize.org


ARC_Prize1.jpg




올 11월까지 AI를 이용하여 이러한 종류의 문제를 풀어서 85점 이상의 점수를 얻은 첫 번째 팀에게 50만 달러 상금을 준다고 합니다.
이러한 종류의 문제가 ChatGPT에게 어려운 이유는 ChatGPT가 아직은 단순 암기왕이며, 새로운 상황에 대한 실시간 대응을 못하는 딥러닝 기반이라 그런 것 같습니다.

관심 있으신 분들은  상금을 건 당사자의 인터뷰 번역한 내용을 한번 읽어 보시기 바랍니다.
이 문제를 낸 당사자는 LLM 이 진짜지능(AGI) 으로 이어지지 않을 거라는 견해를 가지고 있습니다.


프로필 이미지 [레벨:21]chow

2024.07.06 (16:26:28)

상금이 너무 적어서 전 포기합니다.

프로필 이미지 [레벨:27]오리

2024.07.06 (16:30:30)

상금이외의  명성은 덤. 파급 효과로 노벨상도 가능.

85점에 도달하지 못해도 올해 최고 점수를 기록한 팀에게는 10만달러 준다고 합니다.

프로필 이미지 [레벨:30]id: 김동렬김동렬

2024.07.06 (17:34:16)

패턴을 발견하는 기능이 없다는 말인데 알파고는 어떻게 알았지?

규칙을 알아내는 시합을 해서 이기는 넘이 규칙을 잘 찾아낼텐데.

끝말잇기나 스무고개는 챗 gpt도 할 수 있을텐데 규칙을 어떻게 알아냈지?

프로필 이미지 [레벨:27]오리

2024.07.06 (18:17:22)

반대 토론자 "드와케시"가 아래와 같이 질문을 했을 때 .  "프랑수와"가 답변한 내용으로 미루어 짐작을 해보면 

ChatGPT가 다 외워서 하나 봅니다.  


llm1.jpg

첨부
프로필 이미지 [레벨:21]chow

2024.07.06 (19:45:13)

강화학습과 지도학습의 차이를 알면 쉽게 답할 수 있는 문제인데,

결론적으로 말하면 언어모델은 '지도학습자'입니다.

그리고 알파고는 '강화학습자'이고요.


일단 용어에 왜 지도와 강화가 들어갔는지는 너무 진지하게 생각하지 않기로 합시다.

저걸 만든 놈들이 저 용어가 적절할 지 생각한 건 아니지만.

그리고 연구자들은 강화학습과 지도학습의 적용 범위를 독립적이라고 생각하지

일반과 특수라고 생각하지 않습니다. 무식한 거죠.


제가 여기서 누누이 말했지만

현재의 언어모델은 지도학습과 강화학습이 짬뽕된 것입니다.

이게 이상하게 들리겠지만, 인간에게 서비스하는 상품이라서 그렇습니다.


만약 언어모델이 강화학습자라면 환경의 영향을 받아 변합니다.

그러면 상품이 변질됩니다.

그래서 변질되지 않도록 지도학습에 머물게 합니다.

상부구조를 강제로 제거해서요.

상품은 학습하지 않습니다. 그래서 학습이란 표현도 어색합니다. 

실행모델이라고 하는 게 낫습니다만, 학계 용어라서.

대신 아예 멍청하면 안 되니깐, 학습할 때는 일부(마지막에) 강화학습을 적용합니다.

아마 이해가 안 되실듯한데,


비유를 하자면,

1. 책으로 연애를 열심히 학습한다.

2. 가상 실전에 돌입하여 여친에게 싸다구를 맞아가며 학습을 한다.

3. 가상여친을 제거한 뒤에 실전에 돌입하여 연애를 하는척 한다. 이때 가상여친이 없으므로 추가학습은 없다. 추가학습은 신(OpenAI 엔지니어)이 명령할 때 이루어진다.

입니다. 


실제 인간은 가상의 여친이 머리속에 있어서 나에게 끊임없이 잔소리를 하여 내 행동을 교정합니다.

그리고 그 가상의 여친 또한 끊임없이 사회의 질서와 동기화(학습) 됩니다.

이게 현재의 챗지피티와 인간의 결정적인 차이입니다.


정리하자면, 

가상의 여친이 있는 걸 "강화학습"이라고 하고

나만 있으면 "지도학습"이라고 하며

챗지피티는 학습할 때는 강화학습이었다가

실행할 때는 지도학습이며

성능이 떨어진다고 오픈에이아이 엔진니어가 판단할 때

일시적으로 학습을 추가합니다.


그리고 저런 퍼즐 문제를 풀려면

행동과 규칙을 동시에 풀어야 하는데,

언어모델을 기반하는 인공지능은

상부구조가 거세되었으므로 

당연히 못 풉니다.

물론 알파고는 풉니다.


그럼 강화학습으로 풀면 되는 거 아니냐고요.

네. 그냥 그렇게 풀면 되는데,

강화학습이 실제로는 알고리즘으로 복잡하게 꼬여있고

그게 뭘 의미하는 지 연구자들도 몰라서

그걸 적용하면 되는지 조차 몰랐는데


최근에야 상부구조를 얹으면 뭔가 된다고 

오픈에이아이가 발표한 것입니다.

그리고 저 문제를 낸 사람들은 아직 그걸 눈치 못 깐 거고.

그냥 알파고 가져다 쓰면 되는 거 아니냐고요?

네, 됩니다. 근데 현재 사람들이 언어모델에 신기해하고 있는 중이라.

그럼 그걸 아는 너는 뭐하냐고요?

코딩을 못 해서..


프로필 이미지 [레벨:27]오리

2024.07.06 (21:15:11)

참고로 저 문제는 2 ~ 3년 전부터 나온거 같고. 저 프랑소와 라는 양반은 얼마전까지 딥러닝 하는 사람들이 많이 사용한 "케라스" 라는 툴을 만든 사람 이라고 합니다. ( https://ko.wikipedia.org/wiki/%EC%BC%80%EB%9D%BC%EC%8A%A4)


현재 45점 까지 맞은 팀이 등장 했다고 합니다. 




프로필 이미지 [레벨:21]chow

2024.07.06 (21:19:12)

갑자기 좀 하고 싶어졌는데, 리더보드엔 39점이 최고라고 나오네요.

프로필 이미지 [레벨:27]오리

2024.07.06 (21:58:17)

얼마전 화산재 두루마리를 AI를 이용해서 해독해서 상금 받은 청년도 저 팟케스트 듣던 22살 청년 이었다고 함.


doo.jpg


참고 사이트: https://m.post.naver.com/viewer/postView.naver?volumeNo=37391485&memberNo=30120665



첨부
List of Articles
No. 제목 글쓴이 날짜 조회
공지 구조론 매월 1만원 정기 후원 회원 모집 image 29 오리 2020-06-05 102215
2177 유책주의와 파탄주의 newimage chow 2024-07-15 66
2176 인간이 자기소개 하는 이유 update 3 chow 2024-07-10 588
2175 사이의 사이에 내가있다 강원닮아 2024-07-09 211
2174 아크 챌린지의 문제가 AGI 문제인 이유 image 4 chow 2024-07-09 265
» 총 상금 13억원 문제 image 8 오리 2024-07-06 708
2172 초등학교에 퍼지는 이상한 풍토1 1 이상우 2024-07-04 959
2171 장안생활 격주 목요 모임 image 오리 2024-07-03 528
2170 Chat GPT4o 를 이용한 구조론 도서에 관한 채팅 image 1 오리 2024-07-01 1158
2169 공적 절차를 악용한 부모들의 사적 복수 남발과 교육 실종 이상우 2024-07-01 943
2168 주의 시작! 신이 나네! 모두 안전하고 안녕한 주~* 냉무! 강원닮아 2024-07-01 907
2167 평화가요제 나가려고요 image 강원닮아 2024-06-29 959
2166 장안생활 격주 목요 모임 image 오리 2024-06-19 1349
2165 세상이 불공평한 이유 4 chow 2024-06-18 1754
2164 군자의 친목질 4 chow 2024-06-16 1683
2163 AI 엑스포 초대 image 2 chow 2024-06-13 1541
2162 자아에 대한 생각 6 SimplyRed 2024-06-11 1635
2161 장안생활 격주 목요 모임 image 오리 2024-06-06 1414
2160 세계일주 시작 되었개 강원닮아 2024-06-06 1529
2159 가장 뛰어난 사람을 보고 그 나라를 판단해야 한다는데 20 서단아 2024-06-04 1893
2158 세계일주를 앞두고.. 지난 8년의 결과물을 공유합니다. 1 강원닮아 2024-06-02 1639