아래의 오리님 글과 관련된 내용입니다.
문제 홍보 사이트 https://arcprize.org
리더 보드(순위표) https://www.kaggle.com/competitions/arc-prize-2024/leaderboard
먼저 주변에서 접할 수 있는 인공지능의 종류에 대해 설명하자면,
0. 일반적인 딥러닝(개와 고양이를 구분)
: 초창기 모델로, 사진이나 문장을 보고 그것의 라벨(의미, 분류)을 맞추는 모델, 오직 귀납모델로만 구성됩니다. 빅데이터가 필요한 이유입니다. 많이 볼 수록 잘 풉니다.
1. 일반적인 언어모델(GPT4o)
: 일부연역+귀납모델입니다. 한번 상부모델을 만든 이후엔 경험만을 사용하고 다시는 상부모델을 재구축하지 않습니다. 이렇게 하는 이유는 제조사가 '서비스'를 그렇게 규정하기 때문입니다. 개와 고양이를 구분하는 건 기본이고, 사용자의 질문에 답변할 정도가 됩니다.
2. 일반적인 강화학습 모델(알파고)
: 상부모델이 있으나 규정적, 한정적입니다. 바둑의 경우 점수가 성립하는 규칙이 사전에 정해져있습니다. 바둑이 어려운 이유는 바둑판이 크기 때문입니다. 규칙은 작으나 '게임'에서 바둑돌의 조합이 매우 많아서 어려운 문제가 됩니다. 실제로 알파고는 이 조합의 개수를 줄이는 다양한 방법(꼼수)을 사용합니다.
3. 아크 챌린지 문제(아이큐 테스트 문제)
: 주어진 사례에서 규칙을 도출하고 새로운 사례에 적용하여 검증하는 문제입니다. 바둑에 규칙이 정해져있다면 아크챌린지문제는 규칙이 여러가지입니다. 오히려 무제한입니다. 그리고 그 규칙은 비공개입니다. 실제로 테스트 문제를 공개하지 않습니다. 그걸 공개하면 쉬운 문제로 바뀌기 때문입니다. 알파고와 달리 바둑판의 크기가 작으므로 과정은 매우 단순합니다. 즉 문제의 포인트가 다릅니다.
#
아크챌린지 문제를 낸 사람(프랑스와 숄레)은 간단한 전제를 던집니다. "5살 아이도 풀 수 있는 문제를 언어모델은 풀지 못한다." 근데 실제로 니가 문제를 풀어보세요, 어렵습니다. 왜냐하면 어른은 아는 게 많기 때문입니다. 나이가 많고 학습량이 많을 수록 오히려 못 풉니다. 아는 게 문제인 상황이 됩니다. 고대 이집트 언어를 어린이가 잘 해석하는 이유는? 아는 게 별로 없어서. 그럼 아는 게 많은 어른이 이 문제를 풀려면?
이게 일반인공지능 문제인 이유는 규칙의 규칙이 있어야 이런 문제를 풀 수 있기 때문입니다. 1, 2번의 사례와 같이 현재의 인공지능은 이걸 하지 않습니다. 실제로 조금이라도 점수를 낸 사람들은 현재 30점정도(100점 만점)가 나왔는데, 가설연역법을 언급하고 있습니다. 문제는 가설(상정하는 규칙)의 개수가 무한대라는 것입니다.
여기서 함정이자 정보는 5살 짜리도 풀 수 있다는 대목입니다. 보통은 "쉽다"에만 꽂히는데, 실제론 어려운 이상한 문제입니다. 지피티와 알파고 입장에선 매우 어려운 문제이고 5살 짜리가 쉬운 이유는? 5살 짜리가 알면 얼마나 알겠습니까. 애가 아는 규칙은 한정적이고 단순한데, 대부분의 인공지능은 필요이상으로 다양한 경험을 한 어른인 동시에 규칙을 상정하지 못 하기 때문에 이 문제가 어렵게 느껴지는 겁니다.
아이의 순수한 눈으로 봐라 이런 말이 아닙니다. 인간은 보통 상향식 추론(귀납)을 하는데, 말이 그렇지 실제로 이렇게는 문제를 못 풉니다. 왜냐하면, 전제는 가능성이 무한대이기 때문입니다. 그러므로 반드시 하향식 추론을 해야 하는데, 알고있는 것에서 문제를 풀어야 한다는 말입니다. 결국 내가 접하는 세상의 모든 문제는 중간에 낑겨있다는 게 인간이 하는 추론의 본질입니다. 하향과 상향 추론이 만나는 지점에서 문제가 정의된다는 말이죠.
전제 > 문제 > 답
다시 말해, 귀납의 상향과 연역의 하향이 중간에서 동시 성립하는 지점이 있으며 그게 인간이 세상을 이해하는 방식입니다.
결국 AGI 혹은 지능은 그게 뭐냐를 정의하는 문제에 봉착해있고, 프랑스와 숄레가 그걸 지적한 거고, 현재 인간은 system1과 system2정도는 생각할 수 있으며, 다만 system3을 생각하지 못했고, 그게 이번에 문제로 나왔으며, 일부 도전자가 제출한 인공지능은 100점 만점에 30점 정도만 얻고 있는 상황입니다.
2~3번째 행의 그림이 문제입니다.
![프로필 이미지](https://gujoron.com/xe/files/member_extra_info/profile_image/118/006/6118.jpg)
![포인트:697397point, 레벨:30/30 [레벨:30]](https://gujoron.com/xe/modules/point/icons/default/30.gif)
![id : 김동렬 id: 김동렬](https://gujoron.com/xe/files/member_extra_info/image_mark/118/006/6118.gif)
![프로필 이미지](https://gujoron.com/xe/files/member_extra_info/profile_image/919/972/972919.jpg)
![포인트:41966point (58%), 레벨:21/30 [레벨:21]](https://gujoron.com/xe/modules/point/icons/default/21.gif)
이 문제를 풀 수 있는 인공지능을 하나 만들어오라는 말입니다.
과학자들이 이런 문제를 내고 AGI를 언급하는 이유는
챗지피티한테 지구에 있는 거의 모든 하드디스크의 정보를 입력했음에도 불구하고
5살 짜리 어린애가 푸는 문제에서 하위 10%의 성적을 내기 때문입니다.
현재의 인공지능은 뭔가 근본부터 틀어져있다는 걸 과학자들이 눈치챈 거.
학계에서 사용되는 AGI라는 표현이 '천재'는 아닙니다. '기본'에 가깝습니다.
최고사양의 챗지피티는 기본이 안 되어 있어서 이 문제를 주면 평균 8점 정도 나옵니다.
그리고 챗지피티는 아무리 학습을 시켜도 못 풉니다.
애당초 챗지피티가 그런 컨셉이 아니기도 하거니와
학습할 데이터를 조금만 주는 게 대회의 취지입니다.
인간한테 아이큐 테스트를 할 때, 미리 많이 풀어보게 하지는 않잖아요.
상식을 가지고 푸는 거지.
반면 대학입학시험은 기출 문제를 많이 풀어보고 시험장에 들어갑니다.
챗지피티는 기출 문제를 많이 풀어보고 그걸 응용할 수 있는 정도의 문제 안에서만 작동합니다.
서울대 나온 사람에게 더 많은 문제를 풀게 한다고 하여
수능 시험지 바깥의 문제를 못 푸는 상황을 생각하면 쉬우실듯.
책상발이 공무원이 현장에 나가면 허공에 개삽질 하는 것을 생각하면 비슷합니다.
일반 인공지능 나왔다며?
> 일부에서 가능성만 언급한 수준이고 여전히 실험실에 들어있다고 보면 됩니다.
![프로필 이미지](https://gujoron.com/xe/files/member_extra_info/profile_image/118/006/6118.jpg)
![포인트:697397point, 레벨:30/30 [레벨:30]](https://gujoron.com/xe/modules/point/icons/default/30.gif)
![id : 김동렬 id: 김동렬](https://gujoron.com/xe/files/member_extra_info/image_mark/118/006/6118.gif)
어려운 문제는 아닐듯.
1. 색깔과 모양을 인식한다.
2. 차이를 인식한다.
3. 패턴을 추출한다.
4. 모방을 지시한다.
5. 상금을 챙긴다.
말로는 참 쉽죠잉.
![프로필 이미지](https://gujoron.com/xe/files/member_extra_info/profile_image/919/972/972919.jpg)
![포인트:41966point (58%), 레벨:21/30 [레벨:21]](https://gujoron.com/xe/modules/point/icons/default/21.gif)
문제를 푼다는게 뭘 어쩌라는 거지요?
이 문제를 해결할 수 있는 인공지능을 하나 만들어오라는 말인지.
챗 GPT에게 그림을 보여주고 질문을 계속 던져서
인공지능이 스스로 이 문제에 답을 내도록 유도하라는 말인지.
문제를 풀때까지 인공지능을 학습시키라는 말인지?
쉬워보이기는 하는데 말이 안 통하니 실패