아래의 오리님 글과 관련된 내용입니다. 

문제 홍보 사이트 https://arcprize.org

리더 보드(순위표) https://www.kaggle.com/competitions/arc-prize-2024/leaderboard

먼저 주변에서 접할 수 있는 인공지능의 종류에 대해 설명하자면,

0. 일반적인 딥러닝(개와 고양이를 구분)

: 초창기 모델로, 사진이나 문장을 보고 그것의 라벨(의미, 분류)을 맞추는 모델, 오직 귀납모델로만 구성됩니다. 빅데이터가 필요한 이유입니다. 많이 볼 수록 잘 풉니다.

1. 일반적인 언어모델(GPT4o)

: 일부연역+귀납모델입니다. 한번 상부모델을 만든 이후엔 경험만을 사용하고 다시는 상부모델을 재구축하지 않습니다. 이렇게 하는 이유는 제조사가 '서비스'를 그렇게 규정하기 때문입니다. 개와 고양이를 구분하는 건 기본이고, 사용자의 질문에 답변할 정도가 됩니다. 

2. 일반적인 강화학습 모델(알파고)

: 상부모델이 있으나 규정적, 한정적입니다. 바둑의 경우 점수가 성립하는 규칙이 사전에 정해져있습니다. 바둑이 어려운 이유는 바둑판이 크기 때문입니다. 규칙은 작으나 '게임'에서 바둑돌의 조합이 매우 많아서 어려운 문제가 됩니다. 실제로 알파고는 이 조합의 개수를 줄이는 다양한 방법(꼼수)을 사용합니다. 

3. 아크 챌린지 문제(아이큐 테스트 문제)

: 주어진 사례에서 규칙을 도출하고 새로운 사례에 적용하여 검증하는 문제입니다. 바둑에 규칙이 정해져있다면 아크챌린지문제는 규칙이 여러가지입니다. 오히려 무제한입니다. 그리고 그 규칙은 비공개입니다. 실제로 테스트 문제를 공개하지 않습니다. 그걸 공개하면 쉬운 문제로 바뀌기 때문입니다. 알파고와 달리 바둑판의 크기가 작으므로 과정은 매우 단순합니다. 즉 문제의 포인트가 다릅니다.

#

아크챌린지 문제를 낸 사람(프랑스와 숄레)은 간단한 전제를 던집니다. "5살 아이도 풀 수 있는 문제를 언어모델은 풀지 못한다." 근데 실제로 니가 문제를 풀어보세요, 어렵습니다. 왜냐하면 어른은 아는 게 많기 때문입니다. 나이가 많고 학습량이 많을 수록 오히려 못 풉니다. 아는 게 문제인 상황이 됩니다. 고대 이집트 언어를 어린이가 잘 해석하는 이유는? 아는 게 별로 없어서. 그럼 아는 게 많은 어른이 이 문제를 풀려면?

이게 일반인공지능 문제인 이유는 규칙의 규칙이 있어야 이런 문제를 풀 수 있기 때문입니다. 1, 2번의 사례와 같이 현재의 인공지능은 이걸 하지 않습니다. 실제로 조금이라도 점수를 낸 사람들은 현재 30점정도(100점 만점)가 나왔는데, 가설연역법을 언급하고 있습니다. 문제는 가설(상정하는 규칙)의 개수가 무한대라는 것입니다.

여기서 함정이자 정보는 5살 짜리도 풀 수 있다는 대목입니다. 보통은 "쉽다"에만 꽂히는데, 실제론 어려운 이상한 문제입니다. 지피티와 알파고 입장에선 매우 어려운 문제이고 5살 짜리가 쉬운 이유는? 5살 짜리가 알면 얼마나 알겠습니까. 애가 아는 규칙은 한정적이고 단순한데, 대부분의 인공지능은 필요이상으로 다양한 경험을 한 어른인 동시에 규칙을 상정하지 못 하기 때문에 이 문제가 어렵게 느껴지는 겁니다.

아이의 순수한 눈으로 봐라 이런 말이 아닙니다. 인간은 보통 상향식 추론(귀납)을 하는데, 말이 그렇지 실제로 이렇게는 문제를 못 풉니다. 왜냐하면, 전제는 가능성이 무한대이기 때문입니다. 그러므로 반드시 하향식 추론을 해야 하는데, 알고있는 것에서 문제를 풀어야 한다는 말입니다. 결국 내가 접하는 세상의 모든 문제는 중간에 낑겨있다는 게 인간이 하는 추론의 본질입니다. 하향과 상향 추론이 만나는 지점에서 문제가 정의된다는 말이죠. 

전제 > 문제 > 답

다시 말해, 귀납의 상향과 연역의 하향이 중간에서 동시 성립하는 지점이 있으며 그게 인간이 세상을 이해하는 방식입니다.

결국 AGI 혹은 지능은 그게 뭐냐를 정의하는 문제에 봉착해있고, 프랑스와 숄레가 그걸 지적한 거고, 현재 인간은 system1과 system2정도는 생각할 수 있으며, 다만 system3을 생각하지 못했고, 그게 이번에 문제로 나왔으며, 일부 도전자가 제출한 인공지능은 100점 만점에 30점 정도만 얻고 있는 상황입니다. 

2~3번째 행의 그림이 문제입니다.