![[레벨:22]](https://gujoron.com/xe/modules/point/icons/default/22.gif "포인트:45714point (53%), 레벨:22/30"){kind=icon}
이금재.1. 강화학습 정리
강화학습을 대표하는 알고리즘인 알파고는 크게 보자면 딥러닝과 MCTS 시뮬레이션으로 이루어진다. 설명한 바와 같이 MCTS시뮬레이션은 굳이 안 해도 된다. 하면 좀 나은 것이지 필수는 아니다. 그러나 딥러닝은 필수다. 그러므로 잘난척 해봐야 알파고도 딥러닝의 활용일 뿐이라고 생각할 수 있다. 다만 강화학습이 딥러닝, 즉 지도학습과 다른 것은 지도학습이 훈련되려면 인간이 직접 생산한 데이터가 공급되어야 하지만, 강화학습은 인간이 문제만 정의해주면 데이터를 직접 생산할 수 있다는 것이다. 이때 문제 정의는 게임의 규칙이다. 바둑에서의 규칙 같은 거 말이다.
물론 이게 되는 이유는 강화학습의 문제가 아주 좁은 영역의 문제에서만 정의되었기 때문이고, 지도학습 처럼 복잡한 경우엔 강화학습이 잘 작동하지 않는다. 그래서 강화학습이 대개 로봇제어 처럼 단순한 문제 해결에 사용되는 것이다. 반면 지도학습의 문제는 상당히 넓은 분야다. 대표적인 이미지 인식만 해도 그렇다. 세상에 명사가 한두개가 아니잖나. 수천, 수만 가지의 명사가 있다. 그거 다 인식하려면 꽤 많다. 물론 원자론적 인식이다. 하지만 원자론적 인식을 상당히 하는 인간이 사는데 큰 문제가 없듯이 원자론적 인식도 때로는 쓸모가 있다.
2. 강화학습 한계
이전 글에서 말한 바와 같이 일반적인 딥러닝이 정지한 물체를 인식한다면 알파고의 딥러닝은 움직이는 물체를 인식할 수 있다는 차이를 가진다. 근데 그뿐이다. 움직이건 안 움직이건 그건 중요한 것이 아니다. 오히려 중요한 것은 문제를 푸는 게 아니라 문제를 정의할 수 있느냐이다. 어떤 것을 정의하느냐는 한 단계 더 높은 가리킴을 할 수 있느냐로 설명된다. 동렬님이 까마귀를 언급했는데, 매우 좋은 예시라 할 수 있다. 필자가 5년 전부터 주장하던 것이다. 여기에도 쓴 것 같은데.. 나는 i5 노트북 정도라면 인공지능을 구현할 수 있을 거라 생각한다. 구체적인 건 다음 글에서.
3. 지도학습의 놀라운 점
공 던지는 방법을 훈련하는 것과 고양이를 인식하는 과정이 같다는 것이 놀랍지 않은가? 그리고 동렬님이 까마귀의 눈알이 머리통의 상당부분을 차지한다고 했는데, 사실 인간의 경우에도 시신경과 시각피질이 두뇌에서 차지하는 비율이 상당하다고. 물론 까마귀와 달리 언어 능력과 다양한 환경적응에 의한 기억력 부분이 상당히 크다는 차이가 있다. 인간은 하드드라이브가 크다는 말이다. 인간만큼 다양한 종류의 운동을 할 수 있는 동물이 없다고.
까마귀가 상당한 판단능력을 보이는 이유는 소집단을 이루기 때문인 것으로 생각할 수 있겠다. 까마귀는 먹이를 얻는다는 목적에 부합하여 문제를 만들고 판단하는데, 인간은 먹이보다는 권력을 얻는데 상당히 집중한다는 차이가 있다. 아마 인간도 먹이를 먹는 문제로 좁히면 까마귀 보다는 훨씬 창의적일 것이다. 내가 일을 하고 회사를 다녀보며 알게 된 것은 거의 대부분의 인간들은 언제나 문제해결 보다는 남이 자신의 말을 듣게 하는데 관심이 있더라는 것이다. 독자들도 이런 거 많이 보지 않았나? 완장질이 최고의 쾌감을 준다는 거 누구나 알지 않은가.
결론적으로 말하면 인공지능에 필요한 판단 부분은 아주 작아도 될 거라는 말이다. 대부분의 컴퓨터 용량은 시각 등 감각피질 부분이 차지하게 될 것이고 문제 규정에 필요한 부분은 아주 작아도 된다. 다만 기억력을 늘리려면 큰 용량의 하드드라이브는 필요하다고 할 수 있겠다.
4. 자율주행
그리고 자율주행도 일종의 로봇제어로 볼 수 있는데, 자율주행은 그 특성상 지도학습과 강화학습을 적절히 조합하여 사용하게 된다. 이를 쉽게 이해하려면 장기를 두는 것을 생각하면 된다. 특별한 기능과 규칙을 가진 장기알이 대상이고 그것을 움직이는 주체가 있는데, 장기알이 뭔지를 파악하는 것은 지도학습으로, 주체가 판단하는 것은 강화학습으로 구현한다는 말이다. 그리고 이를 자율주행과 비교해보면 상당히 문제가 비슷하다. 그러므로 자율주행은 인식해야 할 대상이 많은 지도학습과 동시에 최적경로찾기라는 강화학습 문제가 상존하는 것이다. 이때 지도학습으로 인식된 대상(사람, 자동차 등)은 강화학습에 명사, 즉 어떤 '것'으로 공급되며 강화학습은 이를 도구로 사용하여 더 큰 문제, 즉 최적경로찾기문제 등을 풀게 된다.
이런 관점으로 자율주행을 다시 해석해보자. 자율주행에 많은 데이터가 필요하다고 알려져 있다. 이때 실제로 많은 (인간에 의해 생산된) 데이터가 필요한 영역은 지도학습인데, 지도학습은 일단 학습되고 나면 추가적인 학습이 거의 필요없고, 머신러닝의 메인스트림이 지도학습이므로 현 시점에서 자율주행에 필요한 대상인식에 대한 데이터는 차고넘치게 공급되었다고 볼 수 있다. 데이터가 흔하다는 말이다. 차로 주변에서 볼 수 있는 사람, 자전거, 킥보드, 다른 차 등의 데이터(라벨이 붙은)가 흔한 게 당연한 거지.
반면 강화학습에 필요한 데이터는 경로찾기라는 단순한 게임을 해결하는 것이며 인간이 줘야할 정보는 몇 가지 규칙으로 이루어진 문제 정의뿐이므로, 많은 데이터가 필요하다기 보다는 많은 시뮬레이션이 필요하다고 볼 수 있다. 즉 데이터가 거의 필요하지 않다는 말이다. 그러므로 테슬라가 타 자동차메이커에 비해 데이터 양의 우위를 가졌기 때문에 더 높은 기술우위를 가진다는 말은 개소리라는 것이다. 너 말이다, 일론. 듣고 있냐? 구글도 마찬가지고. 어디서 약을 팔아.
내가 이 지점에서 말하고 싶은 것은 지도학습과 강화학습 정도만 하더라도 자율주행은 충분히 잘, 생각보다 쉽게 구현될 수 있다는 것이다. 문제는 대부분의 머신러닝 엔지니어가 기술에 대한 이해가 상당히 부족하다는 것이다. 이는 현장에서 직접 소통해본 결과 알게 된 것이다. 구글이 정의해준 문제가 아니면 머신러닝을 활용하지도 못하는 것이 한국 연구자들의 현실이다. 전 세계로 넓혀봐도 몇 명 없기도 하고.
Drop here!
![[레벨:13]](https://gujoron.com/xe/modules/point/icons/default/13.gif "포인트:17257point (84%), 레벨:13/30"){kind=icon}
kilian
후발주자들에게도 기회가 있겠군요... 내용 잘 보았습니다... 감사합니다...