http://math4ucanada.com/%EB%B2%A0%EC%9D%B4%EC%A6%88-%EC%A0%95%EB%A6%AC/

방증과 반증의 논리, 베이즈추론과 머신러닝

현대 머신러닝의 근간이 되는 논리는 베이즈추론법이다. 21세기의 엘리트라면 베이즈추론이 뭔지 정도는 알아야 하지 않겠나. 그런데 기실 베이즈추론은 사실에 대한 맥락적 해석법에 대한 것이다. 맥락이라고 하면 구조론과 닿는 점이 있다. 

우리는 인셉션과 같은 영화의 결말을 열린결말이라고 한다. 그런데 사실 인셉션의 결말을 하나뿐이다. 그럼에도 불구하고 왜 우리는 이를 두고 열린 결말이라고 하는 것일까? 사실 열린 결말이라는 표현은 어색한 것이다. 열린 전제라는 표현이 더 정확하다.

우리가 결과를 해석함에 있어 그 의미를 다양하게 둘 수 있는 것은 사실 전제를 여러 가지로 둘 수 있기 때문이다. 우리는 어떤 사실이 그 자체로 고유하다고 생각하지만, 모든 사실은 전제와 진술의 형식으로 이루어져 있다. 즉 전제가 다르면 결과가 같아 보이더라도 그 결과에 대한 의미는 완전히 달라진다.

당신에게 베이즈확률이 어렵게 느껴진다면, 그것은 당신이 확률을 전제-진술 쌍으로 생각하지 않고 단순히 진술만으로 생각하기 때문이다. 결국 확률도 전제-진술 쌍으로 이루어질 수 있다. 아니 오히려 전제-진술 쌍으로 이루어져야 확률을 바르게 표현할 수 있다.

가령 기침을 한다고 해서 감기에 걸렸다고 할 수 있는가? 꼭 그렇지는 않다. 왜냐하면 미세먼지(반증)에도 기침을 할 수 있기 때문이다. 하지만 기침을 했다면 미세먼지를 마셨을 때보단 감기에 걸렸을 확률이 높을 것 같다. 이런 사고과정은 누구나 경험으로 납득하는 것이지만, 그 논리를 말하기는 쉽지 않다.

1) 감기O > 기침

2) 감기X > 기침

우리는 그냥 사실이 있다고 생각하지만, 모든 사실은 맥락적이다. 기침을 하더라도 다양한 원인에 의할 수 있다 그 원인을 추론하려고 하는게 베이즈추론이다. 즉 단순 사실이 아니라 전제-진술로 사실을 판단하는 과정을 확률적으로 논리화/수식화한 것이다. 베이즈추론은 기침과 같은 증거를 획득하고 이를 확률에 반영하여, 사전가정을 사후가정으로 갱신한다. 기침의 원인이 감기인지 다른 것(ex 미세먼지)인지를 판단하려는 것이다.

사전확률 + 증거(시행확률) > 사후확률(갱신확률)

길에서 무작위로 어떤 사람을 붙잡았을 때 그 사람이 감기에 걸렸을 확률은 얼마일까? 이때는 전인구집단에서 감기발병비율을 활용할 수 있다. 4월 한국에서 발병비율은 20%라고 한다면, 이는 길거리에 있는 사람을 무작위로 골랐을 때 그 사람이 감기에 걸릴 확률도 20%라고 생각하는 것이다.(사전확률)

그런데 그 사람이 갑자기 기침을 한다면? 기침은 감기에 걸렸을 확률을 강화시키는 하나의 증거가 된다. 물론 감기에 걸리지 않은 사람도 기침은 한다. 하지만 그 비율은 낮을 것이다. 보통 감기에 걸린 사람이 기침을 할 확률이 90%이고 걸리지 않은 사람이 알 수 없는 원인에 의해 기침할 확률이 30%라고 하자.(시행확률)

그러면 우리가 발견한 사람이 기침을 했을 때 그가 감기에 걸렸을 확률은 얼마나 될까? 즉 20%의 확률을 몇 퍼센트로 갱신해야 할까?(사후확률)

(모집단의 크기를 100으로 정한 후에 각 경우의 수를 이에 맞추어 양적으로 정규화normalize 하면 그림에서 원 안의 사람 수가 된다)

우리는 두 가정을 비교하려는 것이다. 즉 '감기>기침'인지 '미세먼지>기침'의 최종 비율을 계산하여 둘 중 어느 것의 확률이 더 높은지를 보려고 한다.

여기에 있는 곱셈은 각 단계의 확률 중 '실현된 확률'만을 각 단계에 '가중치'로 산입하여 큰 두 줄기의 최종값을 구하고자 사용된 것이다. 좀 더 쉽게 이해하려면 각 단계의 확률을 가중치라고 생각해야 한다.

이 과정은 다음의 베이즈정리와 정확히 같다.

근데 왜 방증의 논리라고 할까? 증거 부분에 다양한 증거를 추가하면 사전확률을 더 갱신할 수 있기 때문이다. 감기의 경우라면 발열, 오한, 콧물 등이 추가 증거가 될 수 있으며, 이는 환자가 감기에 걸렸는 지를 확신할 수 있는 방증으로 사용될 수 있는 것이다. 다만 위의 그림은 단순하게 설명하고자 증거를 기침으로만 제시한 것이다.

내가 베이즈추론을 맥락적 해석법이라 말하는 이유는 일반적인 확률이 수평적인 비교, 가령 "감기o : 감기x = 10 : 90"과 같은 단선적인 것임에 비해 베이즈추론은 "감기0-기침 : 감기x-기침 = 10 : 90"과 같은 것이기 때문이다. 즉 비교 대상의 원소를 일자가 아니라 쌍자로 두는 것이다. 

이는 구조론에서 사건의 기본 요소를 쌍자로 두는 것과 같은 맥락이다.