구조론과 직접적으로는 상관이 없지만, 엔트로피가 총량을 가진다는 점에서 계가 가지는 에너지와 밀접한 관련이 있으므로 상식 증진을 목적으로 대략 설명해보겠다. 인류는 엔트로피를 대개 잘 이해하지 못하는데, 이게 헷갈릴 만하다. 실제로 역사적으로 많은 학자들이 엔트로피를 헷갈려서 잘못 차용하곤 했다고 하니 말 다 한 거. 대개 헷갈리는 건 확실성과 불확실성이다.

엔트로피가 확실성이 아니라 불확실성인 이유는 확률이 분수로 표현되기 때문이다. 알파벳이라면 1/26의 불확실성을 가진다. 이는 특정 경우와 전체 경우의 비율을 분수로 표현한 것이다. 아무리 수포자라도 이건 안 어렵지? 근데 한글이라면 1/11,727이 된다. 한글은 글자가 초중종장으로 조합되기 때문. 즉, 한글이 영어보다 더 불확실한 글자이다. 경우의 수가 훨씬 더 많은 것이다. 

엔트로피가 독특한 것은 엔트로피의 정의에 "원인-과정-결과"의 개념이 사용된다는 것이다. 이는 정보이론에서 송신자-채널-수신자로 변형하여 설명한다. 

* 확률은 event(구조론의 사건과 다름)를 사용한다. 확률의 사건은 어느 한 경우와 전체 경우의 비율을 의미하지만, 구조론의 사건은 전체 경우를 가리키므로 헷갈릴 우려가 있으므로 조심.

구조론을 엔트로피의 관점에서 보자면, 어느 한 사건은

1) 1 -> (어떤 과정) -> 3,125 로 흘러가는데,

* 3,125 = 5*5*5*5*5 라서 그런 거

2) 근데 결과가 가지는 엔트로피(불확실성)는 확률을 사용하므로 (1/5)*(1/5)*(1/5)*(1/5)*(1/5) 이 된다. 여기서 구조론과 엔트로피 사이에 표현법 차이가 있음을 알 수 있다.

3) 근데 웃기게도 실제 엔트로피는 저걸 그냥 쓰지 않고, 엔트로피를 정보량(information 정보가치, 즉 확실성)으로 보아 log_5 (1/5)^5(밑이 5인 로그)라고 표현한다.(5번 곱한 걸 뒤집으려고 역연산(로그)을 취한 것, 로그는 지수의 역연산)

* 정보량(정보가치)은 불확실성의 엔트로피를 뒤집어서 확실성으로 표현한 것

볼츠만이 정의한 엔트로피, S는 엔트로피, k_B는 볼츠만 상수(별 의미 없음), log대신 ln(자연로그)을 사용한 것은 볼츠만이 단위(지수라면 승수, ln은 e자연상수)를 ln으로 정했기 때문(큰 의미 없다고 볼 수 있으나 사실은 설명이 필요), 옴은 미시상태(부분)의 확률을 의미한다.

* 여기서부터 뭔가 잘못되었다. 왜냐하면 엔트로피의 수식은 불확실성이 아니라 확실성을 표현하고 있기 때문이다. 이렇게 된 이유가 엔트로피를 불확실성이라고 번역한 게 잘못된 건지, 아니면 애당초 볼츠만이 엔트로피라는 표현을 잘못 만든 건지 알 수가 없다. 애당초 확률을 사용하는게 맞는 표현인지, 이 글을 쓰고 있는 나도 헷갈린다.

예를 들어 증거를 보고 범인을 추론하는 상황이라면, 우리가 증거(정보)를 수집할 때마다, 용의자의 수는 줄어들게 된다. 아무 것도 모를 때는 매우 불확실하지만, 증거를 주울 때마다 점점 확실해진다. 즉 엔트로피는 추론해야 하는 상황을 가정하고 만든 개념이라 확실성이 아니라 불확실성으로 표현되는 것.

그럼 뒤집어서 확실성으로 표현하면 안 되냐? 뒤집으면 확률(비율)로 표현이 잘 안 되지롱. 수학이 연역이 아니라 귀납으로 구축된 거라 뒤집으면 헷갈리지롱. 

결론: 구조론은 경우의 수로 표현했고, 엔트로피는 확률로 표현했다. 하지만 뭔 짓을 해도 엔트로피는 헷갈린다.