토론실

구조론과 직접적으로는 상관이 없지만, 엔트로피가 총량을 가진다는 점에서 계가 가지는 에너지와 밀접한 관련이 있으므로 상식 증진을 목적으로 대략 설명해보겠다. 인류는 엔트로피를 대개 잘 이해하지 못하는데, 이게 헷갈릴 만하다. 실제로 역사적으로 많은 학자들이 엔트로피를 헷갈려서 잘못 차용하곤 했다고 하니 말 다 한 거. 대개 헷갈리는 건 확실성과 불확실성이다.


엔트로피가 확실성이 아니라 불확실성인 이유는 확률이 분수로 표현되기 때문이다. 알파벳이라면 1/26의 불확실성을 가진다. 이는 특정 경우와 전체 경우의 비율을 분수로 표현한 것이다. 아무리 수포자라도 이건 안 어렵지? 근데 한글이라면 1/11,727이 된다. 한글은 글자가 초중종장으로 조합되기 때문. 즉, 한글이 영어보다 더 불확실한 글자이다. 경우의 수가 훨씬 더 많은 것이다. 


엔트로피가 독특한 것은 엔트로피의 정의에 "원인-과정-결과"의 개념이 사용된다는 것이다. 이는 정보이론에서 송신자-채널-수신자로 변형하여 설명한다. 

* 확률은 event(구조론의 사건과 다름)를 사용한다. 확률의 사건은 어느 한 경우와 전체 경우의 비율을 의미하지만, 구조론의 사건은 전체 경우를 가리키므로 헷갈릴 우려가 있으므로 조심.


123.png


구조론을 엔트로피의 관점에서 보자면, 어느 한 사건은

1) 1 -> (어떤 과정) -> 3,125 로 흘러가는데,

* 3,125 = 5*5*5*5*5 라서 그런 거


2) 근데 결과가 가지는 엔트로피(불확실성)는 확률을 사용하므로 (1/5)*(1/5)*(1/5)*(1/5)*(1/5) 이 된다. 여기서 구조론과 엔트로피 사이에 표현법 차이가 있음을 알 수 있다.


3) 근데 웃기게도 실제 엔트로피는 저걸 그냥 쓰지 않고, 엔트로피를 정보량(information 정보가치, 즉 확실성)으로 보아 log_5 (1/5)^5(밑이 5인 로그)라고 표현한다.(5번 곱한 걸 뒤집으려고 역연산(로그)을 취한 것, 로그는 지수의 역연산)

* 정보량(정보가치)은 불확실성의 엔트로피를 뒤집어서 확실성으로 표현한 것

볼츠만이 정의한 엔트로피, S는 엔트로피, k_B는 볼츠만 상수(별 의미 없음), log대신 ln(자연로그)을 사용한 것은 볼츠만이 단위(지수라면 승수, ln은 e자연상수)를 ln으로 정했기 때문(큰 의미 없다고 볼 수 있으나 사실은 설명이 필요), 옴은 미시상태(부분)의 확률을 의미한다.


* 여기서부터 뭔가 잘못되었다. 왜냐하면 엔트로피의 수식은 불확실성이 아니라 확실성을 표현하고 있기 때문이다. 이렇게 된 이유가 엔트로피를 불확실성이라고 번역한 게 잘못된 건지, 아니면 애당초 볼츠만이 엔트로피라는 표현을 잘못 만든 건지 알 수가 없다. 애당초 확률을 사용하는게 맞는 표현인지, 이 글을 쓰고 있는 나도 헷갈린다.


예를 들어 증거를 보고 범인을 추론하는 상황이라면, 우리가 증거(정보)를 수집할 때마다, 용의자의 수는 줄어들게 된다. 아무 것도 모를 때는 매우 불확실하지만, 증거를 주울 때마다 점점 확실해진다. 즉 엔트로피는 추론해야 하는 상황을 가정하고 만든 개념이라 확실성이 아니라 불확실성으로 표현되는 것.


그럼 뒤집어서 확실성으로 표현하면 안 되냐? 뒤집으면 확률(비율)로 표현이 잘 안 되지롱. 수학이 연역이 아니라 귀납으로 구축된 거라 뒤집으면 헷갈리지롱. 

 

결론: 구조론은 경우의 수로 표현했고, 엔트로피는 확률로 표현했다. 하지만 뭔 짓을 해도 엔트로피는 헷갈린다.

Drop here!
List of Articles
No. 제목 글쓴이 날짜sort 조회
공지 구조론 매월 1만원 정기 후원 회원 모집 image 29 오리 2020-06-05 79840
2086 진보와 보수 1 레인3 2023-05-22 5966
2085 장안생활 격주 목요모임 image 오리 2023-05-10 6288
2084 仁流 image 덴마크달마 2023-05-10 6335
2083 사토시 나카모토 추정 인물 image 2 오리 2023-05-09 6357
2082 학폭예방법의 가장 큰 문제는 관계를 배울 기회를 실종시켜 버렸다는 점 이상우 2023-05-08 5879
2081 감자 보급과 이중의 역설 SimplyRed 2023-05-06 5643
2080 1980년대, 2000년대의 2 사이클 dksnow 2023-05-06 5065
2079 장안생활 격주 목요모임 image 오리 2023-04-26 5086
2078 구글 바드 테스트 image 1 chow 2023-04-21 5072
2077 장안생활 격주 목요모임 image 김동렬 2023-04-13 4776
2076 구조론, 내시균형과 컴퓨터게임 SimplyRed 2023-04-11 4978
2075 ChatGPT의 훈련 방법 image chow 2023-03-24 6287
2074 장안생활 격주 목요모임 image 오리 2023-03-22 5234
2073 노블 vs 도킨스 1 오리 2023-03-18 5514
2072 대중음악과 발성의 구조 SimplyRed 2023-03-17 4605
2071 빙ai에게 구조론에 대해 물어봤습니다 image 1 오민규 2023-03-15 4611
2070 드라마 '더 글로리'와 ‘정순신 사태’가 교사에게 주는 의미는 image 2 이상우 2023-03-13 4625
2069 구조론 데이터를 통한 ChatGPT 테스트 1 오리 2023-03-11 3993
2068 장안생활 격주 목요 모임 image 오리 2023-03-09 3082
2067 챗gpt와의 대화 33가지 image 1 아란도 2023-02-28 3425