자유 게시판

인간은 사회성을 가진 동물이다그러므로 합의하려고 한다모든 합의는 단위가 있다그런데 단위는 어떻게 정의될까수학에서 단위는 계와 원소다가령 자연수라면 자연수라는 계와 각각의 수라는 원소가 정의된다.

 

문명에 대한 현재의 단위는 대개 국가다물론 기업이나 스타의 성장사를 보면 알 수 있듯이 단위의 정의는 문명의 전파에 따라 재조정된다한물간 NBA라도 중국시장이 열리자 재조명되는 것이다오죽하면 NBA 스타가 홍콩에 대한 중국의 결정을 긍정할까.

 

위키를 보자. “원자는 화학반응을 통해 더 쪼갤 수 없는 단위를 말한다고 한다문제는 쪼갤 수 없다가 아니라 화학이다그런데 그 화학은 언제적 화학인가시험관과 비커에 불붙이던 연금술 시절의 화학이다.

 

그런데 21세기가 되자 화학의 정의가 바뀌기 시작한다초고압초고온을 다루게 되자 더이상 이 화학은 그 화학이 아니다과학자들은 화학이란 말 대신 뉴턴의 물리를 다시 꺼내든다근데 물리는 원래 운동 다루던 거시적 개념아냐아냐 임마.

 

과학자들도 다 알고 있다열역학 다룰 때부터 이미 계의 개념이 중요하다는 것을 잘 알고 있었다통계학을 만들더라도 모집단과 원소 두 가지를 말해야 한다즉 인간은 단위가 필요하다원자가 이렇다. “화학 원자“ 그런데 열역학이 발전하고 원자핵과 전자 등이 나오면서부터 곤란해지는 것이다범위가 달라지자 기존의 말은 궁색해진다.

 

인간은 본능적으로 전제를 건드리는 것에 민감해한다필자가 인공지능 바닥에서 속성에 대해 부정하는 토론을 몇몇 사람들과 해본 적이 있다어떻게 됐을까? 99대 1로 공격당한다미친놈 취급은 순식간이다하도 미친놈 취급을 많이 당해서 이젠 익숙할 정도다. 가장 진보적인 학문을 다루는 바닥에서조차 속성에 대한 전제는 건드리기 없기다.

 

그런데 어느날 word2vec이라는 머신러닝 기법이 구글에서 나왔다간단히 말해 워드(단어)의 설명을 주변에 분포하는 다른 워드의 빈도(횟수)로 해보자는 것이다가령 왕과 왕비라는 단어가 등장하는 문서에서 그 단어의 주변에 분포하는 단어의 종류와 빈도는 유사할 것이라는 가정을 해보는 거다.

 

왕과 왕비가 각각 등장하는 문서에서 공통적 등장하는 단어는 보나마나 권력”, “영국”, “왕자”, “결혼”.. 뭐 대충 이럴 거 같지 않은가대신 했다”, “먹었다” 등처럼 꼭 왕과 왕비 아닌 문서에서도 나올 수 있는 단어는 제외한다.

 

그리고 왕과 왕비 각각의 문서도 차이를 가지는데이는 왕과 왕비가 나온 문서와 그것이 아닌 제3의 문서와 입체적인 비교로 가능해진다아무래도 왕은 남자와 관련된 단어가왕비는 여자와 관련된 단어가 많이 나올 것이다.

 

이런 식으로 특정 명사나 동사등의 단어의 유사성을 비교해 볼 수 있는 개념이 word2vec이다. word는 단어를, 2는 to, vec는 벡터를 의미하며각 단어가 각 벡터축(좌표명)이 되어 사전에 등재된 모든 단어가 다른 모든 단어에 대해 상대적인 공통등장빈도를 조사하는게 word2vec의 방법론이다.

 

이때 계의 범위가 중요한데타겟단어의 설명단어와의 문장내부에서 거리가 계의 범위다흔히 윈도우 사이즈라고 한다앞뒤로 1~2단어까지만(아래 그림에서는 4이다)이런 알고리즘은 대충 생각해도 그럴듯하지만실제로 머신러닝 연구자들이 이 개념을 이해하는 비율은 1%도 되지 않는다는 게 문제다그들은

1) 계의 개념이 희미하고

2) 원소와 계와의 연관성 개념이 희미하며

3) 유사하다의 개념이 희미하다


image001.jpg

 

이후 해당 알고리즘은 발전하여 Attention알고리즘으로 또한 BERT알고리즘으로 지속 발전했다. Attention(주목알고리즘은 구글번역기로, BERT는 현재 가장 핫한 자연어처리 알고리즘으로 사용된다.


제목 없음.jpg

 요즘엔 BERT로 이러고 논다. 원래 본문은 영어이지만 필자가 한글로 번역한 것이다. 지문과 질문을 주고 답변하도록 훈련시킨 알고리즘이다. 이미 인간의 정확도는 아득히 뛰어넘었다. 참고로 BERT는 word2vec과 달리 문장을 계로 설정하고 통계 조사를 실시한다. Attention은 a언어 문장과 b언어 문장을 연결하여 번역하고. 그래서 구글번역기를 쓰면 문장 안에서는 맥락이 반영되지만 문장간에는 그 맥락이 전혀 반영되지 않는 현상을 관찰할 수 있다.  



근데 이게 구조론과 무슨 상관?

 

구조론이 다루는 것은 주로 전제다즉 계다사람들은 원소에 관심이 있고그것이 고유할 것이라고 생각하지만실제로 원소를 정의하는 것은 그것의 바탕인 계다우리는 미터라는 단위만을 보지만 과학자는 미터와 빛의 속도를 연동시켜 정의한다모든 계는 계와 계 아닌 것의 연동으로 정의되는 것이다.

 

과학의 모든 정의도 마찬가지이다시대가 바뀌면 어떤 원소의 정의도 바뀐다데모크리토스의 원자는 우리가 아는 그 원자가 아니다물리학자가 다루는 원자와 화학자가 다루는 원자도 다르며그것은 시대에 따라서 또 달라진다왜냐하면 그것의 바탕인 계가 시대와 연동되어 바뀌기 때문이다.

 

나는 원자 개념이 틀리다고 생각하지 않는다다만 그것을 바라보는 인간의 시선이 원자에만 꽂힌게 문제다아는 사람은 원자가 아니라 계를 보고깨달은 사람은 계가 아니라 계의 성립을 본다구조론자라면 마땅히 계의 성립을 봐야할 것이다.

 

List of Articles
No. 제목 글쓴이 날짜 조회
5072 지능이 안되는 사람이 억지로 무언가 배우는 것은 불가능합니까? image 1 서단아 2022-01-06 1463
5071 이전 게시판입니다. 김동렬 2020-05-31 2657
5070 책 주문했는데 확인 부탁드려요 나폴레옹A 2020-05-26 2263
5069 이전 아카데미란의 글들을 볼 수 있을까요 3 서단아 2020-05-15 2300
5068 사이트 개편 축하드립니다... 1 kilian 2020-05-15 2331
5067 구조론 목요모임(3층) image 오리 2020-05-14 2236
5066 개인이 기업을 이기는 시대 이금재. 2020-05-13 2588
5065 음계와 계급의 연결 오민규 2020-05-09 2439
5064 구조론 목요모임(3층) image 오리 2020-05-07 2228
5063 구조론 목요모임(3층) image 오리 2020-04-30 2247
5062 모든사람이 각각 생각을 합칠 궁리만 하면 어떻게 됩니까? 6 서단아 2020-04-28 2804
5061 남북경협되면 tk소외? 승민이 2020-04-28 2365
5060 김정은 혹시 2 다원이 2020-04-26 3349
5059 메커니즘 디자인 이론 이금재. 2020-04-23 2656
5058 애들과 첫 온라인 도덕수업을 하면서 든 생각들 1 이상우 2020-04-23 2549
5057 구조론 목요모임(3층) image 오리 2020-04-23 2260
5056 열역학이란 무엇인가 파워구조 2020-04-22 2647
5055 준표, 받을- 표?! 1 해안 2020-04-21 2311
5054 다시 부르는 '상록수 2020' - by 국가보훈처 1 락에이지 2020-04-21 2306
5053 종목추천이 문제가 아니라니깐 1 이금재. 2020-04-18 2742