토론실
프로필 이미지
[레벨:21]chow
read 4186 vote 0 2022.08.15 (20:22:10)

https://news.v.daum.net/v/20220815191001934 

한국인이 한국인에게 "야, 이 깜둥아"라고 말해도 혐오표현이 아니나, 한국인이 흑인에게 똑같이 말하면 혐오표현이 됩니다. 
단어만으로 그것이 혐오표현인지 아닌지를 판단하는 건 바보짓이라는 거죠. 이런 거 모르는 사람은 없는데, 희안하게 인공지능을 연구하는 사람은 이런 걸 모릅니다.

인간이 쓰는 정도로 언어를 학습하려면 상황, 즉 맥락을 인식해야 하는데, 현재 자연어처리 알고리즘은 그런 게 없습니다. 자연어처리 알고리즘은 단어의 의미를 만들고자 통계적으로 빅데이터를 학습하는데, 그게 문서 안에서만 상대적으로 학습하기 때문. 맥락은 문서 밖에 있는데 말이죠.

translate.jpg
예전에 동렬님이 출석부에 올린 이미지

david를 데이비드, 데이빗, 다윗으로 따로 번역하는 이유는 문서의 맥락없이, 문장의 맥락만으로 단어를 학습하기 때문입니다. 다윗으로 번역한 문장은 성경을 학습한 결과인데, 데이비드와 데이빗이 같은 문서에 나오는 게 자세히 보면 다윗과 데이빗 주변의 단어 분포와 조합이 미묘하게 다른 걸 알 수 있습니다. 여러 문서의 맥락을 섞어서 학습한 결과인데, 이는 제논의 역설과 비슷한 상황이라고도 볼 수 있습니다.

이 단어의 근거는? 저 단어, 그럼 저 단어의 근거는? 이 단어. 즉 현재의 자연어처리 알고리즘이 특정 단어의 주변만 맥락으로 삼을뿐, 더 큰 단위인 문서 주변은 보지 않기 때문에 벌어지는 참사입니다. 그럼 문서 주변은 뭐냐? 출간된 시대, 설정된 독자, 작가의 성향 같은 거죠. 흔히 말하는 메타 정보입니다. 우리는 외부를 내부와 인과관계가 있고 상관관계는 없는 것이라고 합니다. 바로 그 제3의 근거를 가져와야 번역에 일관성이 생깁니다.

상관관계를 근거로 삼는 현재의 머신러닝 번역은 태생부터 불완전합니다. 안 되요, 그건.
Drop here!
List of Articles
No. 제목 글쓴이 날짜 조회sort
공지 구조론 매월 1만원 정기 후원 회원 모집 image 29 오리 2020-06-05 84148
2113 고수와 하수 김동렬 2006-03-02 9957
2112 스타벅스는 커피를 팔지 않는다 image 3 냥모 2013-02-11 9953
2111 삼국지의 비애 image 3 김동렬 2014-10-02 9905
2110 직업이란 무엇인가 - 허무한 스펙 쌓기에 빠지지 마시라 2 ░담 2010-08-27 9865
2109 디자인이란 무엇인가? image 12 김동렬 2013-11-24 9835
2108 남북전쟁이 일어난 이유 image 4 김동렬 2013-03-28 9829
2107 후성유전학: 유전자가 변화한다고라? 2 오세 2009-12-07 9777
2106 질문 - 마찰열에 의해 불이 붙는 이유는? 10 김동렬 2013-01-27 9721
2105 타짜 아니면 호구 image 1 양을 쫓는 모험 2010-08-16 9712
2104 이중구속, 엄마의 의도는? 22 김동렬 2013-09-08 9630
2103 아랍어는 왜 거꾸로 쓸까? image 김동렬 2016-04-21 9627
2102 돈과 시간의 방정식 image 4 양을 쫓는 모험 2010-03-12 9537
2101 카스트 제도 비극의 원인은? 22 김동렬 2013-08-04 9521
2100 중력에 대한 새로운 이론 image 7 김동렬 2010-07-14 9515
2099 혈액형별 유명 운동선수 비율 image 4 김동렬 2012-04-03 9503
2098 화내는 습관 고쳐질까? 24 김동렬 2013-10-30 9405
2097 의견을 구하오. image 52 김동렬 2013-02-03 9376
2096 문명과 대중 그리고 지식 송파노을 2006-03-01 9315
2095 전기로 물을 염색해보려고 해요... 강도 2006-05-17 9297
2094 굿을 어떻게 이해할수 있을까요? 1 프로메테우스 2006-03-19 9293