펌과 엔트로피 :: 2006/09/06 13:23

/SomeThinks

재미있는 논쟁이 있었나보다. 펌이 엔트로피를 증가시키느냐 아니냐.

정보이론에서 이야기하는 엔트로피(Information entropy)는 열역학 엔트로피(Thermodynamic entropy)의 개념을 수학적으로 확장한 것에 불과할 뿐이며, 그것이 실제적으로 열역학 엔트로피와 관련있다고 생각되지 않는다. 가령 <펌을 했더니, 전기를 더 사용했기 때문에 궁극적으로 엔트로피 증가> 라는 설명은 마치 정보이론적 엔트로피랑 열역학적 엔트로피랑 관계가 있는 듯 해 보여지긴 하지만, "순전히" 열역학적인 차원에서의 이야기일 뿐이다.

정보이론에서 이야기하는 엔트로피는 "정보량" 의 개념이다. 무지의 단계는 엔트로피 최대이고, 다 알고 있는 단계는 엔트로피 0을 의미한다. 트럼프 카드를 랜덤하게 섞어 놓으면, 다음 카드가 어떤 건지 전혀 알 수 없고, 이 경우가 엔트로피 최대. 만일 카드가 섞이긴 했으나 모양별로 구분되어 있다면, 하트 다음에 또 하트가 나올 수 있다는 작은 "정보"를 알고 있는 것이고, 그 만큼 엔트로피가 감소함을 의미한다. 말 그대로 정보이론에서의 엔트로피는 "얼마나 알고있느냐" 를 설명하는 것이다.

따라서, 글쓰기와 정보이론적 엔트로피와의 관계는 이렇게 해석되어야 한다. 어떤 사실에 대한 "누군가의 글"이 그 분야에서 무지의 정도를 얼마나 줄여주었는가로. 만일 그 글이 미지의 그 분야을 이해하는 단초를 제공했다면, 엔트로피를 줄인 것이고. 그 글로 인해 그 분야가 더 미궁으로 빠진다면, 혹은 허위 사실이라면, 엔트로피를 증가시킨 것이다. 뉴턴이 프린키피아를 발표했을 때, 세상(전체)에 대한 정보이론적 엔트로피는 급격하게 감소했다고 여겨졌지만, 괴델이 불완전성의 원리를 발표했을 때는 반대로 엔트로피가 급격히 증가했다고 볼 수 있을 것이다. (열역학에서도 "계(시스템)"과 전체 를 구분하듯이, 정보이론에도 계(특정분야)와 전체(세상)을 구분한다면 말이다.) -- (PS, 괴델의 불완전성의 원리보다는 양자역학에서의 불확정성의 원리가 더 어울리는 예인 듯 하다.)

그렇다면, 펌과 정보이론적 엔트로피는? 펌은 같은 정보가 늘어나는 것이므로, 무지한 정도를 얼마나 줄였느냐와는 상관이 없다고 본다. 저 트럼프는 모양별로 모여있어. 모양별로 모여있어. 모양별로 모여있어. 아무리 반복한다 해도, 다음 카드가 뭐가 나올지에 대한 정보를 증가시키지는 않으므로 펌과 정보이론적 엔트로피는 무관하다. 대신 효율성은 떨어지겠지. (여기서의 효율성이 데이터전송속도, 압축효율 등과 관련있다고 할 수 있겠다.)

더불어서, mentalese님 글에서의 엔트로피가 정보이론적 엔트로피라면, 잘못 전달되고 있다고 여겨지는 부분들이 있다. 이것들에 대한 내 생각은,

엔트로피는 단지 골고루 섞인 정도이다. : "골고루" 라는 정도로 부족하다. 카드들이 섞여 있더라도, 만일 소수들의 공약수들을 3을로 나눈다음에 2를 곱해서 역수를 취해서 등등등 의 특정 기준에 맞게끔 나열되어 있다면, 저 기준에 적용한다면 다음 카드를 알 수 있다. 따라서 적절한 표현은 "랜덤하게" 라고 본다.

로또 1,2,3,4,5,6 은 낮은 엔트로피이다. : 정보이론에서의 엔트로피는 확률로 이야기한다. 저 숫자가 나오는 확률이나, 3,16,18,24,26,44 가 나오는 확률이나 둘 다, 팔백만분의 1이다. 공 입장에서는 3 다음에 4가 나오든, 16 이 나오든 전혀 관계가 없다. 둘다 1/45의 확률일 뿐이다. 우리가 1,2,3,4,5,6 을 봤을 때, "저런 숫자는 결코 나오지 않아", 라고 생각하는 것은 그만큼 로또 당첨이 낮다는 것을 우리에게 이해시켜주는 것일 뿐이다.

그리고, 열역학적 엔트로피에서도 단지 "섞임"은 엔트로피 증가를 의미하지 않는다. 물이 담긴 컵에 잉크를 한방을 떨어뜨리면, 잉크는 곧 섞이지만, 기름을 한방울 떨어뜨리면 절대 섞이지 않는다. 오히려 막 흔들어서 섞어놓아도, 다시 분리되고 만다. 열역학 학자들은 이 현상 역시 엔트로피 증가라고 이야기한다. (으흐~ 이 이야기는 정보이론적 엔트로피를 높히는 발언인 듯)
Trackback(4) : Comment(8)
Trackback Address :: http://yong27.biohackers.net/trackback/249

  • 펌과 엔트로피에 대한 논의

    Tracked from Cubic3 | 2006/09/07 15:54 | DEL

    요 근래 "'펌'이 엔트로피를 증가시키므로 옳지 않다"는 주장이 제기되어 여러 블로거들의 토론이 이루어졌다. 그런데 서로 엔트로피에 대한 정의가 달라지면서, 그 정의에 따라 입장이 대립되는 것처럼 보인다. 펌과 엔트로피에 대한 글들을 입장 별로 분류하면 다음과 같다. 펌은 엔트로피를 증가시킨다. - 열역학적 엔트로피의 관점웹과 엔트로피 - 리드미님 웹엔트로피 줄이기 - 김중태님 펌은 엔트로피를 증가시키지 않는다 - 정보이론적 엔트로피의 관점펌과 엔트..

  • BlogIcon 귤 | 2006/09/06 16:03 | PERMALINK | EDIT/DEL | REPLY

    좋은 글 감사합니다. 로또에서 1,2,3,4,5,6이 엔트로피가 낮다는 말은 위상을 기준으로 한 얘기입니다. 사람들이 3, 16, 18, 24, 26, 44 같은 숫자열이 1,2,3,4,5,6보다 '그럴 듯 하다'라고 생각하는 것은 전자와 같은 위상을 가진 숫자열이 더 흔하기 때문이고 그런 의미에서 엔트로피가 높습니다.

    그리고 '랜덤' 같은 단어를 쓰면.. 방문자가 줄어듭니다. ^^

    • BlogIcon yong27 | 2006/09/06 21:17 | PERMALINK | EDIT/DEL

      "무작위적인" 이란 말도 있지만, 어렵긴 마찬가지네요.

      "위상을 기준으로 한 엔트로피"는 아마도, 제가 모르고 있는 분야에서 나온 이야기인가 봅니다. 심리적인 것이 반영된 것일지도 모르겠습니다.

  • BlogIcon 라임에이드 | 2006/09/06 20:16 | PERMALINK | EDIT/DEL | REPLY

    아직 이해를 다 못했습니다만, 무척 알찬 글인 것 같습니다.
    근데 질문이 있습니다. ㅋ
    불완전성의 원리로 인해서 야기된 혼란은, '알고 있다고 착각하던 것'을 '사실 알 수 없음'을 깨닫게 되어서 일어난 것이 아닌가요? 그런데도 엔트로피가 증가한다는 것은 '알고 있다고 착각'만 하여도 엔트로피가 감소한다는 뜻인가요? 그렇다면, 세상 전체를 이해하고 있다고 착각하는 상태는 엔트로피 0인가요?
    (물론 정보이론의 엔트로피입니다)

    • BlogIcon yong27 | 2006/09/06 21:13 | PERMALINK | EDIT/DEL

      윗글에서 불완전성의 원리는 단순히 "더 미궁으로 빠지는" 예로써 든것입니다만, 라임에이드님의 글을 보니, 좀 더 생각할 여지가 있네요.

      불완전성의 원리는 증명 불가능한 명제가 존재한다는 것이고, 그것이 모든 명제들이 그러하다는 의미는 아닐껍니다. 게다가, "알고 있다고 착각"하는 것은 분명히 잘못 알고 있는 것이고, 그로인해 진실을 이해하기가 더 어려워졌으니, 엔트로피 증가가 맞으리라 봅니다. 그리고, 세상전체를 이해한다면(착각이 아니라), 앞날의 모든 현상들을 예측할 수 있다는 이야기이고, 그러면 엔트로피 0이 맞겠죠.

      불완전성의 원리보다는, 양자역학에서의 불확정성의 원리가 더 좋은 예 였을 것이라는 생각이 듭니다.

    • BlogIcon 라임에이드 | 2006/09/07 00:36 | PERMALINK | EDIT/DEL

      만약 양자역학에서의 불확정성의 원리라고 해도, 비슷한 예가 될 수 있을 것 같습니다. 아인슈타인이(었던가요?) '신은 주사위 놀이를 하지 않는다'라고 했을 때, 그는 양자역학의 '불확정성'을 부정함으로서 한 입자의 속도와 위치를 동시에 파악할 수 있다고 생각한 것이 아닌가요? 그렇다면, 아인슈타인은 세상을 이루는 입자를 완벽히 알 수 있다고 하는 생각을 통해, 세상을 완전히 "이해하고 있다고 착각"한 것이 아닐까요.

      그러니까 제 근본적인 질문은 이런 것입니다. 그 모습이 어떠하든(확정성이든 불확정성이든), '더 많은 (자연)현상을 설명할 수 있는 이론'은 '더 낮은 엔트로피'를 갖는 것이 아닐까요? 마치 괴델의 불완전성 정리가 수학의 정보이론적 엔트로피가 0이 될 수 없다고 얘기했다고 해서 수학계의 엔트로피를 늘린 것이 아니듯이, 불확정성 원리도 (양자역학 이전에 설명하지 못했던 것들을 설명할 수 있게 된다면) 엔트로피를 낮출 수 있지 않을까요. 단지 물리학의 엔트로피가 0이 될 수 없음(혹은 더 높은 최저값)을 알려주는 것 뿐이지요.

      그나저나, 펌과는 상관이 없군요 -_- 완전 뱀다리.

    • BlogIcon yong27 | 2006/09/07 09:27 | PERMALINK | EDIT/DEL

      공감합니다. "이건 불가능해" 라는 사실을 알아낸 것 자체도 "지식"의 양이 증가한 것이므로, 엔트로피 감소가 맞는 듯합니다. 윗글의 예문에서는 미궁에 빠뜨리는 지식을 소개하고 싶었던 것인데, 그것 역시 미지의 세계를 보다 더 알게 하는 역할들이 있네요.

      좀더 생각해볼만한 것 같습니다. 열역학엔트로피처럼 전체 엔트로피가 증가중인것과 달리, 정보엔트로피는 계속 감소중인건가 라는 생각도 하게 되네요.

    • BlogIcon 라임에이드 | 2006/09/07 16:09 | PERMALINK | EDIT/DEL

      http://www.manmin.or.kr/news/n/no241~/no248/spc_01.htm
      http://www.kacr.or.kr/

      혹시 위와 같은 사이트들은 웹의 엔트로피를 증가시키고 있지 않나요? ㅋ

    • BlogIcon yong27 | 2006/09/07 19:30 | PERMALINK | EDIT/DEL

      맞습니다. 저 역시 그렇게 생각합니다.

Name
Password
Homepage
Secret
< PREV |  #1 ... #113 #114 #115 #116 #117 #118 #119 #120 #121 ... #307  | NEXT >