수학에서 진리가 의미하는 것이 무엇일까요?

고대 그리스의 소피스트 철학자 프로타고라스는 "인간은 만물의 척도"라는 유명한 말을 남겼습니다. 이 말의 의미는 동일한 사물에 대한 지각 및 판단은 각각의 인간에게 다를 수 있고, 따라서 진리판단의 모든 기준은 개개의 사람에게 귀속된다는 뜻입니다. 프로타고라스에 철저히 반대하는 형이상학을 펼쳤던 철학자 플라톤을 기리는 의미에서 수학적 실체의 객관적 존재를 추구하는 관점을 수학적 플라톤주의라 부릅니다.

플라톤주의자들에게는 수학이란 자연과학과 같아서, 인간의 의식과는 독립적으로 존재하는 진리를 발견하는 확실한 수단입니다. 그들에게 수학적 명제란 현실 저 넘어 존재하는 수학적 진리로서의 실제적 사물을 언급하는데, 이를 증명한다는 것은 진화론이나 상대성이론과 같은 과학적 가설을 검증하는 것과 같습니다.

대표적인 수학적 플라톤주의자는 쿠르트 괴델입니다. 청년시절부터 플라톤주의에 심취된 괴델에게 수학은 객관적인 수학적 실체의 모습을 드러내게 하는 수단이었고, 그의 증명은 수학을 이해하는 우리의 마음이 인간이 구축한 체계의 한계를 벗어나 독립적으로 존재하는 추상적 실체에 이르게 해주는 수단이었습니다.

하지만 괴델의 플라톤주의는 당시의 수학, 철학의 주류에서 벗어나 있었습니다. 젊은 시절 괴델은 철학자 슐리크가 중심이 된 비엔나 서클의 일원이었는데, 이는 비트겐슈타인에게 큰 영향을 받은 논리실증주의자들의 모임이었습니다. 이들에게 명제란 그 명제를 참이 되게 하는 경험들의 총체를 뜻하는 것으로서 어떤 명제의 의미는 오직 경험적 검증수단에 의해 주어질 뿐이었고, 이는 괴델의 선험적이고 관념적 실체에 대한 신념과는 상반된 것이었습니다.

평생을 통해서 오직 수학적 증명만으로 자신의 주장을 펼치고자 했던 괴델은 자신을 온통 둘러싸고 있던 논리실증주의자들의 관점에 대한 반박과 부정이자 자신의 신념과 주장을 불완전성정리로 표출했을 지도 모릅니다. 이는 특히 자신의 신념과는 정 반대되는 주장으로 비엔나 서클 멤버들에게 카리스마적 영향력을 발휘했던 비트겐슈타인에 대한 정면대응이었다고 여겨집니다. 괴델의 불완전성정리는 아래와 같이 서술됩니다.

“수론에 적합한 어떤 형식체계든 참이면서도 증명불가능한 명제가 반드시 존재한다. 따라서 수론에 적합한 형식체계의 무모순성은 그 체계 안에서는 증명할 수 없다.”

괴델은 불완전성정리를 통하여 인간이 가장 정교한 법칙에 따라 진행하는 사고과정인 수학에서도 우리는 기존의 경험만으로 결코 환원될 수 없는 진리발견의 과정을 동원해야 함을 말하면서 인간의 모든 사고를 경험으로부터 나오는 규칙전개로 보는 견해의 한계를 보여줬습니다.

서로의 관점과 주장에 대해서 누구보다 잘 알고 있지만 수학의 본질에 대한 괴델과 비트겐슈타인의 철학의 차이는 필연적으로 충돌하며, 서로의 주장에 가장 핵심적인 사항을 부정하지 않을 수 없어서 두 사람의 견해는 서로에게 심한 분노와 고통을 주며 끝끝내 서로를 인정하지 않았습니다. 비트겐슈타인은 “나의 언어의 한계는 나의 세계의 한계이다”라는 자신의 원리를 수학에 적용해서 수학적 대상들은 수학적 언어로 정식화될 수 있는 것으로 한정된다고 주장했습니다. 다시 말해서 비트겐슈타인은 모든 수학적 진리는 형식화된 수학적 언어를 통하여 도달한다고 믿었으나 괴델의 불완전성정리는 이를 정면으로 부정하는 내용입니다.

이에 대해 비트겐슈타인은 자신의 철학적 관점을 토대로 “어떠한 산술도 철학적 문제를 결정할 수 없다”고 반박하면서 괴델의 불완전성정리와 같은 증명들의 성립 가능성 자체를 철저히 부정했습니다. 하지만 비트겐슈타인의 역작 『논리철학논고』의 마지막 명제 “말할 수 없는 것에 대해서는 침묵해야 한다.”를 통해서 이 세계엔 윤리적인 것, 신비적인 것 등 실재하지만 표현이 불가능한 것이 있다고 보았습니다. 이는 참이지만 증명할 수 없는 명제가 존재한다는 괴델의 정리와 어떤 면에서 유사하다는 것을 우리는 알게 됩니다.

수학적 실체의 객관적인 존재성을 확신하는 괴델의 관점은 당대 최고의 수학자로 칭송받는 힐베르트에 의해서 주도된 수학의 큰 흐름이며, 논리실증주의에 해당하는 수학적 움직임인 형식주의에 정면으로 배치되었습니다. 형식주의에 따르면 수학이란 정교하게 꾸며진 체스게임과 같아서 수학의 규칙은 전적으로 인위적인 것이며 이 세상에 내재된 진리의 실체와는 아무 상관없이 규정된 규칙이 수학의 모든 진리를 엮어 내게 됩니다. 형식주의자들은 수학이야말로 순수하게 인간의 의식이 창조한 것으로 믿고 있고, 따라서 이들에게는 어떤 명제를 증명하는 것은 현실에 실재하는 것을 발견한 게 아니라 새로운 사물을 창조한 것과 같습니다.

힐베르트는 수학의 여러 분야들을 가장 근본적인 산술에서 시작하여 체계적으로 형식화해 나갈 것을 제의했고, 이는 나중에 힐베르트계획으로 불리게 됩니다. 논리만으로 증명될 수 없는 수학적 진리의 존재를 보여주는 괴델의 불완전성정리는 힐베르트의 이러한 노력과 기대를 철저히 무너뜨린 20세기 수학사의 최대 사건이었고, 결국 힐베르트는 그가 반드시 증명할 수 있으리라고 믿었던 형식체계의 무모순성은 수학적 증명이 불가능함을 인정하고 자신의 계획에 큰 수정을 가할 수밖에 없었습니다.

사실 수학자는 자신들이 만든 규칙으로 게임을 합니다. 하지만 깊게 관찰할수록 수학자들이 중요하다고 생각하는 규칙과 자연이 선택한 규칙은 똑같다는 사실이 점점 더 분명해집니다. 물리학에서 서로 대립되던 이론 중에서 거의 대부분은 수학적으로 아름답고 설득력 있는 이론이 참인 것으로 밝혀졌습니다. 아인슈타인의 일반상대성이론을 실험으로 입증한 에딩턴은 상대성이론은 수학적으로 아름답기 때문에 진실이 아닐 수 없다는 믿음에서 출발했습니다. 아인슈타인이 말하길 “창조의 원리는 수학이다.”라고 했고, 디랙(Dirac)은 “신은 수학자이고 이 우주를 만드는데 고급 수학을 썼을 것이다.”라고 말했습니다.

또 한편, 수학적 아름다움과는 별개로 “하나의 이론이 성립함을 극히 단순하게 설명할 수 있다면 그 이론은 잠정적으로 참이다.”라는 ‘오컴의 면도날’로 불리는 단순화 법칙도 진리에 이르는 지름길이라고 받아들여지고 있습니다. 여기서 ‘간결성’이라는 것은 어찌 보면 이성의 판단 하에 이해될 수 있는 것이어서 실증주의적 관점을 어느 정도 내포하고 있습니다.

만일 수학적 아름다움과 간결성이 서로 충돌하는 경우엔 어떤 것이 우선이 되어야 할까요? 제 개인적인 생각으로는 수학적 아름다움이 우선되어야 한다는 의견입니다. 저도 플라톤주의자에 가까운 가 봅니다. 어떤 검증도 없이 수학적 아름다움 하나로 현대 이론물리의 중심에 선 것이 바로 끈 이론(String theory)입니다. 끈 이론이 참인 것으로 후에 밝혀진다면 이는 역사상 가장 위대한 수학의 승리일 것입니다.

나치가 정권을 잡은 독일을 뛰쳐나온 괴델은 아인슈타인이 재직하던 프린스턴의 고등과학원에 정착하고 그곳에서 자신보다 한 세대 위의 아인슈타인과 전설로 남을 만한 우정을 나누게 됩니다. 아인슈타인과 괴델이 그토록 가까워질 수 있었던 가장 중요한 공통점은 각자의 연구 분야가 인간적 투영에 종속되지 않는 객관적 실체이고 우리의 생각에 무관한 절대적이고 독립적 존재일 것이라는 초신념을 가졌다는 점입니다.

상대성이라는 단어가 암시하는 것과 달리 아인슈타인의 상대성이론은 시공간의 객관적 본질을 묘사하는 이론입니다. 아인슈타인은 양자론의 확률론적 본질, 즉 위치와 속도 등의 기본 요소를 순수하게 분리해 낼 수 없다는 점을 못마땅해 했고, 우리가 보든 말든 ‘저 밖에’ 객관적인 실재가 존재한다고 믿었기 때문에 상보성이라 불리는 보어의 입자-파동 이중성 이론 및 코펜하겐 해석을 극단적으로 불신, 혐오했습니다. 하이젠베르크의 불확정성원리는 근본적으로 수학적 결과이고, 이것은 철학적 의미가 내포된 보어의 상보성 원리와는 직접 관련이 없습니다. 그저 보어가 자신의 권위를 내세워서 상보성 원리와 불확정성원리를 연결시킨 것일 뿐입니다. 21세기 초에 보어의 상보성 원리는 하이젠베르크의 불확정성원리보다 먼저 무너지고 있습니다. 21세기 중반의 물리학은 아인슈타인이 결국 옳았음을 입증하고 말 것이라고 저는 생각합니다.

안타깝게도 대중들에게 아인슈타인의 상대성이론과 괴델의 불완전성정리는 진리와 확실성 그리고 객관성과 합리성에 대한 낡아 빠진 절대주의적 사고방식에 항거하는 포스트모던적 지적 반란으로 지금도 잘못 이해되는 경우가 많습니다. 괴델은 인간 정신에 대한 환원적 이론을 배격하는 자신의 정리가 오히려 인간 정신의 한계를 보여줌으로써 포스트모던적 불확실성을 강조하는 것이라고 정 반대로 이해되는 것에 충격과 고통을 받았으며, 자신의 유일한 지적 동반자 아인슈타인의 사망 후 큰 추방감과 깊은 고립의 와중에서 그의 고도로 발전된 이성은 정신적 피폐에 따라 허물어져 망상으로 치달아서 대인기피증과 편집증적 논리에 빠져 살았고 결국 이 때문에 비극적인 죽음을 맞았습니다.

--------------------------

이 글은 로미오님께서 2007년 8월 15일에 본인의 블로그에 발표하신 글입니다.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.