수학의 추상 세계로 떠나는 아찔한 [무한] 여행

[무한]이라는 신비한 개념을 추적하며, 수학의 추상 세계에서 벌어지는 놀라운 풍경들을 담아낸 매력적인 대중서다. 학창 시절 누구나 무한(∞)이란 개념을 접해 봤을 것이다. 1, 2, 3, … 이렇게 끝없이 이어지는 수를 보며 묘한 호기심을 느꼈을 누군가도 있겠고, [임의의 수 n을 ∞으로 보냈을 때 다음 식의 값을 구하라]와 같은 끔찍한 수학 시험의 악몽으로 기억할 사람도 있겠다. 하지만 [무한]은 일반인들이 짐작하는 것보다 훨씬 까다로운 개념이다. 이 매혹적이고 아찔한 개념의 안내자로 나선 이는 영국 셰필드 대학교 순수수학과 명예 선임연구원 유지니아 쳉이다. [고차원 범주론]을 전문적으로 연구하고 있으며, 각종 국제 수학 학회에 참여해 꾸준히 논문을 쓰고 발표하는 수학자다. 그녀는 [수학을 아주 잘하는 사람도, 수학을 연구하는 사람도 무한에 관해서는 대답할 수 있는 것보다 물어볼 것이 더 많다]며 [무한]이 수학자들에게도 매우 당혹스러운 개념임을 토로한다. 이를테면, 이런 수수께끼는 어떤가? [추첨 공이 무한히 많은 로토가 존재하는 경우 당신이 로토에 당첨될 확률은?] [객실이 무한히 많은 호텔이 있는데 이미 객실들은 꽉 찼다. 그런데 또 다른 손님이 찾아온다면 손님을 받을 수 있을까? 받을 수 있다면 어떻게?] [순환 소수 09999……는 1과 완전히 같은 값일까?] 무언가 영원히 커지고, 영원히 작아지고, 영원히 계속된다는 것은 그 자체로 우리의 직관을 비껴간다. 도대체 [영원]이란 개념을 어떻게 수학 안으로 집어넣을 수 있을까? [무한]을 과연 수(數)로 간주할 수 있는가? [무한]이 수라면 과연 어떤 수인가? 많은 수학자들이 [무한]의 정체를 밝히기 위해 부단히 고민하고, 속절없이 그 매력에 빠져든 이유다.

그렇다고 이 책이 어려울 거라 지레 겁먹을 필요는 없다. 수학자라는 딱딱한 직함이 무색하게 쳉의 인생 모토는 [세상에서 수학 공포증을 몰아내는 일]이다. 「스콘에 들어갈 크림의 완벽한 양을 재는 방정식」과 「완벽한 크기의 피자를 만들기 위한 수학 공식」 등 겉보기에 엉뚱한 논문들은 수학의 대중화를 위한 그녀 나름의 노력인 셈이다. 그녀에게 수학은 어떤 거창한 목적을 위한 수단이 아니라, 그 자체로 즐거움이자 사고의 지평을 넓혀 주는 매력적인 학문이다. 따라서 이 책 곳곳에는 딱딱한 수식과 개념보다 다채로운 비유가 넘쳐 난다. 무한을 네스호의 괴물로 비유한다거나(경외감을 불러일으키는 압도적인 크기를 갖고 있으면서도 그 정체를 분명히 알 수 없기 때문에), 꼬마 당근을 통해 중간값의 정리를 설명하거나(어떻게 꼬마 당근이 성인 당근으로 연속적으로 성장하는지 증명할 수 있을까?), 레고 캐릭터의 헬멧을 가지고 [덧셈에 대한 역원]을 설명하는 식이다. 독자들은 이 책의 색인에서 「곰돌이 푸우」와 우사인 볼트, 각종 요리 이름을 보고 놀랄 필요가 없다. 마치 이모나 언니의 손을 잡은 아이처럼 [무한]이라는 거대한 산을 한 걸음 한 걸음 밟아 오르기만 하면 된다. 그러면 수학의 낯선 기호와 용어들도 별것 아니라는 생각이 금방 들 것이다.

기묘한 힐베르트 호텔

쳉이 무한의 정체를 탐색하기 위해 길잡이로 삼은 것은 힐베르트 호텔이다(무한에 대해 생각할 때 일어날 수 있는 이상한 일들을 보여 준 수학자 다비트 힐베르트에게서 따온 이름이다). 객실이 무한히 많은 호텔을 상상해 보자. 이 객실의 방 번호는 자연수 1, 2, 3, …… 등등으로 무한히 이어진다. 이제 당신이 이 호텔의 지배인이고, 객실이 다 찼다고 상상해 보자. 하지만 또 다른 손님이 도착해서 방을 달라고 할 때 당신은 어떻게 할 것인가? 답은 의외로 간단하다. 이미 들어와 있는 투숙객들에게 방을 한 칸씩만 옮겨 달라고 하면 그만이다. 현실의 호텔에서는 객실이 다 차면 또 다른 손님이 찾아와도 손쓸 방법이 없지만, 무한 호텔에서는 1번 방 손님을 2번 방으로, 2번 방 손님을 3번 방으로, 이렇게 방을 한 칸씩 옮길 수 있다. 그냥 〈n번 방〉 손님에게 〈n+1번 방〉으로 옮겨 달라고 하면 된다. 객실이 무한하기 때문에 이렇게 하면 1번 방에 새로운 손님을 받을 수 있다.

하지만 추가로 무한한 수의 손님이 찾아온다면? 그냥 무한한 칸만큼 방을 옮겨 달라고 해서는 이 문제를 해결할 수 없다(〈1+∞〉번 방? 이런 식으로는 곤란하다. 이것은 방 번호가 아니기 때문이다. 각각의 방 번호는 유한한 수로 표시되어야 한다). 여기서는 조금 더 똑똑해질 필요가 있다 이 경우에 모든 투숙객들에게 원래의 방 번호에 2를 곱한 방으로 옮기라고 할 수 있다. 그럼 1번 방 투숙객은 2번 방으로, 2번 방 투숙객은 4번 방으로, n번 방 투숙객은 2n번 방으로 옮겨 가게 된다. 기존의 투숙객들은 모두 방 번호가 두 배로 늘어나니까 결국 짝수 번호의 방에 들어가게 된다. 그럼 홀수 번호의 방은 이제 모두 비었다는 말이고, 홀수는 무한히 많다. 자, 드디어 무한한 수의 손님의 방 배정도 끝냈다!

이런 식으로 우리는 [정수] 무한 호텔, [유리수] 무한 호텔의 모든 손님들을 [자연수] 무한 호텔로 마법처럼 옮겨 놓을 수 있다. 이 성공에 우쭐해진 당신은 마치 천하무적이 된 듯한 기분이 들고, 어떤 호텔의 손님들이라도 힐베르트 호텔에 모두 수용할 수 있을 거라 생각할지도 모르겠다. 그러나 [무리수] 무한 호텔이 등장하면 이야기가 달라진다. 과연 무리수 π번, 0.9999……번 방에 있는 손님들을 어떻게 통째로 자연수 방 번호로 이뤄진 힐베르트 무한 호텔로 옮겨 올 수 있을까? 결국 무슨 짓을 해봐도 힐베르트 호텔에 수용할 수 없는 무언가가 존재한다. 이 점이 무한의 비밀의 문을 여는 첫 번째 열쇠가 된다.

무한의 정체를 찾아서

무한을 그저 상상할 수 있는 어떤 수보다도 큰 수라고 정의하려는 순간, 이런 간단한 정의로는 무한을 파악하는 데 어려움이 생긴다는 걸 깨닫는다. 무한이 일반적인 수일 수는 없다. 유한한 수에 적용되는 평범한 연산 규칙이 무한에서는 통하지 않기 때문이다. 무한에 무언가 덧붙인다고 해서 더 커지는 게 아니라는 우리의 상식을 수식에 적용한다고 해보자. 곧 ∞+1=∞일 테고, 양변에서 ∞을 빼면… 맙소사, 1=0이 된다(본문 60~61면). 무한을 제대로 이해하려면, 우리가 보통 아무 의심 없이 사용해 온 수(數) 체계는 물론, 더하기, 빼기, 곱하기, 나누기 등의 연산에 대한 기본적인 개념부터 캐묻기 시작해야 한다. 한마디로 [무한]을 알려면 수의 본질을 알아야 한다. 자연수는 무엇인지, 정수, 유리수, 무리수는 무엇인지, 그리고 일, 이, 삼…… 숫자를 센다는 게 정확히 무엇을 의미하는지 처음부터 다시 시작해야 한다.

수학에서 센다는 것은 단순히 [하나, 둘 셋, 넷…] 큰 소리로 수를 소리 내어 읽는다는 의미가 아니다. 어떤 집합의 대상들을 수를 정의하는 또 다른 [공식] 집합의 대상들과 짝짓는 과정이다. 쳉은 [주머니](집합) 비유를 통해 자연수를 정의해 나간다(본문 92~105면). 예컨대 손가락을 생각해 보자. 만약 우리가 다른 집합 대상들(이를테면 사탕)을 우리 손가락 하나하나(이것을 [공식] 집합이라고 가정한다)와 일대일로 짝지을 수 있다면, 그것으로 우리는 사탕이 열 개 있음을 알 수 있다. 이 개념을 발전시켜 우리는 무한 안에 [자연수]라는 가장 초보적인 수준의 [공식 수 주머니]를 만들 수 있다. 이 수 주머니와 다른 집합을 일대일 대응을 시켰을 때 딱 맞아떨어진다면 그 무한 집합을 수학 용어로 [가산성]이 있다고 말한다. 바로 힐베르트 호텔에서 다른 무한 호텔의 손님을 통째로 옮겨 올 수 있었던 것은 일대일 짝짓기가 가능했기 때문이다. 쳉은 정수 집합, 유리수 집합 모두가 자연수의 공식 수 주머니와 일대일로 대응한다고 증명한다(정수와 유리수는 자연수보다 당연히 많을 것 같은데도 그렇지 않다). 반면 그렇게 짝짓는 과정에서 무언가 남는 게 있다면(이를테면, 무리수), 우리는 해당 집합을 더 크다고 말할 수 있다(칸토어의 대각선 논증 참조, 본문 122~125면). 자연수(비유하면 힐베르트 호텔)는 무한이므로, 자연수보다 많은 대상을 담고 있는 이 무한(비유하면 [무리수] 무한 호텔)은 당연히 더 큰 무한이라고 생각할 수 있다. 다시 말해 무한에도 등급이 있다! 무한 중 가장 작은 무한은 가산 무한이지만, 그 위에는 그보다 큰 무한인 실수의 집합이 있고, 그 위로도 무한의 계층이 무한히 이어진다. 그리고 마침내 쳉은 기수cardinal number(집합 안에 든 수의 양)와 서수ordinal number(수의 순서를 나타내는 수)의 차이를 구분함으로써 무한의 정체에 한 발짝 접근하게 된다.

무한히 커지거나, 무한히 작아지거나

이 책의 1부가 무한의 정체를 찾기 위해 산을 오르는 과정이라면, 2부는 그 산 정상에서 바라보는 풍경을 다루고 있다. 여기서는 무한이 아닌 듯 무한인 것, 4차원을 뛰어넘는 무한 차원(차원을 독립적인 좌표라는 개념으로 이해하면, 색, 음악 등등 우리 삶에는 무수한 차원이 존재한다), 무한히 큰 것이 아니라 반대로 무한히 작아지는 것(여전히 [제논의 역설]이 궁금한 독자들이 있다면, 14장 [무한히 작은 값]을 보라), 적분의 개념 등 무한이라는 창문을 통해 엿볼 수 있는 다양한 개념들을 다루고 있다. 그 과정에서 독자들은 소수 전개가 무엇을 뜻하는지, 실수의 정체가 무엇인지 무한을 둘러싼 수의 비밀을 보다 명료하게 이해할 수 있을 것이다.

또한 책 곳곳에는 [무한]이 일반적인 사람들의 직관과 얼마나 동떨어져 있는지 보여 주는 흥미로운 사례들이 등장하여 독자들의 호기심을 붙든다. 여기서 정말 중요한 대목은 저자가 직접 그 황당한 문제들을 수학적으로 증명해 보인다는 데 있다.

이를테면 이런 오래된 수수께끼가 있다. 한 남자가 노동의 대가로 체스판 위의 칸 수만큼 쌀 알갱이의 수를 곱절씩 늘려 받기로 요구한다. 첫째 날은 쌀 한 톨, 둘째 날에는 그 두 배, 세 번째 날에는 다시 두 번째 칸의 두 배로 달라고 한다. 체스판을 모두 채우는 64일째 되는 날, 그가 받을 쌀의 양은 얼마나 될까? 답은 18,446,744,073,709,551,615톨이다. 50톨을 1g으로 계산하고, 한 사발을 100g, 한 사람이 하루 4사발을 먹는다고 가정하면, 전 세계 인구가 1,000년 정도 먹을 수 있는 양이 된다!(본문 205~207면)

아이팟 셔플의 예도 있다. 이 회사는 자사의 곡 재생 프로그램을 [240곡을 백만 가지 다른 방식으로]라고 광고한다. 거기 담긴 240곡을 서로 다른 배열로 재생하면 100만 가지 다른 방식으로 음악을 즐길 수 있다는 의미다. 정말 그럴까? 혹시 과장 광고는 아닐까? 쳉이 직접 계산해 보니, 100만까지 가는 데는 240곡은커녕 10곡이면 충분했다. 10곡만으로도 300만 가지가 넘는 순서로 곡 재생이 가능하다(계승을 통한 계산, 10!=3,628,800). 240곡으로 가능한 조합의 수는 웬만한 컴퓨터로는 계산조차 불가능하다. 200!조차 375개의 자릿수를 갖는다(본문 209~214면).

반면 거꾸로 훨씬 느리게 커져, 전혀 커지지 않는 것처럼 보이는 경우도 있다. 쳉은 우리가 오늘부터 다이어트를 하기로 결심하고 케이크 반 조각만 먹기로 결심했다고 가정한다. 그런데 케이크가 너무 좋아 못 참겠어서 다시 전체 케이크(남은 케이크가 아니다)의 1/3만큼 먹는다. 그래도 참을 수 없어 이번에는 1/4만큼 먹는다. 이렇게 조금씩 줄여 먹는다면 우리는 무한한 시간이 흐른 뒤엔 얼마나 많은 케이크를 먹게 될까?(사실, 1/10000조각쯤 되면 당신이 먹는 케이크는 손끝으로 집기조차 불가능할 것이다.) 하지만 횟수를 무한히 반복할 경우, 우리는 무한히 많은 양의 케이크를 먹게 된다. 먹는 양은 갈수록 줄지만, 그것은 무한을 향해 거침없이 달려가는 중이다!(본문 219면).

논리의 경계에서 만나는 수학의 아름다움

무한이라는 개념을 일반인에게 전달한다는 것이 결코 쉬운 일이 아님에도 불구하고 유지니아 쳉은 재미있는 비유와 다양한 그림 등을 통해 그 일을 대단히 효과적으로 해내고 있다. 그래도 무한이 결코 만만한 대상이 아니다. 약간의 긴장감은 필요하다. 저자의 열정적이고 친근한 설명을 차근차근 따라가다 보면 자칫 딱딱하기 쉬운 수학 분야를 여행하듯 즐거운 마음으로 탐험할 수 있을 것이다.

무한의 안내자로 나선 쳉은 말한다. [나는 모든 것을 설명하려 드는 것이 핵심이 아니라고 믿는다. 우리가 설명할 수 있는 것과 설명할 수 없는 것 사이의 경계가 어디에 있는지 분명히 아는 것이야말로 핵심이다.] 쳉은 우리가 설명할 수 있는 것들로 이뤄진 구체(球體)가 개념의 우주에 놓여 있고, 그 구체는 새로운 발견을 통해 끊임없이 팽창하고 있다고 말한다. 하지만 그녀에게 정작 중요한 것은 그 표면이다. 쳉은 설명할 수 있는 것과 없는 것 사이의 경계에 모든 아름다움이 자리 잡고 있다고 말한다. 사랑, 자연, 예술…… 그리고 [무한] 역시 그 경계에서 춤추고 있는 개념이다. [무한은 수학이라는 아름다운 꿈속에 자리 잡은 아름다운 꿈이다.]

쳉은 [다섯 살 때의 수준으로만 무한에 대해 이해해도 이 세상을 살아가는 데는 하등의 문제가 없고], [그럭저럭 살아가는 데] 굳이 수학이 필요하냐고 묻는 사람들에게 단언한다. [나는 이런 쓸모를 위해 수학을 생각하지 않는다.] [수학이란 그저 어떤 목적지에 도착하기 위한 수단이 아니다. 수학은 재미를 느끼고, 머리를 단련하고, 수학의 본질과 교감하고, 수학의 풍경을 구경하기 위한 것이다.] 입시 수학에 매몰되면서 수학의 즐거움을 놓치고 있는 우리 사회가 고민해 볼 말이기도 하다. 유지니아 쳉의 열정은 전염성이 있다. 부디 이 책을 통해 그녀의 열정이 독자들에게도 가닿아, 수학의 진정한 즐거움을 맛볼 수 있기를 바란다.