[제2회 미래지식 포럼] ③기계의 선택, 믿어도 될까

같은 크기의 동그란 공을 가장 밀도 있게 쌓는 방법은 무엇일까. 독일의 물리학자 요하네스 케플러가 던진 ‘케플러의 문제’라는 난제다. 인류는 이 문제를 푸는 데 약 400년이 걸렸다. 임의의 각을 삼등분하는 문제를 푸는 데 걸린 시간은 2000년. 수학의 역사를 돌이켜보면 수학자들은 성공보다는 난관에 봉착해 있는 시간이 더 길었다.

기계는 어떨까. 한 연구에 따르면, 일본 이화학연구소가 개발한 ‘후가쿠’슈퍼컴퓨터는 초당 442페타플롭스를 처리할 수 있다. 페타플롭스(PetaFlops)는 초당 1000조번의 수학 연산처리를 뜻하는 말이다. 초고속으로 연산을 처리하는 슈퍼컴퓨터, 인공지능(AI)의 등장으로 현재 우리 삶의 대부분은 기계에 의존하고 있다. 김상현 고등과학원 수학부 교수는 이에 대해 질문을 던진다. “기계의 선택, 믿어도 될까?”

‘제2회 현대차정몽구재단 미래지식 포럼’의 세 번째 연사로 나선 김 교수는 “이 물음에 대한 답은 20세기 초 수학자 ‘쿠르트 괴델’과 ‘앨런 튜링’이 이미 제시한 바 있다”며 “그들의 결론은 ‘기계의 선택은 불완전하다’였다”고 말했다.

쿠르트 괴델은 1931년 ‘불완전성 정리’를 발표한 수학자다. 불완전성 정리는 참이지만 증명할 수 없는 명제가 있다는 것이다. 이 정리가 발표되기 이전까지 대부분의 논리학자는 주어진 수학적 명제의 참과 거짓을 판별할 수 있는 절대적인 지침이 있다고 믿었다. 하지만 괴델은 “자연수의 산술을 기술할 수 있을 정도의 논리적 체계는 반드시 모순성 혹은 불완전성을 가진다”고 했다.

증명할 수 없는 명제가 있다는 괴델의 이론을 기계의 선택과 연관 지은 사람은 영국의 수학자 ‘앨런 튜링’이다. 튜링은 문법에 따라서 기호를 나열하는 ‘튜링 기계’를 제시했다. 컴퓨터의 기본이 되는 0과 1을 기반으로 작동하는 방식이다. 김 교수는 “튜링 기계는 정해진 명령 규칙에 따라서만 작업을 진행한다”며 “기계는 인간처럼 자신을 성찰할 수 없기 때문에 무한 루프에 필연적으로 빠지게 된다”고 말했다. 이어 그는 “어떠한 혁신적인 기계가 나와도 그것은 결국 튜링 기계의 작동 방식과 같을 것이기 때문에 모든 수학 문제를 풀어주는 기계는 존재할 수 없다”고 했다.

괴델과 튜링의 이론을 요약하자면, 증명할 수 없는 명제가 존재하기 때문에 튜링 기계만으로는 파악할 수 없는 진리가 있다는 것이다. 결국 기계의 판단은 불완전할 수밖에 없고, 기계가 모든 문제를 해결할 수 없다는 결과로 귀결된다. 김 교수는 “인간의 이성은 지속적으로 발전하기 때문에 인간은 스스로 한계를 파악하고 이를 돌파해 진리에 다가갈 수 있다”며 “이 때문에 수학자들은 기계보다 인간을 더 신뢰한다”고 했다.

폴란드 출신의 수학자 알프레트 타르스키도 기계의 한계를 증명했다. 타르스키는 진리, 옳고 그름은 증명 기호의 나열과 규칙만으로는 완전하게 정의할 수 없다는 ‘정의 불가능성 정리’를 발견했다. 산술적인 기호만으로는 진리를 증명할 수 없다는 것이다.

김 교수는 마지막으로 독일 수학자 다비트 힐베르트의 말을 인용해 인간 지성의 우월성을 강조했다. “어떠한 경우에도 수학자들은 완전한 실패를 경험한 적이 없습니다. 몇백 년의 시간이 걸려도 결국은 문제를 풀었고, 이제는 아직 풀지 못한 문제만이 남아있을 뿐입니다. 힐베르트는 “인간이 영원히 다가갈 수 없는 지식이란 없다. 인류가 영원히 머물러 있으리란 난관도 없다. 언젠가 인간은 모든 문제를 해결할 것이고 그렇게 수학은 더욱 풍성해질 것”이라고 했습니다. 자신의 한계를 인지하고 그걸 넘어서면서 문제를 해결하는 인간을, 기계는 결코 넘어설 수 없습니다.”

김수연 더나은미래 기자 yeon@chosun.com