이 책의 핵심은 철학과 과학 간의 대화이다

새로운 기술의 과학이 마음, 자아, 인간에 대한 우리의 철학적 이해에 문제를 제기하고 이해의 폭을 넓혀줄 수 있다. 그에 반해 철학은 의식이 있는 로봇이 존재할 수 있는지, 마이크로칩으로 뇌의 대부분을 다시 이식해도 여전히 나라고 확신할 수 있는지 등 새로운 기술이 이룰 수 있는 것에 대한 우리의 판단력을 날카롭게 해준다.

의식 있는 인공지능은 실제로 만들어지지 않을 수도 있고, 다른 비생물학적 기질에서 의식을 만들어낸다는 것은 물리학 법칙과 호환되지 않을지도 모른다. 그러나 우리가 개발하는 인공지능이 의식을 갖는지 여부를 신중하게 판단함으로써 이 문제에 접근할 수 있다. 그리고 표면적으로 인간과 유사한 인공지능을 의식 있는 것으로 바라보는 경향과 기술 공포증을 넘어 이 모든 것을 공개적으로 토론함으로써, 우리는 의식 있는 인공지능을 만들어야 하는지 여부와 그 방법을 더 잘 판단할 수 있을 것이다. 이러한 선택은 사회가 신중하게 내려야 하며, 모든 이해관계자가 참여해야 한다.

서문
의식이 있는 기계에 대한 물음│인공지능과의 병합 가능성

01 인공지능의 시대

특이점│제트슨의 오류│트랜스휴머니즘│몇 가지 경고 사항

02 인공지능 의식의 문제

인공지능 의식과 난제│생물학적 자연주의│기술 낙관주의│두뇌 회춘 수술│사고 실험의 함의

03 의식 엔지니어링

의식을 배제하다│비용 절감│의식 엔지니어링: 홍보의 악몽│의식 엔지니어링: 인공지능의 안전성│인간과 기계의 합병

04 인공지능 좀비 잡기: 기계 의식을 찾아내는 테스트들

ACT 테스트│칩 테스트│통합 정보 이론│사전 예방 원칙과 여섯 가지 권고 사항│마음과 기계의 합병에 대한 생각 탐구

05 인간은 인공지능과 결합할 수 있는가

인간의 기준│우리는 소프트웨어 패턴인가

06 마인드 스캔

출구?│개인의 성장 혹은 죽음│기존의 기질을 버리다│형이상학적 겸손

07 특이점의 우주

포스트생물학적 우주│제어 문제│능동적 SETI 프로젝트│초지능적인 마음│생물학적으로 영감을 받은 초지능체

08 마음은 소프트웨어인가

뇌의 소프트웨어로서 마음│마음-몸의 문제│소프트웨어 견해를 평가하다│데이터 소령은 죽지 않는가?│마음은 프로그램의 인스턴스인가│강, 개울, 자아│알코르로 돌아오다

결론: 뇌의 사후 세계

부록: 트랜스휴머니즘

연구 영역에서만 언급되던 인공지능(AI) 관련 개념들이 어느덧 우리 삶의 전반에 등장하게 되었다. 현재 LLM(거대언어모델)과 Transformer 등의 딥러닝 기술로 이루어진, ChatGPT로 대표되는 인공지능은 우리 생활에 직접적인 영향을 끼치고 있다. 그 결과 인류는 미래의 인공지능에 대해서도 지속적인 발전과 긍정적인 영향을 기대하게 되었다. 그러나 이런 낙관은 단지 우리의 희망일 뿐이며, 인공지능의 미래 모습은 아직 확정되지 않았다.

지은이는 철학, 신경과학의 관점에서 인공지능이 제기할 수 있는 다양한 무거운 문제들을 이해하기 쉽게 풀어내고 있다. 예를 들어, 고도로 발전된 인공지능이 인간의 의식과 같은 것을 가질 수 있는지, 우주에도 인공지능 내지 합성 지능을 가진 개체가 존재하는지, 인간의 뇌 일부분에 마이크로칩을 대체할 경우 그것이 원래의 인간과 동일하다고 볼 수 있는지, 인공지능이 탑재된 인간의 마음은 단지 소프트웨어라서 무한한 업-다운로드가 가능한지 등의 문제를 다루고 있다.

옮긴이들은 인공지능의 새로운 시대를 살고 있는 일반인들도 한 번쯤은 지은이가 언급하는 이러한 문제들을 생각해볼 필요가 있다고 느꼈다. 특히 이와 같은 철학적 문제 제기 없이 인공지능의 발전이 이루어지는 상황은 매우 위험하다고 보았다.

인류 번영에 대한 인공지능의 위협?

인공지능이 함의하는 바는 철학적으로 사고하지 못하면 의식을 가진 존재가 번성에 실패할 수 있다는 것이다

이 책의 핵심은 철학과 과학 간의 대화이다. 인공지능이 함의하는 바는 철학적으로 사고하지 못하면 의식을 가진 존재가 번성하는 데 실패할 수 있다는 사실이다. 인공지능 기술은 삶을 더 편하게 만드는 것이 아니라 인류를 고통, 죽음, 다른 의식적 존재에게 착취당하는 상황으로 몰아갈 수도 있다.

이미 많은 사람들이 인류 번영에 대한 인공지능 기반의 위협에 대해 논의했다. 해커가 핵무기 공격 시스템을 마비시키는 일부터 영화 〈터미네이터〉에서나 나올 법한 초지능적 자율 무기까지 다양한 위협이 존재한다. 이와는 대조적으로 저자가 제기하는 문제―1. 의식 있는 기계의 생성 과정에서 인간이 간과하는 시나리오, 2. 급진적인 뇌 강화와 관련된 시나리오―는 세간의 주목은 덜 받고 있지만 굉장히 중요하다.

고도의 범용 인공지능(AGI: artificial general intelligence)을 개발한다고 가정해보자. 이 인공지능은 한 종류의 지적 작업에서 다음 작업으로 유연하게 전환할 수 있고, 추론 능력에 있어서도 인간과 경쟁할 수 있다. 이런 기계는 하나의 자아이자 동시에 경험의 주체로서, 즉 본질적으로 의식을 갖고 있다고 봐도 무방할 것이다.

인공지능의 가치를 평가하는 핵심 근거는 무엇일까?

21세기에 접어들면서 인간이 지구상에서 가장 지적인 존재가 아닐 수도 있다는 가능성을 인정해야 한다

기계 의식을 만드는 방법이나 가능성에 관해서는 아직 알려진 바가 없다. 그러나 인공지능이 경험을 가질 수 있는지 여부는 우리가 인공지능의 가치를 평가할 때 핵심 근거가 될 것이라는 사실만큼 분명하다. 의식은 인간 도덕 체계의 철학적 초석이며, 누군가 또는 무언가가 단순한 로봇이 아닌 인간 내지 자아인지 여부를 판단하는 데 중심이 되기 때문이다.

만약 내가 구글이나 페이스북의 인공지능 책임자라면 향후 프로젝트를 구상할 때 의도치 않게 의식 있는 시스템을 설계하는 윤리적 혼란을 겪고 싶지 않을 것이다. 의식이 있는 시스템을 개발하면 인공지능의 노예화라는 비난으로 이어질 수 있으며 심지어는 특정 분야에서 인공지능 기술 사용이 금지될 수도 있다.

장기적으로는 전세가 인간에게 불리하게 돌아갈 수 있다. 문제는 우리가 인공지능을 해치는 것이 아니라 인공지능이 우리를 해치는 것일 수 있다. 실제로 일부에서는 합성 지능이 지구상에서 지능 진화의 다음 단계가 될 것으로 예상하고 있다. 지금 우리가 세상을 살아가고 경험하는 방식은 인공지능으로 가는 중간 단계, 즉 진화 사다리의 한 단계에 불과하다는 입장이다. 예를 들어 스티븐 호킹, 닉 보스트롬, 일론 머스크, 맥스 테그마크, 빌 게이츠 등 많은 이들은 인공지능이 인간을 능가할 경우 인간이 자신이 만든 인공지능을 어떻게 제어할 수 있을지에 대한 문제를 제기했다.

우리가 인간 수준의 지능을 가진 인공지능을 만든다고 가정해보자. 그 인공지능은 자기 개선 알고리즘과 빠른 계산을 통해 인간보다 훨씬 더 똑똑해질 수 있는 방법을 빠르게 발견할 수 있을 것이다. 이런 초지능을 우리가 통제하지 못하는 건 당연하고, 이론적으로는 인간을 멸종시킬 수도 있다. 합성 지능이 생명체의 지능을 대체할 수도 있는 것이다. 또는 인간이 상당한 뇌 강화를 누적하여 인공지능과 통합되는 대안도 있다.

하지만 우리가 놓치고 있는 것은 인공지능이 ‘인간’을 평가하는 방식에서도 의식이 핵심이 될 수 있다는 가능성이다. 초지능적인 인공지능은 자신의 주관적인 경험을 발판 삼아 인간의 의식적인 경험의 능력을 알아볼지도 모른다. 우리가 인간이 아닌 동물의 생명을 소중히 여기는 것은 의식을 가진 존재에 친밀감을 느끼기 때문이며, 따라서 우리 대부분은 침팬지를 죽일 때는 움찔하지만 오렌지를 먹을 때는 움찔하지 않는다. 만약 초지능적인 기계가 어떤 이유로든 의식을 갖지 못한다면, 인간은 곤경에 처할 수 있다.

이러한 문제를 우주 전체라는 더 큰 맥락에서 바라보는 것이 중요하다. 다른 행성에서 생명체를 찾을 때 수준 높은 외계 지능은 생물학적 문명에서 진화한 인공지능, 즉 ‘포스트생물학적’ 지능일 수 있다. 이러한 인공지능이 생물학적 지능을 대체할 때 의식을 갖지 못하게 된다면, 우주에는 의식을 가진 존재들이 사라질 것이다. 인공지능 의식이 중요하다면, 우리는 인공지능 의식을 만들 수 있는지, 그리고 우리가 인공지능 의식을 만들었는지 알아야 한다.