넥서스

1️⃣ 한줄 평

인류는 이제 망했다는 이야기. 근데 재미남. 

 

♓ Inuit Points ★★★★☆

정보 네트워크(information network)라는 개념으로 고대부터 현대까지 인간들의 체제를 추적합니다. 목적은 AI 시대를 상상하기 위해서입니다. 데이터와 정보의 의미와 여기서 생성되는 권력의 토대를 살펴본 후, AI가 미칠 체제와 권력의 영향을 따져봅니다. 하라리는 민주주의나 전체주의 정권 모두 AI에 의해 형해화될 것을 예측합니다. 지금이라도 인류는 정신 차리고 성숙한 논의를 해야 한다고 간곡히 말합니다. 하지만, 인류는 그렇게 못할 것 같아 음울한 결말입니다.

 

🎢 Stories Related 

AGI의 관련해 세가지 문파가 있습니다.

비관론자(doomer), 실용적 관점(EA), 과격한 낙관론자(e/acc).

하라리는 비관론 중 감속주의 선언에 동참했고, 그런 관점으로 쓴 책입니다.

Nexus: A brief history of information networks from stone age to AI

Yubal Harari, 2024

 

🗨️ 좀 더 자세한 이야기

정보란 무엇일까요.

 

이 단순하지만 심오한 질문으로 책은 말문을 뗍니다.

정보는 진실에 다소 가깝게 가지만 결코 진실을 그대로 나타내진 못한다는 비직관적인 논증부터 시작합니다. 결국, 정보는 진리 추구보단 질서 유지의 역할이 더 크며, 그렇기 때문에 필연적으로 권력을 생성한다 봅니다.

 

따라서, 데이터가 많으면 정보가 진실에 가까워진다는 생각은 순진한 관점으로 치부합니다. 역사에서 정보를 섬세히 발라내면, 결국 권력과 체제로 귀결된다는 거죠. 그리고 호모 사피엔스는 정보의 연결에 탁월한 유전자를 진화시켜 왔다는게 하라리 연작의 주장입니다.

 

이런 정보의 체제를 두가지로 구분합니다. 하나는 스토리입니다. 하라리는 상호주관적 현실(inter-subjective reality)이라고 부릅니다. 공통의 꿈을 꿀 수 있는 사피엔스의 종특이고 덕분에 지구의 강자가 되었다고 간주합니다. 스토리의 끝판은 종교 그리고 국가나 민족입니다.

 

다른 하나는 문서(document)입니다. 스토리랑 대척점에 있습니다. 지루하고 재미없습니다. 그럼에도 기억을 확장하고 영토를 넓힙니다. 서랍에서 나오는 권력인 관료주의(bureaucracy)로 진화합니다.

 

이쯤, 재미나게 방향을 트는건 오류가능성(fallibility)입니다. 모든 정보는 오류 가능하며 그 오류를 어떻게 고칠 수 있느냐가 시스템의 강건성입니다. 예컨대 유대교는 구약을 오류가능성이 없는 문서로 간주합니다. 따라서 성경이 현실과 안 맞을 땐 사제가 재해석을 해줍니다. 이로서 성경의 종교가 해석에 집착하는 정보종교로 변질됩니다. 본질적으로 오류가능한 정보를 교리상 오류불가능으로 만들어둔 탓에, 오류를 담당하는 자가 권력을 갖습니다.

 

그런면에서 민주주의가 좋은 체제란건, 오류가능성을 열어둔 채, 자기교정장치(self-correcting mechanism)가 내재되어 있기 때문입니다. 선거죠. 전체주의가 일견 효율적이다가 결국 쉽게 망하는건 정보를 독점한 채 오류가능성을 집중시켜 자기교정을 할 수 없기 때문이기도 합니다.

 

다시 인류의 역사를 되짚어 볼까요. 초기 사피엔스는 스토리를 통해 연결하며 강성해집니다. 제국이 커지면 문서라는 정보 네트워크가 필요해집니다. 지금도 문서의 시대입니다. 체제에는 범위의 한계성이 작용합니다. 소련의 전체주의도 완전한 정보는 불가능합니다. 구현하기에 비싸기도 하지만, 구현되었다 쳐도 막대한 정보량을 소화할 수 없으니까요. 따라서, 민주주의든 전체주의든 대제국의 변방에는 지역성이, 개인은 자율성이 남겨져 왔습니다.

 

하지만 AI가 개입된다면 어떨까요? 바로 이 지점이 책의 지향점입니다.

AI의 가공할 능력에 비해 제어되지 못하는 미숙함이 현실입니다. 책에서 소상히 밝히듯 로힝야 족의 학살에 페북의 좋아요 알고리듬이 결정적 작용을 했습니다. 악의 없는 순수한 상업적 켐페인이었는데도 불구하고 말입니다.

 

하라리가 길게 인류의 역사를 정보 관점에서 훑은 이유도 그러합니다. AI는 자기교정장치가 없는 고성능 기계란점입니다. 상업적 군비경쟁 중엔 비효율적 기술개발로 보이기도 할 뿐더러, 딥러닝의 특성 상, 왜 그 답이 나왔는지를 아는게 기술적으로도 어렵기 때문입니다.

 

책의 앞머리에 촘촘히 논증했듯, 데이터가 많다고 진실에 무조건 다가가지 않는다는 정보의 실존적 특성을 고려하면, 그냥 무작정 돈 써서 데이터 긁어모아 AI를 발전시킨다 해도 AI라는 지니는 병속에 가둬지지 않는다는 무서운 결론이죠.

 

하라리는 AI가 체제를 망치는 경로를 상상합니다. 민주주의는 포퓰리즘의 창궐로 열화될 가능성을 말합니다. 현재 벌어지고 있는 일이죠. 전체주의는 더 위험합니다. 엄청난 정보를 모아주는 AI 에이전트가 잘 작동하면, 독재자는 AI를 신뢰할 수 밖에 없습니다. AI 내시에 포박되어 있는 독재자에게, '지금 한시간 내에 쿠데타 군이 총통실을 점령할 가능성이 85%입니다. 그들을 소탕할까요? (Y/N)? 라는 프롬프트에 어찌 답할지는 그 둘의 신뢰관계에 달려있습니다. 심지어 전체주의의 이중언어를 AI가 오역할 가능성은 매우 농후한 상태니까요.

 

눈여겨 볼 점은, 흔히 말하듯, AI가 권력을 탈취해 인류를 망하게 하는 스카이넷 방식, 또는 오정렬이 폭주하는 종이클립 방식이 아닌 상태에서, 즉 완전한 AGI가 나오기 전에도 AI로 인해 인류는 망조가 들 수 있다는 점이죠. 왜냐면 인류의 정부, 정권, 체제가 정보 네트워크로 쌓아올려진 바, AI는 구체제에 무리 없이 통합되는 한편, 자기교정하지 못하며 오류를 급가속 하기 때문입니다.

 

"프랑켄슈타인의 실험실 탈출보다, 편집증 티베리우스 황제의 환심사는게 더 쉽다"

 

막판에 하라리는 열심히 말합니다. 핵전쟁을 스스로 막았듯 이번에도 인류는 스스로 성숙하게 이 문제를 제어할 수 있는 마지막 기회라고요. 저는 솔직히 그리 쉽게 될까 걱정이 심하게 듭니다. 하지만, AGI의 고삐인 정렬(alignment) 문제를 이제 조금 더 진지하게 바라보는 추세이니, 약간의 희망은 있다고 할까요. 그런면에서 하라리 같은 책들이 많이 나오고, 그에 대해 대중적 대화가 필요하다는게 현재 시점 중요한 일 아닐까 싶습니다.