슈퍼 예측, 그들은 어떻게 미래를 보았는가

평범한 교사, 은퇴한 학자 등으로 구성된 집단이, 전문가는 물론, 미국 정보기관 보다 더 정확히 예측한다는 슈퍼예측자를 아시나요? 백불짜리 아마존 상품권을 받는 천여 명의 성과는 현란합니다. 6개월 이내에 중동의 정권이 붕괴할지 아닐지, 유가의 급락 확률 등 다양한 주제를 가장 정확히 예측한다니 믿기 힘들죠. 슈퍼맨과 슈퍼예측자는 시민이 슈퍼가 되는 점에서 유사한 변신을 하는가봅니다.

 

언뜻 듣고 그들의 이야기에 막연한 궁금증을 갖고 있었습니다. 브록만과 이후 몇권 책에서 계속 테틀록을 언급합니다. 운명인가보다 하고 그의 GJP(good judgement project) 이야기를 읽었습니다. 책에 상당히 디테일한 이야기가 나와서 그들이 어떤 사람인지, 어떤식으로 예측을 하는지 등에 대해 알게 되었습니다. 하지만 그건 덤일 뿐이고 저는 더 중요한 질문을 갖게 되었습니다.

 

"(사소한) 예측의 정교함이 의미있는가?"

Superforecasting: Art and science of prediction

Philip Tetlock, Dan Gardner, 2015

 

GJP는 911을 놓치고 이라크의 대량살상무기를 오판하는 등, 굵직한 실수를 한 후 출범한 프로젝트입니다. 미국 정보기관이 스폰서를 했습니다. 지금 수준보다 더 예측을 잘 할 수 있을까, 있다면 비결은 뭘까를 탐구합니다. 테틀록을 비롯한 연구자들은 이전부터 하던 연구 결과를 토대로 GJP를 운영하고, '경악할 만한' 정확성을 달성합니다.

 

제가 배운 점은 이겁니다.

초예측은 기본적으로 베이지안(Bayesian) 접근이다.

즉, 사안에 매몰되지 않은 편견없는 외부관점(outside view)이 사전확률입니다. 여기에 정량화된 확률을 도구로 삼은 끊임없는 업데이트(likelihood update)를 합니다.

 

이때 정량화는, 사건의 기한을 설정하고 발생 확률을 모호한 언어가 아니라 수치로 생각하는 마인드입니다.

업데이트에서 가장 중요한건, 물고 늘어지는 끈기와 자기 의심을 하는 여우의 마음입니다. 새로운 정보에 마음을 열고 보는게 속편한 성향도 기본적으로 필요합니다. 여기에 다수의 독립적 의견으로 앵커(anchor)나 편향(bias)을 제거하면 정확성은 비약적으로 올라갑니다.

 

책에는 제가 정리한 것보다 더 풍부한 예측자의 마음가짐과 습성이 나옵니다만 중요한건 저렇게 정리할 수 있습니다.

 

그보단, 책읽다 제가 더 깊게 생각했던 부분입니다.

서두의 질문입니다.

'과연 사소한 예측의 정교함이 무슨 의미일까'.

 

이건 배경설명이 필요한데, 나심 탈렙의 테틀록 공박에서 출발하는게 좋겠습니다. 탈렙은 블랙스완으로 대표되는 멱함수 세계관의 기수입니다. 즉, 가장 재앙적인 사안은 기본적으로 예측 불가능하다는 거죠. 깜짝 놀랄 재앙 상황은, 임계상태에 놓여 멱함수 따릅니다. 전쟁, 지진, 시장폭락 등이 그러하지요. 임계상태의 특성상, 일이 벌어지는 시점에 사건의 크기가 결정되어 사후에 통계적으로만 패턴이 보입니다. 즉 사전에 알 방법은 거의 없습니다.

 

'너네들 모여 예측놀이 하는건 다 쓸데 없는 일이다.'

테틀록은 탈렙의 날카로운 창을 뒤로 물러서며 슬쩍 피합니다.

'그렇다고 예측 안하고 무력하게 있을텐가?'

그러고 테틀록은 괜히 속상해 허공에 빈주먹질도 합니다.

'그래도 우리가 전문가보단 잘 맞추거든.'

 

멱함수 사건의 예측 불가능성 자체를 반박하지 못하는 한 딱 걸린겁니다. 정면으로 드잡이해도 이기긴 힘듭니다. 저는 탈렙의 세계관에 가까우니, 테틀록의 이런 소심한 태도가 완전 재미났고요. 제 보기엔 테틀록의 샘플도 자체로 편향이 있거든요. 판정가능한 문제를 내다보니 범위를 지나치게 좁혔습니다. 그래서 재앙적 상황에 대해서는 충분히 예측해 본 적 없지요. 게다가 다들 '알바 예측자'인데다가 사안도 당장의 지구평화나 돈되는 일과는 살짝 무관한 일입니다. 부담없기 때문에 에고도 들어가지 않고 평정심으로 예측이 좋습니다. 하지만 장주기에 데미지가 큰 일에도 같은 렌즈를 들이댈 수 있는지는 알기 어렵다고 봅니다. 게다가 무명씨들이 세상의 그림자 속에서 예측을 시도하기 때문에, 전문가나 대형 기관의 예측처럼 복잡계적 되먹임을 주지 않아 예측이 한결 단순하다는 점 등이 테틀록 알바 예측의 한계라고 저는 생각해요.

 

제가 저 명석한 분들의 논쟁을 판결할 수는 없지만, 제 결론은 있습니다.

• 기본적으로 재앙 예측이 안되면 아무리 예측 알고리듬이 좋다해도 세상을 구하는데 도움 되진 않는다.
• 하지만 저 정도 예측 역량을 잘 유지하면, 재앙의 조기 경보는 가능할 수 있을것 같다.
• 그리고 꼭 세상 문제란게 멱함수 분포만 있는건 아니고 정규분포 상황이 많으니 그때 저 예측 알고리듬은 상당히 도움 될 것이다.

Inuit Points ★★★☆☆

전략과 재무 기반의 경영이 제 본가라서, 예측은 저를 감싸는 환경이기도 합니다. 경험으로 깨달은건 예측에 과다한 공을 들이지 않겠다는 겁니다. 저도 인간인지라 본능처럼 예측의 사고 프로세스가 돌아갑니다. 그래도 가급적 예측에 노력 들이기 보다는, 몇가지 시나리오 정도만 상상하고, 실행과 대응에 집중합니다. 그럼에도 예측의 좋은 렌즈가 있다면 조금 더 훤한 느낌이 들겠지요. 그래서 테틀락이 모은 초예측자들의 성향과 습성을 알게 된 것으로도 큰 수확이었습니다. 몇 개는 생각 과정에 녹이는 훈련을 해보려고 합니다.  재미나게 읽었고 별 셋 주었습니다.