근거 없는 기대와 희망으로만 가득한
빅데이터 열풍의 실체를 파헤친다!
언제부터였을까. 빅데이터에 대한 기대와 희망으로 부푼 말들이 대한민국 도처에서 오고 가기 시작했다. 빅데이터만 있으면 세상사를 완벽하게 분석하고 미래를 정확하게 예측할 수 있다고 자신하는 사람들로 넘쳐났다. 그들은 빅데이터를 이용하면 많은 돈을 벌 수 있을 것이라며, 현재 산적해 있는 크고 작은 문제를 단박에 해결할 수 있을 것이라며 호언장담했다.
걷잡을 수 없을 정도로 커진 빅데이터에 대한 믿음과 기대를 보여주는 대표적인 사례가 2012년에 교육과학기술부, 행정안전부 등 주요 부처가 모여 발표한 「스마트 국가 구현을 위한 빅데이터 마스터 플랜」이다. 2017년까지 빅데이터 공유 및 활용을 활성화하고, 빅데이터 관련 기술개발과 인력 양성을 지원하며, 공공데이터 개방을 확대한다는 것이 보고서의 주요 내용이었다. 또한 각 정부 부처는 이와 함께 우선 추진 과제를 발표했는데, 빅데이터를 활용한 재난 피해 지역의 사전 예측이 그중 하나였다. 골자는 기상 정보, 지역별 인구 정보, CCTV, 인공위성 자료, 소셜 데이터, 주민 신고 등의 데이터를 이용해 집중호우에 따른 침수, 산사태 등의 자연재해를 사전에 예측한다는 것이다.
저자가 책에서 자주 쓴 표현을 빌리자면, 이는 ‘답답한 일’이 아닐 수 없는데, 빅데이터를 통해 자연재해를 미리 예측하겠다는 이 계획은 한국 사회에서 빅데이터가 어떻게 오해되고 있는지 단적으로 보여준다. 우선 자연재해의 발생을 미리 예측하는 것은 불가능에 가깝다. 혹 빅데이터 수집과 분석을 통해 자연재해가 빈발하는 지역을 예측할 수 있게 된다고 해도 들어가는 수고에 비하면 실제 효과는 거의 없다고 봐도 무방할 정도다. 여기서 빅데이터 분석의 현실이 드러난다. 재난 예측은 재난 예방이 되지 못한다. 빅데이터 분석은 사건의 양상과 원인을 파악하는 데 참고가 될 수는 있어도 문제점과 그것의 근본 원인을 밝혀내고 해결해줄 수 없다. 이를테면, 빅데이터를 통해서 장마철에 홍수가 많이 발생하는 지역을 미리 예측할 수 있다고 해도 그 자체가 홍수의 발생과 홍수로 인한 피해를 줄여주지는 못한다. 장마철 홍수의 발생을 미리 예측하는 일과 장마가 시작되기 전 강둑을 비롯한 제반 시설을 정비하는 일, 둘 중에 어느 것이 더 중요할까?
빅데이터의 본질을 알면서도 모른 척하는 지식인
빅데이터의 한계를 숨기는 빅데이터 관련 업체
빅데이터에 대한 환상에 취한 정부 관료
빅데이터는 만병통치약이 아니다!
보다 명확히 말해서 빅데이터 분석이 보여주는 것은 상관관계다. 빅데이터로 상관관계를 찾을 수는 있지만 인과관계를 확인할 수는 없다. 양은 많지만 서로 구분이 안 될 정도로 섞여 있는 빅데이터는 정작 사건 해결의 단서 역할을 하는 원인과 결과 사이의 관계를 보여주지 못한다. 한 가지 예로, 인간의 DNA 구조를 연구하는 과학자가 있다고 해보자. 그는 데이터 수집과 분석만으로 새로운 발견을 해낼 수 없다. 통계적 분석의 효과가 아무리 뛰어나다고 한들, 그는 다시 근본으로 돌아가 물리학과 생명과학의 이론 및 지식에 힘을 빌려 연구를 시작해야 한다.
이렇듯 빅데이터의 한계가 분명하게 보임에도 불구하고, 비판적 검토가 이루어지지 않은 채 빅데이터에 대한 장밋빛 전망만으로 가득한 것은 무슨 까닭일까? 저자는 빅데이터의 실체를 알고 있음에도 모른 척하는 지식인, 빅데이터의 한계를 숨기는 빅데이터 관련 업체, 빅데이터 환상에 취한 정부 관료, 이 셋의 공모가 빅데이터 거품을 만들었다고 지적한다. 이 셋이 끈끈한 삼각관계를 이뤄, 빅데이터 유행의 확산을 일으키는 과정은 다음과 같다.
일부 지식인이 미국의 성공 사례를 들며 빅데이터 연구의 필요성을 부각시킨다. 그러면 정부 부처는 돈을 풀어 각종 프로젝트를 발주한다. 이에 많은 학자와 연구소가 빅데이터 관련 프로젝트에 참여하며 빅데이터의 긍정적인 면을 부각시킨다. 이렇게 해서 빅데이터 주변으로 오고 가는 돈이 많아지고 빅데이터 시장의 규모가 커지면, 데이터 분석 기술을 가진 업체가 진입하게 된다. ‘철의 삼각관계’에서 손해 보는 사람은 없다. 지식인은 빅데이터로 연구비를 받아서 좋고, 빅데이터 관련 업체는 소위 ‘눈먼 돈’이라고 일컬어지는 정부 예산을 받아서 좋고, 정부 관료는 한창 유행인 빅데이터 관련 프로젝트를 기획한 공으로 승진하게 되니 좋다.
저자는 책 전반에 걸쳐 빅데이터 유행의 터무니없음을 조목조목 비판한다. 빅데이터 유행을 한 꺼풀 벗겨 그것의 본질과 실체를 정확하게 봐야 한다는 것이다. 여기서 짚고 가야 할 것은 저자의 비판이 향해 있는 곳이 빅데이터 자체가 아니라, 빅데이터를 둘러싸고 벌어지는 그릇된 유행이라는 점이다. 빅데이터는 잘못이 없다. 빅데이터를 자신의 이해관계를 위해 이용하고 빅데이터의 능력과 잠재력을 과도하게 부풀리는 ‘사이비’가 잘못인 것이다.
대한민국에서 빅데이터는 여전히 현재진행형이다. 아니 반드시 그래야만 한다. 앞으로 지속적인 수정과 보완이 필요하니 말이다. 새로운 질문이 시작된 것이다. 우리는 보다 현실적으로 생각할 필요가 있다. 빅데이터 그 자체, 빅데이터 전부가 잘못되었다는 것이 아니다. 빅데이터를 통한 분석은 분명 누구에게나 훌륭하고 중요한 자원이다. 그러나, 저자가 누누이 강조하듯이 이 말이 빅데이터가 만병통치약이라는 뜻은 결코 아니다.
○ 1장은 한국에 빅데이터 개념이 들어온 과정과 빅데이터 유행 초기 정부에서 시행한 빅데이터 정책을 하나하나 짚어나간다. 2011년 11월 7일 이명박 대통령이 빅데이터의 중요성을 언급한 것을 시작으로, 빅데이터는 성장 일로를 걷는다. 하지만 그 속도가 너무 빨랐던 게 문제였다. 빅데이터에 대한 기대가 지나친 나머지 김포시는 ‘빅데이터 타운’을 선언하기에 이른다. 저자는 한국 내 불었던 빅데이터 유행의 양상과 빅데이터 관련 정부 정책의 사례를 제시하며 그것의 문제점을 지적한다.
○ 2장은 빅데이터 유행의 실상에 대해 다룬다. 저자는 한국의 빅데이터 옹호론자 및 빅데이터 전문가의 자가당착을 신랄하게 비판한다. 빅데이터 프로젝트의 성과가 왜 지지부진한지 물으면 그들은 늘 전문가가 부족하다, 데이터가 부족하다, 핑계 늘어놓기에 급급하다는 것이다. 얼마 전만 해도 데이터가 너무 많기 때문에 빅데이터가 필요하다고 하더니 이제 와서는 데이터가 부족하다고 말하는 것은 앞뒤가 전혀 맞지 않는 태도라는 것이다.
○ 3장은 구글의 독감 예측을 중점적으로 다룬다. 빅데이터의 탁월한 능력을 보여주는 표본으로 여겨졌던 구굴의 독감 예측 논문은 결과적으로 현실에 잘 들어맞지 않는 것으로 판명이 났다. 이 사례를 통해 저자는 빅데이터는 미래를 예측해주는 도구가 아님을, 빅데이터 프로젝트의 초점은 미래 예측이 아니라 과거에 대한 정밀한 분석에 맞춰져야 함을 강조한다.
○ 4장은 한국에서 벌어지는 ‘지적 유행’의 특성과 빅데이터 유행에 대한 분석과 비판이다. 한국 내 지적 유행의 공통된 특징은 선진국, 특히 미국에서 인기 있는 것이라면 덮어두고 따라 하는 풍조다. 빅데이터 역시 예외는 아니다. 미국의 기술과 문화라면 일단 좋다고 여기는 지식인, 이에 편승해 정책을 기획하는 정부 관료, 그리고 여기서 떨어지는 이익을 취하려는 관련 업체가 모여 빅데이터 유행의 거품을 만들었다는 것이 저자의 주장이다.
○ 5장 빅데이터 자체의 메커니즘을 다루는 장으로서, 빅데이터의 본질과 실체에 대해서 꼼꼼하게 접근한다. 요는 빅데이터는 우리에게 상관관계만을 보여준다는 것이다. 조금 심하게 말하면, 상관관계는 통계적으로만 유의미한 정보다. 현실에서 중요하고 필요한 것은 인과관계이지 상관관계가 아니다. 우리에게 의미 있는 통찰과 중요한 시사점을 주는 것은 인과관계다. 빅데이터를 맹신해서도, 빅데이터에 지나치게 기대해서도 안 되는 이유다.
