빅데이터에 관하여

“The ordinary is extraordinary” 이 문구는 당시 내가 살아있다는 사실과 일상의 평화가 얼마나 특별한지를 일깨워주는 한 신문기사의 제목이었다. 이 표현은 2013년 4월 15일 보스톤 마라톤 폭발 사건이 일어난 직후 한 외국 신문사의 기사 제목이었는데, 당시의 테러는 피해의 규모, 피해가 발생한 장소, 테러를 일으킨 배경 등 다양한 측면에서 큰 이슈가 되었다. 하지만, 이중에서도 나에게 가장 인상적이었던 부분은 용의자를 검거하기 위해 동원된 방법과 체포까지 걸린 시간이었다. 당시 신문기사를 읽으며 용의자와 관련된 뚜렷한 증거가 없다는 보도를 봤을 때, 용의자를 체포하는 것이 쉽지 않을 것이라고 생각하고 있었다. 하지만, 나의 예상과는 다르게 사건 발생 이틀만에 수사당국은 용의자를 찾아내었고 체포에 성공하였다. 이 때, 용의자를 찾기 위해 사용된 것이 바로 ‘빅데이터’이다. 사건 직후 미국 FBI는 마라톤 행사장 근처 이동통신기지국 로그기록과 주변 아울렛, 사무실, 주유소 등의 CCTV와 참가자의 휴대폰 카메라 등에서 수집한 10테라바이트 상당의 데이터를 분석하였고, 통화기록을 일일이 조회하는 한편 영상을 분석해 사람의 신원을 식별하는 디지털 서베일런스 기술을 이용하여 용의자를 찾아낼 수 있었던 것이다.

빅데이터(Big data)의 의미를 간단하게 설명한다면 대규모 데이터라고 말할 수 있겠다. 하지만, 일반적인 통념과는 다르게 빅데이터의 정확한 의미는 단지 데이터 양이 많은 것을 의미하지는 않는다. 크기(Volume), 다양성(Variety), 속도(Velocity)와 같은 3가지 특성이 모두 갖추어질 때, 비로소 진정한 의미의 빅데이터라 부를 수 있는 것이다. 크기 면에서는 페타바이트(PB) 규모로 확장된 데이터를 다루며 다양성 면에서는 기존 기업 데이터 환경에서 사용되는 관계형 데이터베이스(RDB)뿐만 아니라 웹 로그나 기기 데이터, 비정형 데이터 등의 다양한 형태의 데이터를 다룬다. 한편, 속도의 측면에서는 이러한 데이터를 수집, 가공, 분석하는 일련의 과정이 실시간으로 이루어지거나 일정 주기에 맞추어 처리된다.

이러한 빅데이터는 해가 거듭됨에 따라 발전하고 있는데, 크게 소프트웨어적인 측면에서의 발전과 하드웨어적인 측면에서의 발전으로 나누어 살펴볼 수 있겠다. 우선, 정보를 수집하고 가공하여 유의미한 결과를 이끌어내는 기법이 점차 발전해가고 있다. 단순히 어떤 일이 발생했는지를 판단하는 서술적 분석과 왜 그런 일이 일어났는지를 판단하는 진단적 분석을 넘어 현재는 향후에 일어날 것을 예측하는 예측적 분석과 처방적 분석을 추구하고 있기 때문이다. 또한, 과거에는 단지 정형화된 수치자료를 통해 결과를 도출했다면 현재는 정향화된 수치자료뿐만 아니라 비정형의 다양한 데이터와 문자, 영상, 위치 데이터 등 다양한 데이터를 활용하여 결과를 도출한다. 이와 더불어,  IoT의 확산에 따라 다양한 전자기기의 센서에서 수집된 정보들 또한 이용될 것으로 예상된다. 한편, 하드웨어 측면에서는, 과거에는 단지 고가의 저장장치나 데이터베이스를 이용했던 것과는 달리 클라우드 컴퓨팅과 같은 새로운 장비를 이용하고 있으며 앞으로도 지속적으로 데이터 저장을 위해 다양한 하드웨어가 쓰일 것으로 예측된다.

빅데이터를 활용하여 성과를 거둔 사례는 앞서 말한 보스턴 마라톤의 사례 외에도 다양하다. 우선, 민간부분의 활용사례를 살펴본다면, 구글을 대표적인 사례로 제시할 수 있겠다. 2012년 12월 미국에서 독감이 유행하는 당시 구글은 미 질병통제예방센터(CDC)의 독감 관련 보고서보다 1~2주 앞서 독감 바이러스의 확산경로를 예측하였다. 이는 구글이 2008년 11월부터 선보인 ‘독감 트렌드’라는 서비스 덕분인데, 이 서비스는 전 세계 각지에서 ‘독감증세’,’독감치료’ 등과 같은 독감 관련 검색어의 입력 빈도를 지역별로 파악해 독감 유행수준을 ‘매우 높음’부터 ‘매우 낮음’까지 5개 등급으로 구분해 표시한다. 즉, 구글은 이용자들의 검색으로 쌓인 빅데이터를 기반으로 독감의 확산을 보다 빠르게 예측할 수 있었던 것이다.

공공부문에서는 싱가포르 정부의 경우 테러감지, 재난방재, 전염병 확산과 같은 불확실한 미래를 대비하기 위해 2004년부터 국가위험관리시스템(RAHS, Risk Assessment & Horizon Scanning)을 추진했으며, 미국 FBI의 경우 빅데이터에 기반한 DNA 색인 시스템을 이용하여 단시간에 범인을 검거하는 시스템을 운영하고 있는 것을 파악할 수 있다.

 하지만, 이러한 빅데이터는 다양한 문제점을 발생시키기도 한다. 우선, 빅데이터를 수집하고 분석하는 시스템을 구축하는 것이 쉽지 않다. 데이터를 저장하고 분석하기 위해서는 그에 걸맞는 인프라가 우선 구축이 되어야 하는데 하드웨어를 구입하고 관리하는데 들어가는 비용이 상당하여 중견기업 이상의 규모는 되어야 인프라를 구축할 수 있다고 알려져 있다. 또한, 빅데이터를 활용할 수 있는 ‘데이터 과학자’를 추가로 영입해야 하며 기존의 경영진에게도 추가적인 교육을 시켜야하는 번거로움이 있다. 데이터 과학자의 경우 통계학, 컴퓨터과학과 같은 데이터 분석에 대한 이해 뿐만 아니라 프로그래밍실력과 비즈니스 지식 또한 갖추어야 하므로 몸값이 높은 것은 당연한 수순이라 할 수 있겠다. 그리고 경영자들이 빅데이터를 제대로 활용하기 위해서는 교육이 필수적인데, 그 이유는 데이터가 어떻게 만들어지는지, 분석 결과가 어떤 모습일지 등을 배우지 않고서는 의사결정에 빅데이터를 올바르게 활용할 수 없기 때문이다. 이러한 측면들은 모두 기업에게 경제적인 부담을 주는 요소임은 쉽게 파악할 수 있다.

개인적으로 생각할 때, 이러한 빅데이터의 특성은 대기업과 중소기업간의 격차를 키울 수 있다고 본다. 중소기업의 경우 자본의 규모가 대기업에 비해 작기 때문에 앞서 말한 것처럼 관련 인프라를 구축하기가 쉽지 않다. 사실, 빅데이터의 중요한 가치 중 하나는 사회현상 혹은 의사결정과 관련된 불확실성을 줄여준다는 데 있다. 따라서, 인프라가 갖추어진 대기업의 경우 빅데이터를 기반으로 보다 합리적이고 정확한 의사결정을 내릴 수 있는 반면, 중소기업의 경우 상대적으로 직관에 의존하여 의사결정을 내릴 것으로 보인다. 이런 경우 장기적으로 볼 때, 객관적인 근거를 기초로 의사결정을 한 대기업이 중소기업 보다 더 좋은 성취를 거둘 것이라 예상하는 것은 타당하다. 또한, 대기업의 경우 기존에 쌓인 빅데이터를 기초로 중소기업보다 한발 앞서 새로운 비즈니스모델을 구축하기가 용이하다. 이러한 상황 속에서 중소기업들은 특정 분야의 빅데이터를 일정 금액을 내고 구매하거나 분석을 위탁할 개연성이 크다. 이미 ‘데이터 브로커(Data Broker)’가 출현했다는 사실은 이러한 예상을 뒷받침해준다. 소비자의 개인 정보를 전문적으로 수집해 재판매하는 기업인 데이터 브로커는 이미 전 세계 7억 명의 소비자 정보를 갖고 있으며, 액시엄은 미국 대선에서 오바마의 당선을 도운 것으로 유명하다. 한편, 데이터 브로커의 출현은 데이터의 진위여부 문제를 야기할 가능성이 높다고 본다. 거래하는 회사의 입장에서 볼 때, 데이터 브로커가 제시하는 정보가 신뢰할만한 정보인지를 판단하는 것이 쉽지 않아 보이기 때문이다. 데이터 브로커의 경우 적은 표본을 이용하여 결과값을 도출 한 후, 의뢰한 기업에게 전수조사를 통해 해당 결과값을 도출했다고 거짓말을 할 수 도 있기 때문이다. 좀 더 생각을 확장해본다면, 공인회계사와 같이 빅데이터를 올바른 방법에 따라 수집을 하고 올바른 방법에 따라 결과값을 도출했는지를 평가하는 전문직의 탄생을 예상해볼 수 있겠다. 공인회계사와 마찬가지로 빅데이터와 관련된 업무를 분석하고 평가하는 것은 상당한 수준의 전문성을 요구하고, 정보의 진위여부를 제3자가 공정하게 평가해줄 필요성이 있기 때문이다.

 한편, 빅데이터는 프라이버시 및 보안 문제를 발생시킬 가능성이 크다. IoT의 확산과 빅데이터 시대의 도래는, 개인의 일거수일투족이 관찰되고 분석된다는 것을 의미하기 때문이다. 개인의 생활은 곳곳에 설치되어 있는 CCTV에 의해 관찰되고, 그들의 통화는 지속적으로 기록되고 있으며 행동 하나하나까치 추적된다. 혹자는 이러한 빅데이터 시대에서의 정부 혹은 거대 기업의 행위가 조지오웰의 소설에서 나오는 ‘빅브라더’와 흡사하다고 지적하기도 한다. 이렇게 자신의 의사와 상관없이 유출된 개인정보는 당사자에게 부메랑처럼 돌아와 악영향을 끼칠 수 있는데, 우선, 개개인의 사생활이 유출되는 문제이다. 자신이 어떠한 이성을 만났고 어떠한 장소에 갔는지 등이 부지불식간에 수집되고 원하지 않는 당사자에게 그 내용이 전달될 가능성이 있다. 또한 차별의 문제 또한 발생할 수 있다. 예를 든다면, 빅데이터를 통해 특정 개인이 질병을 가지고 있다는 것이 알려졌을 때, 채용 시 불이익을 줄 가능성이 있으며, 고객들이 매장에 방문을 했을 때, 신용카드 소비 패턴을 분석한 자료를 토대로 손님을 차별적으로 대우하는 일이 발생할 수 있다. 한편, 프라이버시 문제는 보안 문제와도 관련이 깊다. 국가나 기업이 빅데이터를 수집하고 이용할 때, 보안이 철저히 갖추어져 있지 않을 경우, 개인의 정보가 자기도 모르는 사이에 다른 대상에게 팔리거나, 범죄자에게 악용될 수 있기 때문이다. 프라이버시와 관련된 미래상을 예상해본다면, 고객의 보안을 철저히 지켜주는 여행 서비스나 데이트를 할 수 있게끔 도와주는 서비스가 출현할 가능성도 있다고 본다. 이 때의 보안은 지금 말하는 수준의 보안과는 다른데, 개인정보를 수집하는 수많은 기기로부터 특정 고객의 행동, 위치 등을 지켜야하기 때문이다. 한편, 오늘날 사회의 상위계층에 있는 사람들이 하위계층에 있는 사람들에 비해 보다 양질의 정보를 가지고 있고 다양한 정보를 가지고 있는 것과 유사하게, 상위계층에 있는 사람들의 프라이버시는 하위계층의 사람들 보다 더 잘 지켜지고, 적게 유출될 것 같다. 개인정보가 유출되지 않기 위해 필요한 기술 혹은 돈을 상위계층의 사람들이 더 많이 소유하고 있을 개연성이 높기 때문이다.

 하지만, 한편으로는 무조건 프라이버시만을 추구하는 것이 능사는 아닐 수 있다. 과도한 규제는 국가와 기업의 경쟁력을 약화시킬 수 있기 때문이다. 한 금융업계 종사자에 따르면 알리안츠생명과 같은 외국 기업은 고객 소비패턴과 관심사 등의 빅데이터를 분석한 뒤 맞춤형 상품을 제공해 기존 고객의 추가 보험 가입률을 5%높였으나, 국내의 경우 개인정보보호 규제와 인프라의 부족으로 초보적 수준에 머물러 있다고 한다. 이러한 현상은 단지 금융업계에만 적용되는 이야기는 아닐 것이다. 프라이버시 또한 분명히 지켜져야 하는 권리이지만, 국가와 기업의 경쟁력은 해당 주체의 생존과 관련이 있으므로 이 또한 포기하기 어려운 가치이다. 오늘날과 같이 급변하는 사회에서는 법과 제도로 철저히 통제하다가 문제가 발생할 때마다 조금씩 수정하는 것 보다는, 미국과 같이 규제는 비교적 덜 엄격하게 운영하지만, 소송을 통해 사후 제재를 가하는 방식이 더 적합해 보인다. 프라이버시와 시장 경쟁력을 동시에 추구할 수 있기 때문이다.

개인적으로 볼 때, 빅데이터(Big data) 시대로의 변화는 불가피해 보인다. 빅데이터의 활용은 구글의 독감확산 예측과 같이 기존의 시스템보다 더 빠르고 정확하게 미래를 예측할 수 있게 해주고, 새로운 비즈니스 기회를 만들 것으로 예상된다. 하지만 동시에 개인의 프라이버시를 심각하게 침해할 수 있는 가능성도 가지고 있다. 또한, 빅데이터를 수집하고 활용하는 능력에 따라 국가간, 기업간에 정보의 격차가 커지고 동시에 경제적 격차 또한 커질 가능성도 배제하기 어렵다. 개인정보는 지금에 비해 불가피하게 더 많이 노출이 되겠지만, 인간의 본성이 바뀌지 않는 이상 이에 대한 반작용은 끊임없이 일어날 것이다. 미래를 정확하게 예측하는 것은 쉽지 않지만, 한가지 확실한 것은 빅데이터 시대로의 변화는 인류의 삶을 송두리째 바꿀 것이라는 점이다. 따라서 앞으로 바뀔 사회상에 대한 철저한 준비만이 변화에 따른 리스크를 최소화하고 기회를 붙잡는 길이 될 것이다.