티스토리 뷰

IT Trends

빅데이터가 바꾸고 있는 것들

novathinker 2014.09.12 10:30

년 전부터 빅데이터라는 말이 자주 들려온다. IT에서만 사용되던 용어가 공중파에서 다큐멘터리로 방영되더니 이제는 카드 회사가 빅데이터로 경쟁하고 있다. 빅데이터라는 용어가 일반화되기 시작한 것은 불과 3년 남짓하다. 3년 만에 데이터가 갑자기 늘어나지는 않았을 텐데도 빅데이터는 세상을 바꿀 듯이 밀어닥치고 있다. 


빅데이터, 양보다는 활용이 중요 

가트너는 양, 속도, 다양성이라는 세 가지 요소로 빅데이터를 정의했다. 이를 굳이 끌어오지 않더라도 빅데이터는 데이터 양의 문제만은 아니다. 물론 데이터가 많아지고 있다는 것은 주목할 만한 현상이다. 

그렇다고 해서 빅데이터 기술은 많은 양의 데이터를 처리하는 방법론에 국한할 수는 없다. 빅데이터 기술의 본질은 데이터를 가공하고 저장하는 방법이라기보다는 활용하는 방법론에 가깝다. 

지금까지 데이터는 인간이 특정 목적으로 만들어 놓은 구획 안에서 정렬되어 머물러있을 뿐이었다. 금융정보, 생산정보, 경영정보, 분석과 같이 특정 목적을 위해 시스템을 만들고 이에 합당한 데이터를 사용, 이동, 가공, 저장하고 있다. 데이터를 잘 분류하고 활용하는 것은 전적으로 인간의 몫이다. 활용의 범위도 인간의 지력이 닿는 곳까지이다.    

빅데이터는 점차 방대해지는 데이터를 가지고 새로운 가치를 만들어 낼 수 있지 않을까 하는 생각에서 시작되었다. 카드 결제 정보를 모아 특정 지역, 특정 시간에 매출 추이를 통해 상권분석으로 응용하고 차량의 위치 정보를 모아 네비게이션 서비스를 강화한다. 빅데이터는 바로 이 활용법에 주목한다. 


빅데이터가 바꾼 것 - 데이터에 대한 시각

싸이는 2001년에 데뷔한 중견 가수이다. 그는 2012년 7월 강남스타일을 유튜브에 올린 이후 세계적 스타로 발돋움했다. 그는 오바마에게 직접 말춤을 가르칠 정도로 명실공히 명사의 반열에 오르기도 했다. 

하지만 그것은 요즘 얘기일 뿐이다. 싸이는 대마초 흡연으로 물의를 일으킨 적도 있었다. 무엇보다 그는 두 번이나 군대에 간 흔치 않은 복무 이력을 가진 사람이었다. 한마디로 그는 평판이 좋은 가수는 아니었다. 그랬던 그가 2012년 여름을 거치면서 세상 사람들이 따라 하고 싶은 사람 중 한 명이 된 것이다. 

무엇이 달라졌을까? 싸이가 갑자기 환골탈태하여 악동에서 슈퍼스타로 탈바꿈한 것일까? 사실 싸이는 그대로이다. 지금도 그는 예전과 다름없어 보인다. 달라진 것은 바로 우리이다. 싸이를 지켜보는 우리의 눈이 달라진 것이다. 

빅데이터가 바꾸고 있는 것도 역시 우리의 시각이다. 빅데이터라는 단어가 나오기 전과 지금이나 데이터 자체는 달라진 것은 없다. 우리는 빅데이터를 통해 데이터가 그냥 데이터가 아니라는 점을 각성하게 되었다. 

농사를 짓는 사람과 부동산 업자가 가진 땅의 개념이 다른 것처럼, 데이터는 빅데이터의 시각을 가진 사람과 가지지 못한 사람에게 다른 개념으로 다가온다. 구글, 페이스북과 같은 무료 서비스들은 빅데이터 시각을 일찍이 깨우친 사람들이다. 

그들에게는 서비스 자체가 목적이 아니라 서비스를 통해 모이는 데이터가 목적이고 비즈니스 모델이다. 데이터의 시각을 달리함으로써 창출할 수 있는 가치는 무궁무진하다.   



빅데이터 활용법 - 탐정이 수사하듯

빅데이터는 데이터의 활용을 위해서도 다른 방법이 필요하다. 지금껏 데이터는 의도에 따라 현상을 반영하는 지표로 활용되거나 증명하기 위해 사용되었다. 예금의 잔액이나 매출 추이가 현상을 반영하는 것이라면, 특정 가설을 세워놓고 통계 데이터로 가설을 뒷받침하는 것은 의도를 증명하기 위함이다.

빅데이터가 가치를 더하기 위해서는 사고의 틀 안에 데이터를 끼워 맞추는 방식에서 벗어나야 한다. 특정 의도를 가지고 데이터를 정리, 정렬하는 것이 아니라 데이터를 따라가는 것이 빅데이터 활용법이다. 이는 마치 형사가 단서를 쫓아 범인을 찾아내는 것과 유사하다. 형사는 범인을 찾기 위해 사건의 주변에서 단서를 찾는다. 단서를 쫓으면서 용의자를 세우고, 용의자가 범인임을 입증하기 위해 증거를 확보한다. 

팰런티어(Palantir)는 빅데이터 분석으로 유명한 회사이다. 팰런티어는 아예 FBI와 같은 수사기관에서 활용 가능한 빅데이터 수사 솔루션을 제공한다. 이 시스템은 CCTV, 통화, 카드 기록 등 방대한 자료에 연결되어 있다. 

사건이 발생하면 수사관들은 팰런티어의 시스템을 통해 단서를 쫓는다. 탐문과정에서 나타난 피해자 주변 인물에 대해 사건 당시 무엇을 하고 있었는지를 이 시스템을 통해 찾고 증거로 제시한다. 용의자의 소재도 이 시스템을 통해 거의 실시간으로 파악할 수 있어 검거에 큰 도움을 준다.

수사관들의 업무 패턴은 빅데이터 활용법과 매우 가깝다. 이들의 업무를 그대로 시스템에 반영하는 것만으로도 탄탄한 빅데이터 솔루션이 탄생할 수 있었다. 빅데이터에서도 이와 같은 활용법이 필요하다. 데이터를 모아놓고 어떤 단서가 포착되면 가설을 용의 선상에 올려놓는다. 여러 가설 중 데이터를 증명, 기각하는 과정을 반복하면서 결정적인 인사이트를 얻게 된다.

예측 가능한 결론을 세워 놓고 이를 증명하는 데이터를 만드는 방법이 아닌 데이터를 추적하면서 의미를 찾는다. 그렇다면 우리가 당연히 그럴 것으로 생각하는 상식의 범주에 있는 것도 어쩌면 이러한 추적을 통해 뒤집어지는 일도 가능한 일이다.


빅데이터의 미래

데이터가 정보로, 정보가 지식으로, 이 지식은 궁극적으로 지혜로 발전하면서 가치가 증대된다는 이론이 있다. 이 이론은 빅데이터나 창의성을 얘기할 때 자주 거론된다. 그 이유는 부가가치를 극대화할 수 있는 것은 지식에 창의성을 가미한 것이기 때문이다. 

비가 오는 현상을 수치로 표현한 것이 데이터라면 이를 확률로 표시한 것은 정보이다. 이 확률에 따라 생활에 대한 행동을 체계화한 것이 지식이다. 여기에 다른 정보를 더하거나 빼는 창의적인 과정을 거치면 지혜로 거듭난다. 예를 들면 빵의 매출 정보를 연결해보니 마른 날에는 샌드위치가 잘 팔리고 비가 오면 피자빵 같은 조리빵이 잘 팔린다는 사실을 알게 되어 영업에 활용하는 것을 의미한다. (조선비즈 2012.11.15)

빅데이터의 미래는 데이터에서 지혜를 발현하는 방향으로 가게 될 것으로 보인다. 지금단계는 데이터를 합쳐 그 관계를 분석하여 활용하는 정도에 그치겠지만, 시간이 지나게 되면 데이터 추론 방법도 급속도로 발달할 것이다.

현재 화제가 되고 있는 IoT(사물인터넷)은 우리 주변의 상태를 데이터로 만들어 준다. IoT가 생활에 깊숙이 파고들게 되면 데이터의 양과 다양함은 급속하게 증가할 것이다. IoT 서비스 사업자들은 수집된 데이터들에 새로운 가치를 부여하기 위해 활용하고자 할 것이다. 이때 가장 유용한 방법은 역시 빅데이터일 것이다. 

인공지능과 통계기법들은 빅데이터 영역으로 편입되어 데이터에서 패턴이나 인사이트를 도출하는 것에 도움을 줄 것이다. 또한, 서비스를 강화하는 데 필요한 데이터를 수집하기 위한 서비스도 개발되는 선순환 구조도 예상할 수 있다.



빅데이터는 데이터에 대한 시각의 변화로 시작한다. 이후 연역적으로 세상을 알아가던 인간의 탐구 패턴을 철저히 데이터 위주의 귀납으로 선회시킬 것이다. 귀납적 방식은 인간 사고양식도 영향을 끼쳐 인공지능, 통계, 수학 등의 분야가 주목을 받을 수도 있다. 이 모든 상황을 비추어 보면 빅데이터는 단지 시각의 다양성, 방법론의 발전을 넘어 앞으로 세상 그 자체를 바꾸는 Big Thing이 될 것으로 전망한다.

   

저작자 표시 비영리 변경 금지
신고
댓글
댓글쓰기 폼