어제보다 나은 오늘

빅데이터를 데이터 그 자체로 인식하는 오해가 존재한다. 그 이유는 아마도 빅데이터를 설명할 때 데이터의 속성을 가지고 설명하기 때문이라 생각한다. 하지만 빅데이터로 분류할 수 있는 데이터는 사실상 존재하지 않는다. 크다는 것, 비정형이라는 것 모두 상대적인 개념이기 때문이다. 빅데이터는 데이터 그 자체가 아니라 데이터를 가지고 무엇을 할 수 있는가에 초점이 맞추어져야 한다. 데이터를 기반하여 앎의 기초를 다지고 데이터로 자신의 생각을 증명하며 데이터에서 못 보던 무언가를 보는 것 이러한 것들이 빅데이터라 생각한다. 빅데이터 Myth 첫 번째로 이러한 오해를 깨고자 한다. Big Data Myth 1. 우리 회사엔 빅데이터가 없어요 from 김 한도

많은 사람들이 빅데이터를 말하고 그 보다 더 많은 사람들이 빅데이터에 대해 듣기를 원한다. 빅데이터에 대한 그 많은 얘기 속에 올바른 이해만 있는 것은 아닌 것 같다. 빅데이터는 어려운 개념이다. 빅데이터를 잘하는 것은 그보다 더 어렵다. 지금과 빅데이터와 비슷한 것은 있었지만 그 비슷한 것들을 잘, 아주 잘 모아야만 한다. 빅데이터는 적토마와 같다. 강력하지만 길들이기가 여간 까다롭지 않다. 잘만 다룬다면 상상 이상의 효과를 발휘할 수 있지만 잘 다루기는 너무나 어렵다. 빅데이터에 대해 많은 사람들의 얘기를 들었다. 제대로 끈기를 가지고 접근하려는 사람도 있지만 그렇지 못 한 경우도 많이 보았다. 쉽게 도전하고 몇 번의 실패로 빅데이터를 폄하하는 사람, 오해에서 비롯된 잘못된 이해로 빅데이터를 애써 무..

데이터가 우리 눈 앞에 펼쳐지기까지 from 김 한도 4월 7일 데이터 비주얼라이제이션 컨퍼런스에서 발표했던 내용입니다. 고성능 빅데이터 솔루션 회사가 비주얼라이제이션 컨퍼런스에서 할 수 있는 얘기가 뭘까를 고민하다가 시각화를 위해서 대용량 데이터가 가공될 때 가장 중요한 것은 무엇일까로 초점을 맞추었습니다. 이 이야기를 보다 이해하기 쉽게 풀어내기 위해 음식을 만드는 과정을 차용하였습니다. 그랬더니 자연스럽게 음식이 식탁 앞에 차려지기 전까지로 주제가 변하더군요. 맛있는 음식을 식탁에 차린 것을 시각화라고 한다면 데이터 수집은 식자재를 모으는 것, 가공은 재료를 다지는 것, 그리고 분석은 레시피로 바로 짝을 이루게 되더라구요. 사실 빅데이터에서도 분석은 전략입니다. 어떤 결과를 어떻게 만들지를 정하게 ..

몇 년 전부터 빅데이터라는 말이 자주 들려온다. IT에서만 사용되던 용어가 공중파에서 다큐멘터리로 방영되더니 이제는 카드 회사가 빅데이터로 경쟁하고 있다. 빅데이터라는 용어가 일반화되기 시작한 것은 불과 3년 남짓하다. 3년 만에 데이터가 갑자기 늘어나지는 않았을 텐데도 빅데이터는 세상을 바꿀 듯이 밀어닥치고 있다. 빅데이터, 양보다는 활용이 중요 가트너는 양, 속도, 다양성이라는 세 가지 요소로 빅데이터를 정의했다. 이를 굳이 끌어오지 않더라도 빅데이터는 데이터 양의 문제만은 아니다. 물론 데이터가 많아지고 있다는 것은 주목할 만한 현상이다. 그렇다고 해서 빅데이터 기술은 많은 양의 데이터를 처리하는 방법론에 국한할 수는 없다. 빅데이터 기술의 본질은 데이터를 가공하고 저장하는 방법이라기보다는 활용하는..