어제보다 나은 오늘

빅데이터를 데이터 그 자체로 인식하는 오해가 존재한다. 그 이유는 아마도 빅데이터를 설명할 때 데이터의 속성을 가지고 설명하기 때문이라 생각한다. 하지만 빅데이터로 분류할 수 있는 데이터는 사실상 존재하지 않는다. 크다는 것, 비정형이라는 것 모두 상대적인 개념이기 때문이다. 빅데이터는 데이터 그 자체가 아니라 데이터를 가지고 무엇을 할 수 있는가에 초점이 맞추어져야 한다. 데이터를 기반하여 앎의 기초를 다지고 데이터로 자신의 생각을 증명하며 데이터에서 못 보던 무언가를 보는 것 이러한 것들이 빅데이터라 생각한다. 빅데이터 Myth 첫 번째로 이러한 오해를 깨고자 한다. Big Data Myth 1. 우리 회사엔 빅데이터가 없어요 from 김 한도

데이터가 우리 눈 앞에 펼쳐지기까지 from 김 한도 4월 7일 데이터 비주얼라이제이션 컨퍼런스에서 발표했던 내용입니다. 고성능 빅데이터 솔루션 회사가 비주얼라이제이션 컨퍼런스에서 할 수 있는 얘기가 뭘까를 고민하다가 시각화를 위해서 대용량 데이터가 가공될 때 가장 중요한 것은 무엇일까로 초점을 맞추었습니다. 이 이야기를 보다 이해하기 쉽게 풀어내기 위해 음식을 만드는 과정을 차용하였습니다. 그랬더니 자연스럽게 음식이 식탁 앞에 차려지기 전까지로 주제가 변하더군요. 맛있는 음식을 식탁에 차린 것을 시각화라고 한다면 데이터 수집은 식자재를 모으는 것, 가공은 재료를 다지는 것, 그리고 분석은 레시피로 바로 짝을 이루게 되더라구요. 사실 빅데이터에서도 분석은 전략입니다. 어떤 결과를 어떻게 만들지를 정하게 ..

파일과 RDBMS(이후 DB). 몇 년 전까지만 해도 데이터를 저장하는 가장 일반적인 방법이었다. 우선 파일은 관리 비용이 저렴하지만 파일을 처리하기 위해서는 파일 전체를 메모리에 올려야하는 단점이 있다. 다시 말해 1GB 파일에서 1KB를 읽어오려면 메모리에 1GB 전체를 올려야 한다. 게다가 동시에 두 사람 이상 변경할 수 없다. DB는 이러한 단점을 해결해 주었다. 데이터가 몇 백 GB가 있다고 해서 1KB의 데이터를 찾아오거나 변경하는 데 아무 문제가 없다. DB가 보유한 트랜잭션 처리 메커니즘은 두 사람 이상이 동시에 변경을 가해도 순차적으로 처리해 주는 동시성, 적합성을 보장해 주었다. 이러한 장점에 힘입어 RDBMS는 근 10년 동안 전성기를 구가해 왔다. 그러나 2010년대를 지나 하둡의 ..

IBM이라는 회사가 막강한 HW를 가지고 시장에 군림할 때 MicroSoft는 SW를 무기로 시장의 주도권을 획득하기 시작했던 시기가 있었다. 그 후 약 20여년이 지난 지금은 SW회사가 HW를 인수하여 시너지를 낼 정도로 이제는 명실공히 SW 회사가 시장을 주도해 나가고 있다고 당당히 말할 수 있으며 앞으로도 이러한 움직임은 지속될 듯 하다. 다소 앞선 감이 없지는 않지만 이제는 SW의 주도권을 대체할 만한 움직임을 생각해 볼 필요가 있을 것 같다. 그런데 컴퓨터가 도입되고 나서 엔터프라이즈용 솔루션으로 IBM이 주도권을 잡는데 걸렸던 시간, 그리고 MicroSoft를 거쳐 Oracle 등 SW회사들이 주도권을 잡는데 걸렸던 시간 등을 감안해 보면 앞으로 새로운 패러다임으로 IT시장이 재편되는 데는 수..