어제보다 나은 오늘

빅데이터를 데이터 그 자체로 인식하는 오해가 존재한다. 그 이유는 아마도 빅데이터를 설명할 때 데이터의 속성을 가지고 설명하기 때문이라 생각한다.  하지만 빅데이터로 분류할 수 있는 데이터는 사실상 존재하지 않는다. 크다는 것, 비정형이라는 것 모두 상대적인 개념이기 때문이다. 빅데이터는 데이터 그 자체가 아니라 데이터를 가지고 무엇을 할 수 있는가에 초점이 맞추어져야 한다. 데이터를 기반하여 앎..

많은 사람들이 빅데이터를 말하고 그 보다 더 많은 사람들이 빅데이터에 대해 듣기를 원한다. 빅데이터에 대한 그 많은 얘기 속에 올바른 이해만 있는 것은 아닌 것 같다. 빅데이터는 어려운 개념이다. 빅데이터를 잘하는 것은 그보다 더 어렵다.  지금과 빅데이터와 비슷한 것은 있었지만 그 비슷한 것들을 잘, 아주 잘 모아야만 한다. 빅데이터는 적토마와 같다. 강력하지만 길들이기가 여간 까다롭지 않다.  잘만 다룬다면 상상 이상..

데이터가 우리 눈 앞에 펼쳐지기까지 from 김 한도 4월 7일 데이터 비주얼라이제이션 컨퍼런스에서 발표했던 내용입니다.  고성능 빅데이터 솔루션 회사가 비주얼라이제이션 컨퍼런스에서 할 수 있는 얘기가 뭘까를 고민하다가 시각화를 위해서 대용량 데이터가 가공될 때 가장 중요한 것은 무엇일까로 초점을 맞추었습니다.  이 이야기를 보다 이해하기 쉽게 풀어내기 위해 음식을 만드는 과정을 차용하였습니다. 그랬더니 자연스럽게 음식..

파일과 RDBMS(이후 DB). 몇 년 전까지만 해도 데이터를 저장하는 가장 일반적인 방법이었다. 우선 파일은 관리 비용이 저렴하지만 파일을 처리하기 위해서는 파일 전체를 메모리에 올려야하는 단점이 있다. 다시 말해 1GB 파일에서 1KB를 읽어오려면 메모리에 1GB 전체를 올려야 한다. 게다가 동시에 두 사람 이상 변경할 수 없다. DB는 이러한 단점을 해결해 주었다. 데이터가 몇 백 GB가 있다고 해서 1KB의 데이터를 찾아오거나 변경하는 데..

   놀란의 인간과 기계와의 관계에 대한 시각은 맘에 든다. 작년 이어령 교수는 빅데이터 컨퍼런스에서 인간을 연구하는 인문학은 이제 끝났다고 선언했고 이후 고민이 시작되었다.    빅데이터는 머신 러닝 기술과 함께 성장할 것이고 스카이넷이 등장하지는 않더라도 기계가 인간을 압도하는 날이 오게 되는 것은 아닐까하는 두려움도 있었다. 만약 그렇다면 지금 기술 발전은 인류를 해치는 쪽으로 질주하는 것이..