빅데이터, 미래를 향한 변화의 시작

 

안녕하세요. DEMA Studio입니다. 오늘 제가 소개하고자 하는 주제는 ‘빅데이터‘입니다.

실화를 바탕으로 한 영화 <머니볼>

 

 

메이저리그 만년 최하위에 그나마 실력 있는 선수들은 다른 구단에 뺏기기 일수인 ‘오클랜드 애슬레틱스’. 돈 없고 실력 없는 오합지졸 구단이란 오명을 벗어 던지고 싶은 단장 ‘빌리 빈(브래드 피트)’은 경제학을 전공한 ‘피터’를 영입합니다. 그들은 기존의 선수 선발 방식과는 전혀 다른 파격적인 ‘머니볼’ 이론을 따라 새로운 도전을 시작합니다. 모두가 미친 짓이라며 그를 비난하지만, 그는 경기 데이터에만 의존해 사생활 문란, 잦은 부상, 최고령 등의 이유로 다른 구단에서 외면 받던 선수들을 팀에 합류시킵니다. 결국 빌리와 애슬레틱스 팀은 ‘머니볼’의 기적을 이루게 됩니다.

 위의 영화 속 주인공은 기존 스카우터의 직관에 의존하던 선수 선발과 구성을 데이터 분석을 통해 승리에 필요한 가치에 따라 선수를 선발하고 활용하여 성공을 이루었습니다. 이처럼 빅데이터를 이용하여 성공을 거둔 사례는 주변에서 쉽게 찾아 볼 수 있습니다.

빅데이터란 무엇인가

 

 

 빅데이터란 데이터의 생성 양ㆍ주기ㆍ형식 등이 기존 데이터에 비해 너무 크기 때문에, 종래의 방법으로는 수집ㆍ저장ㆍ검색ㆍ분석이 어려운 방대한 데이터를 말합니다. 처음엔 거대 데이터 집합만을 지칭했으나 점차 관련 도구, 플랫폼, 분석기법까지 포괄하는 용어로 받아들여지고 있습니다.

 빅데이터는 초대용량의 데이터 양(volume), 다양한 형태(variety), 빠른 생성 속도(velocity)라는 뜻에서 3V라고도 불리며, 여기에 네 번째 특징으로 가치(value)를 더해 4V라고 정의하기도 합니다. 빅데이터에서 가치(value)가 중요 특징으로 등장한 것은 엄청난 규모뿐만 아니라, 시간이 지나면서 매우 빠르게 전파하며 변함에 따라 그 전체를 파악하고 일정한 패턴을 발견하기가 어렵게 되면서 가치(value) 창출의 중요성이 강조되었기 때문입니다.

빅데이터에 대한 주목

 

 

“향후 10년 내 세상을 바꿀 가장 중요한 기술” 

-2008년 Nature

"인터넷 이후 기업에 가장 큰 영향을 미칠 것으로 기대되는 것이 빅데이터이다" 

-2011년 Garthner

그렇다면 우리는 왜 최근에서야 ‘빅데이터’에 주목을 하게 되었을까요? 빅데이터는 각종 센서와 인터넷의 발달로 데이터가 늘어나면서 나타났습니다. 최근 들어 빅데이터가 이슈로 떠오르게 된 배경에는 크게 네가지가 있습니다. 네트워크 시스템의 발달, 정보 저장 기술의 발달, 정보 처리 기술의 발달, 정보 분석 기술의 발달입니다.

 우리에게도 테라바이트 급의 정보가 일반적인 크기가 되어버린 현대에, 정보의 양이 증가하는 속도는 상상을 초월합니다. 이처럼 매우 빠른 속도로 새로운 정보가 늘어날 뿐만 아니라, 정보 해석의 기술 역시 발달함에 따라 기존에는 해석하지 못했던 정보를 해석할 수 있게 되었고 여태까지 쓸모없는 정보로 분류되어왔던 것들이 그 의미를 찾으면서 정보의 양이 급격하게 증가하게 되었습니다.

 

빅데이터의 활용

 

 아마존 닷컴의 추천 상품 표시는 모든 고객들의 구매 내역을 데이터베이스에 기록하고, 이 기록을 분석해 소비자의 소비 취양과 관시사를 파악한 뒤 나온 것입니다. 이처럼 아마존은 빅데이터의 활용을 통해 고객별로 추천 상품을 표시하고 있습니다.

 또한 몇 년 전, 구글은 독감 관련 검색어 연구에 착수했고, 연구 결과 단어 검색량을 보면 실제 독감 환자 수, 유행 지역 등을 예측할 수 있다는 사실을 발견했으며 2009년 네이쳐지에서는 <검색 엔진의 검색어 데이터를 활용한 인플루엔자 전염성 감지>라는 논문을 실었습니다.

 

 

위의 그래프를 보면 실제로 독감 환자 수와 예상치가 거의 일치함을 볼 수 있습니다. 이처럼 몇 가지 사례에서 볼 수 있듯이 빅데이터는 모든 분야에서 다양하게 활용되고 있습니다. 

빅데이터의 미래

 

 빅데이터를 이용하는데 있어서 가장 중요한 것은 데이터 마이닝이라고 할 수 있습니다. 즉, 데이터 무더기 속에서 자신에게 가치 있는 자료를 여과해내는 기술이 더욱 중요해질 것입니다. 이러한 빅데이터를 조금 더 유용하고 효율적으로 이용할 수 있게 하는 기술을 확보할 수 있다면 그야말로 큰 경쟁력이 될 것입니다. 또한 현재 우리는 세상의 많은 것들을 데이터화하기 위해 노력하고 있으며, 결국에는 모든 것이 데이터화가 가능할 것이고, 그곳에서 우리는 새로운 의미와 가능성을 찾을 수 있을 것입니다. 그것이 빅데이터가 세상을 바꾸는 방식이 될 것입니다.  

 

 일부 학자들은 빅데이터를 통해 인류가 유사 이래 처음으로 인간 행동을 미리 예측할 수 있는 세상이 열리고 있다고 주장하기도 합니다. 어떤 미래가 다가올지는 모르지만, 빅데이터에 의한 세상의 변화가 필연적인 것만은 확실합니다. 그 변화의 중심에서 우리는 어떠한 역할을 할 수 있을지 고민해볼 필요가 있을 것입니다.

 

 

 

(DEMA EYES_최영림)