Big Data 시대의 흐름

  • POSTED BY iendev
2017년 오늘을 살고 있는 누군가라도 한번쯤 Big Data란 용어를 들어본 적 있으실 듯 합니다. 특히나 IT 업계에 종사하시는 분들은 ICBM (IoT, Cloud, Big Data, Machine Learning) 이라는 용어와 함께 Big Data의 압력을 조금이나마 느껴 보실 수 있으실 듯 합니다. 이 글에서는 Big Data 시대의 의미에 대해 잠깐 적어보고자 합니다.

Big Data 란 말그대로 Data의 폭주(저는 감히 이렇게 표현합니다) 상태를 의미합니다. IT Media의 발달과 함께 다양한 Source로 부터 감당할 수 없는 만큼의 Data가 쏟아지고 있습니다. 유무선 통신 Media, Email, Online 금융 Transaction, Sensor Network, IoT (Internet of Things), 다양한 IT System의 Log들과 Social Media 등.. 말그대로 Data 가 Big 한 세상에 살고 있습니다.

미국 뉴욕 증권 시장에서는 매일 2천억건의 주식이 거래되고 있습니다. Google은 하루에만 천억개의 단어를 번역합니다. Youtube에는 1Petabyte의 동영상이 매일 Upload 되고 있습니다.  Twitter에는 매분마다 35만개의 Tweet이 올라오고 있습니다. 예를 들자면 끝도 없으니 이정도만 하겠습니다.

오늘날의 Data의 특성을 흔히 3V로 정의하는 사람들이 많습니다. 첫째, 크기(Volume) 입니다. 일반적으로 수십 Petabyte급 이상의 Data를 말합니다. 다시말해 기존의 IT Infra가 저장하기 힘든 환경입니다. 둘째, 속도(Velocity) 입니다. 사회의 모든 Transaction의 Log들은 실시간으로 쏟아지며 크만큼의 처리 속도를 요구합니다. 셋째, 다양성(Variety) 입니다. 고전적인 정형화된(Structured) Data 뿐 아니라 비정형화(Unstructured) Data 까지 다양한 Data들이 나타나고 있습니다.

여기서 한가지 눈여겨 봐야 할 점이 있다면, Business 관점에서 Big Data는 새로운 가치를 창출하고 있다는 점입니다. 방대한 Data를 축적한 후, 새로운 정보나 지식을 만들어내는 것입니다. 예를 들자면, 전자상거래 업체의 상품 추천, 제조업의 Smart Factory, 신용카드사의 부정거래 탐지, Trend 분석을 통한 최적 재고를 실현하는 의류 기업 등..

지금까지 적어본 Big Data 시대의 흐름 속에서 Data를 처리하기 위한 다양한 IT 기술들이 등장하게 됩니다. 그중 가장 대표적인 기술이 Hadoop입니다. Hadoop에 관해서는 다음 글에서 또 언급하기로 하겠습니다.
CREATIVE COMMONS LICENSE
Creative Commons License
RELATED POST
2017/11/08 16:17 2017/11/08 16:17
TRACKBACK URL : http://blog.iendev.kr/trackback/244
« PREV : 1 : 2 : 3 : 4 : 5 : 6 : ... 85 : NEXT »
COPYRIGHT(C) 2003-2017 iendev, ALL RIGHTS RESERVED.
TEXTCUBE REMASTERED BY iendev, IS Nature 0.1 black