경영학 — 빅데이터 3V 특성·데이터마이닝

판시사항

빅데이터(Big Data)는 기존 데이터 처리 기술로는 관리·분석이 어려울 만큼 방대하고 다양하며 빠르게 생성되는 대규모 데이터 집합을 의미한다. 빅데이터의 특성은 최초 가트너(Gartner)가 정의한 3V로 표현된다: ① Volume(규모): 수 테라바이트~페타바이트 이상의 방대한 데이터 양, ② Velocity(속도): 실시간 또는 매우 빠른 속도로 생성·처리·전송되는 속성(스트리밍 데이터 등), ③ Variety(다양성): 정형(Structured, DB 표 형태) · 반정형(Semi-structured, XML·JSON) · 비정형(Unstructured, 텍스트·영상·SNS) 데이터 모두를 포함. 이후 Veracity(정확성·신뢰성)와 Value(가치)를 추가하여 5V로 확장하기도 한다. 데이터마이닝(Data Mining)은 대규모 데이터에서 통계·머신러닝 기법을 활용하여 숨겨진 패턴·규칙·지식을 추출하는 과정이다. 주요 기법: ① 분류(Classification): 기존 분류 기준으로 새 데이터 범주 예측(의사결정트리, SVM 등), ② 군집화(Clustering): 유사한 데이터끼리 자동 그룹화(k-means 등), ③ 연관규칙 학습(Association Rule): 데이터 간 동시 발생 패턴 발견(장바구니 분석), ④ 회귀 분석(Regression): 변수 간 수치 관계 예측, ⑤ 이상 탐지(Anomaly Detection): 정상 패턴 벗어난 이상값 탐지(금융사기 탐지). 빅데이터 처리 기술로는 하둡(Hadoop, 분산 저장·처리)과 스파크(Spark, 실시간 처리)가 대표적이며, 비즈니스 인텔리전스(BI)·인공지능(AI)과 결합해 경영 의사결정 지원에 활용된다.