개인정보보호, 소프트웨어 정책
빅데이터 분석모델 특성
빅데이터는 다양하고 대량의 데이터 자체를 지칭하나 오늘날 빅데이터가 중요하게 여기는 것은 데이터 자체가 아니라 데이터를 통하여 다양한 문제를 해결하는데 원천이라는 점에서 그 중요성을 가진다.
이는 빅데이터의 특성으로 통찰력(insight)을 찾기 위해서는 정보의 수집뿐만 아니라 이를 분석하는 기술이 중요한 요인으로 자리 잡고 있다.
과거 분석기술은 개념적 지식화 모델인 DIKW모델의 “정보(information)”단계까지 성숙하였으나 정보기술의 한계로 인하여 지식(Knowledge) 단계의 초기까지 진입하는데 그치고 말았다. 빅데이터 시대를 맞이하여 정보기술의 발전으로 지식화 모델을 이루는 기술이 더욱 정교하게 발전하고 있다.
현재 빅데이터의 분석모델은 빅데이터를 기반으로 다양한 분석기법에 따른 분석모델의 발전으로 “진단분석단계”를 넘어 “예측분석단계”가 성장기에 진입하고 있다.
- 서술적 분석(Descriptive Analytics) : 과거에서 현재 데이터를 통해 무엇이 일어났고, 일어나고 있는지를 파악하기 위한 분석으로 특정 시점 또는 특정 기간에 발생한 결과를 보여주는 간단한 보고서 및 시각화를 제공한다.
- 진단 분석(Diagnostic Analytics) : 과거 데이터를 통해 왜 일어났는지 찾기 위한 분석으로 발생 패턴을 파악하거나, 데이터 분류 또는 원인의 요인을 찾는 분석으로 고급 기능을 통해 분석가는 데이터를 자세히 조사하고 주어진 상황의 근본 원인을 파악한다.
- 예측 분석(Predictive Analytics) : 현재 생성되는 데이터를 통해 무엇이 일어날 것인지 예측하는 것으로 현재 상태에 대한 확률을 구하여 현상을 예측하는 분석으로 고급 알고리즘인 인공지능과 기계 학습 기술을 사용한다.
- 규범 분석(Prescriptive Analytics) : 규범 분석은 조직에 원하는 결과를 달성하기 위해 수행해야 할 작업을 알려준다.
빅데이터 분석 유형 분류
구분 |
서술 (Descriptive) |
진단 (Diagnostic) |
예측 (Predictive) |
규범 (Prescriptive) |
질문에 대한 답변… |
What happened? |
Why did it happen? |
What will happen Next? |
What should I do? |
•무엇이 일어났는가? |
•왜 일어났는가? |
•무엇이 일어날것인가? |
•무엇을 할 것인가? |
|
분석 방법 |
•통계량, 확률 분포, 상관 관계, 회귀, 보고 및 시각화 |
•군집 및 요인분석, 다중회귀분석, 베이지안군집, KNN, 자체구성맵, 주요성분분석, 그래프및 친화도분석. |
•시계열분석, 계량분석, 의사결정트리, 앙상블, 부스팅, 지원벡터머신, 신경망, 나이브베이즈분류기. |
•민감도 및 시나리오 분석, 선형 및 비선형 프로그래밍,•몬테 카를로 시뮬레이션 |
분석 수준 |
•낮음 |
•중간 |
•높음 |
•매우 높음 |
AI와 머신 러닝을 통합합니까? |
•보통은 아님 |
•가끔 |
•일반적으로 |
•항상 |
성숙 수준 |
•거의 모든 조직에서 사용 |
•많은 조직에서 사용 |
•성장하는 조직에서 사용 |
•아직 널리 퍼지지 않음 |
-
DIKW 모델은 데이터 피라미드 또는 지식 피라미드라고 불리는 DIKW 피라미드는 데이터(D), 정보(I), 지식(K), 지혜(W)의 상관관계를 설명하는 데 유용하다. 데이터는 관찰이나 조사에서 얻은 사실을 말하는데 컴퓨터가 처리할 수 있는 문자, 숫자, 소리, 그림 따위의 형태로 된 자료를 말한다. 정보는 관찰이나 측정을 통해 얻은 데이터를 기초로 의사결정이나 문제해결을 위한 메시지 또는 의미를 담고 있는 지식이나 자료를 뜻한다.
빅데이터의 분석모델(Analytics model)에 적용되는 알고리즘(Algorithm)들은 적은 입력 오류 값을 스스로 기각하며 결과를 생성하는 특성이 있어 데이터 품질이 결과에 미치는 영향도가 전통적 분석기법보다 상대적으로 적어지는 특성을 보인다.
-
분석모델(Analytics model)은 어떤 현상 또는 프로세스를 해결 가능한 방정식의 집합으로 표현한 것.
알고리즘(Algorithm)은 어떤 문제를 해결하기 위해 정해진 일련의 절차나 방법.