개인정보보호, 소프트웨어 정책
최근 ICT 기술의 발전으로 저장 시스템이 저렴해지고, 많은 데이터를 빠르게 처리하는 것이 가능해지면서 빅데이터(BigData)에 대한 많은 관심이 집중되고 있다. 특히 스마트폰과 모바일 인터넷 서비스 활성화에 따라 사용자의 데이터 이용이 폭발적으로 증가하고 있다. 과거 초고속 인터넷 확산이 정보화에 크게 일조한 것과 같이 거대한 분량의 데이터는 사람과 비슷한 수준의 지식을 만들어 내는 빅데이터 처리 기술 발전의 근간이 되었고, 선진국을 중심으로 다양한 사례가 보고되고 있다. 본고는 확산 일로에 있는 빅데이터 관련 이슈를 정리하고 최근의 표준화 활동에 대해서 살펴본다.
빅데이터는 큰 데이터를 말한다. 단순히 큰 데이터가 아니라 다음의 3가지 특징을 가지는 큰 데이터를 일반적인 빅데이터로 정의하고 있는데, 부피가 크고, 변화의 속도가 빠르며, 데이터의 속성이 너무도 다양한 데이터를 지칭한다.
산업계에서 빅데이터를 바라보는 시각은 크게 두 가지로 분류할 수 있다. 하나는 비정형 데이터를 중심으로 효과적으로 데이터를 처리하는 기술과 정형 데이터베이스에서 대규모 저장 시스템을 연구하는 분야이다. 지금까지 업계에서 이야기되고 있는 빅데이터는 전자에 속하는 분야이며, 후자의 빅데이터는 기존의 대용량 데이터베이스와 장비 시장을 장악하고 있는 글로벌 기업들을 중심으로 부각되고 있는 기술로 광의의 빅데이터를 의미한다.
한 빅데이터를 데이터베이스 기술과 혼동하는 경우가 많으나 데이터베이스 기술은 이미 목적을 정하고 여기에 맞도록 데이터를 어떻게 하면 효과적으로 저장하고 분석할 수 있을까 하는 기술이다. 최근에는 이렇게 잘 가공된 데이터가 아닌 버려지고 있는 데이터들에 대한 관심이 부각되면서 기술에 변화를 가져왔다. 특히 대상이 되는 데이터를 전부 처리하는 것이 아니라 클러스터링과 필터링 방식을 통해 데이터를 효과적으로 걸러내는 기술이 등장하면서 더욱 활발해 졌다.
기존의 버려지고 있는 데이터들은 분석할 가치가 있는지를 알지 못하기 때문에 많은 비용을 들여서 처리하는 것이 비효율적이었다. 하지만 원시 데이터를 클러스터링하고 필터링하여 활용 가능성이 있는 데이터를 취사 선택하는 기술은 적은 비용으로 새로운 가치를 발굴할 수 있게 했다. 이는 데이터 처리 기술의 발전과 컴퓨팅 속도의 발전으로 가능하게 된 것이다.
출처 : 한국전자통신연구원 창의미래연구소
붙임자료