빅데이터

빅데이터라는 표현이 나오면 항상 따라오는 말이 바로 하둡(Hadoop)이다. 막대한 양의 데이터를 접속 가능하게 만든 기술이 바로 오픈소스 아파치 하둡 프로젝트(Apache Hadoop project)에 기반한 것이었기 때문이었다. 외부에서 들여다보면,…

최근 정보화 분야의 화두인 빅데이터 분야에서 공공부문의 빅데이터 공통기반 개념정립 및 학술데이터의 공유?활용을 위한 키워드 검색 방안 마련 필요에 의하여 수행된 을 안전행정부에서 수행하였습니다. 공공 빅테이터 서비스의 방향성 및 관련 분야 생태계의 활성화를…

빅데이터 분석 기술과 방법들은 통계학과 전산학에서 사용하던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 해당된다. 특히 최근 소셜 미디어등 비정형 데이터의 증가로 인해 분석기법들 중에서 텍스트 마이닝, 오피니언 마이닝, 소셜네트워크 분석, 군집분석…

빅데이터를 분석하기 위하여 하둡(Hadoop)의 분산처리 지원은 수집, 저장에서 유용하나 분석시 분산처리를 적용할 경우 해당 알고리즘의 구조가 분산처리를 하여도 정보의 왜곡이 발생하는가를 검토하여야 한다. 분석 시 적용하는 알고리즘이 분산처리가 가능한 알고리즘이…