[Bigdata] - 빅데이터 기초 04 : 엔터프라이즈 기술과 빅데이터 비즈니스 인텔리전스
in ML on Ml, Bigdata
목차
온라인 트랜잭션 처리 (OLTP)
트랜잭션 지향 데이터를 처리하는 소프트웨어 시스템이다. 온라인 트랜잭션은 실시간으로 처리가 완료됨을 나타내며, 일괄 처리되지 않는다. 온라인 트랜잭션 처리 시스템이 지원하는 쿼리문은 1초 미만의 응답시간을 갖는 간단한 삽입, 삭제 및 업데이트 작업으로 구성된다. 티켓 예약 시스템, 뱅킹 및 POS 시스템이 그 예이다.
온라인 분석 처리(OLAP)
온라인 분석 처리 시스템은 데이터 분석 쿼리 처리에 사용된다. 데이터 출처 뿐만 아니라 데이터를 수신할 수 있는 데이터 싱크 역할을 할 수 있다는 점에서 빅데이터와 연관이 있다. 진단, 예측 및 규범적 분석을 수행할 수 있다.
고급 분석 수행을 위해 구조가 최적화된 다차원 데이터베이스를 대상으로 실행 시간이 긴 복잡한 쿼리를 수행한다.
추출 변환 적재 (ETL)
출처가 되는 시스템에서 대상 시스템으로 데이터를 불러오는 프로세스이다. 필요한 데이터가 출처에서 처음으로 추출되고, 추출된 후 규칙에 의해 수정되거나 변형된 것을 보여준다. 마지막으로 데이터가 대상 시스템에 삽입되거나 불러오게 된다.
데이터 웨어하우스
중앙의 전사적 데이터 저장소이다. 다양한 분석 쿼리를 실행하기 위해 비즈니스 인텔리전스에서 주로 사용되며 다차원 분석 쿼리를 지원하기 위해 일반적으로 온라인 분석 처리 시스템과 상호작용한다.
기업 전체에서 주기적으로 데이터를 가져올 경우 주어진 데이터웨어하우스에 포함된 데이터의 양은 계속 증가할 것이다. 이런한 단점을 해결하기 위해 데이터 웨어하우스에는 일반적으로 보고 데이터베이스와 분석 데이터베이스로 최적화된 데이터베이스가 포함되어 있다.
데이터 마트
데이터 마트는 일반적으로 부서, 부분 또는 특정 사업 라인에 속하는 데이터 웨어하우스에 저장된 데이터의 하위 집합이다.
전통적 비즈니스 인텔리전스
설명 및 진단 분석을 사용하여 과거 및 현재 이벤트에 대한 정보를 제공한다.
애드혹 보고
데이터를 수동으로 처리하여 맞춤형 보고서를 작성하는 과정이다. 특정 영역에 초점을 맞춘다.
대시보드
전체적인 관점을 제공한다. 주기적으로 실시간 또는 거의 실시간으로 정보가 생성된다. 막대 차트, 파이 차트 및 게이지를 사용하여 도식화하여 표시된다.
빅데이터 비즈니스 인텔리전스
데이터 웨어하우스에서 정리되고 통합된 전사적 데이터를 처리하고 반정형 데이터 소스 및 비정형 데이터 소스와 결합하여 기존 비즈니스 인텔리전스를 기반으로 구성된다. 예측 분석 및 처방 분석을 모두 포함한다.
전통적인 비즈니스 인텔리전스 분석은 개별 프로세스에 중점을 두지만 빅데이터 비즈니스 인텔리전스는 여러 비즈니스 프로세스에 동시에 초점을 맞춘다. 이를 통해 기업 내에서 보다 광범위한 범위의 패턴과 이상치를 파악할 수 있다.
전통적인 데이터 시각화
대부분 정적인 차트와 그래프를 보고서와 대시보드에 제공하는 반면, 최근의 데이터 시각화 도구는 대화형이며 데이터에 대한 요약과 좀 더 다양하고 자세한 시각을 제공한다.
빅데이터 시각화
정형, 반정형 그리고 비정형 데이터 소스에 원활하게 적용할 수 있는 데이터 시각화 도구가 필요하며, 수백만 개의 데이터를 처리할 수 있어야 한다. 대기 시간을 줄이는 인메모리 분석 기술을 사용한다. 고급 데이터 시각화 도구는 예측, 분석 처방 분석 및 데이터 변환 기능을 통합한다.
- 통합 : 여러 상황에서 전체적으로 요약된 데이터 시각을 제공한다.
- 드릴다운 : 요약 보기에서 데이터 부분 집합에 초첨을 맞춤으로써 관심 데이터에 대한 세부 정보를 볼 수 있다.
- 여과 : 현 시점에서 관심이 덜한 데이터를 여과하여 특정 데이터 집합에 집중할 수 있따.
- 롤업 : 부분합 및 총합을 표시하기 위해 여러 범주의 데이터를 그룹화한다.
- What-if 분석 : 관련 요인을 동적으로 변경하여 여러 결과를 시각화 할 수 있다.
- 출처 [빅데이터 기초 개념,동인,기법]
