ODS:  temp영역 cleansing  dataware하우스에 로딩

ETL의 아키텍쳐구성


운영계에서 데이터를 추출해와서 추출한 데이터를 변환 및
ETL 서버중심 아키텍쳐 ETL 서버에서 변환 및 정제 작업을 수행한다.
변환 및 정제 작업을 거쳐 데이터웨어하우스에 정제


운영계 시스템 중심  --> 데이터 변환이 빠르나, 많은 리소스가 든다. --> 잘안씀
DW 서버중심 --> 정제 및 적재가 DW 서버에서 이루어진다. 운영계에서는 추출만 함
ETL서버중심 --> 실시간 요구분석이 많아지면서 리소스의 파워가 강해져 최근 많이 이용됨

--> ODS가 어디에 있느냐에 따라 ETL 아키텍쳐가 달라진다.

ETL 단계별처리방안

추출 변환 및 정제의 3단계
추출: 운영계의 부하 최소화를 고려해야함
(온라인추출방법은 DB trigger 방식/deferred시스템방식)
(batch는 )

 

'hadoop,yarn, Hive > ETL' 카테고리의 다른 글

ETL 정리중  (0) 2017.06.26

+ Recent posts