데이터 아키텍처? 쉽게 배워봅시다

[원본] 데이터 아키텍처? 쉽게 배워봅시다

[내용정리] 

0. 데이터 아키텍처(Data Architecture)란?

아키텍처 시스템이 어떻게 구서되며 동작하는지 원리를 나타내는 원칙

데이터 아키텍처 조직이 데이터를 수집, 저장, 처리 및 관리하는 방법을 설계하고 구현하는 일련의 과정 또는 체계

1. 데이터 원천 : 데이터의 시작점

• OLTP 데이터베이스 온라인 쇼핑, 은행 업무 볼 때 생성되는 트랜잭션 데이터 (구매 내역, 입출금 내역 등)
• 기업 애플리케이션 ERP, CRM 같은 시스템을 통해 데이터를 관리하는 기업들 (고객 정보, 재고, 매출 등)
• 서드파티 외부에서 제공되는 데이터 (시장 조사, 경쟁사 분석 데이터)
• 웹/로그 데이터 인터넷을 사용하면서 나기는 발자취 (광고 클릭, 페이지 오래 본 정도 등)
• IoT 데이터 스마트폰, 스마트 TV, 냉장고, 에어컨 등 IoT 기기들이 생성하는 데이터

2. ETL : 데이터의 변신

원시 데이터(Raw data) 원하는 형태나 구조가 아님

→ 용도에 맞게 변형  = ETL(추출 변환 적재)

• 추출 Extraction 필요한 데이터만 정확하게 빠짐없이 가져오는 것
• 변환 Transformation 데이터를 필요한 형식으로 변환, 불필요한 데이터는 제거. 여러 원천에서 가져온 데이터를 합치거나, 데이터의 품질을 향상시키는 등의 작업
• 로드 Load 데이터 웨어하우스나 데이터 레이크 같은 저장 공간에 넣음

3. 웨어하우스와 레이크 : 데이터의 보관소

• Data Warehouse 데이터를 안전+효율적으로 저장하는 곳
  구조화된 데이터(Structured Data) = 테이블 형태의 데이터를 저장하는 곳
  긴 시간 동안 안정적으로 큰 규모의 데이터를 저장, 필요할 때 빠르게 조회할 수 있도록 설계
• Date Lake 
  정형 / 반정형 / 비정형 데이터도 저장
  (예) 로그 파일, 소설 미디어 데이터, 이미지 등 다양한 형태의 데이터 포함

4. 데이터 마트: 용도에 따라 관리

데이터 웨어하우스의 데이터 전체를 항상 사용하는 것이 아니라, 특정 부서나 목적에 맞는 일부 데이터만 필요한 경우 많음 = 데이터 마트(Data Mart)

데이터 마트 데이터 웨어하우스의 특정 주제나 부서에 특화된 부분집합

데이터 마트의 장점

• 효율적 데이터 관리와 접근성
• 증가된 성능 웨어하우스에 비해 규모가 작아서 쿼리 처리 속도 빨라짐
• 사용자 맞춤형 데이터 제공
• 보안과 데이터 보호

5. 다양한 분야에서의 데이터 활용

데이터는 어떻게 활용하느냐에 따라 진정한 가치 발휘됨

[내용정리] 

data warehouse / lake / mart 의 차이를 이해할 수 있었음