데이터 처리
수집, 정제, 적재, 검증까지 데이터가 흐르는 길을 만듭니다.
SYNOPSIS
data [--collect] [--clean] [--load] [--reconcile]DESCRIPTION
데이터는 옮기는 것보다 맞는지 확인하는 일이 더 오래 걸립니다. 그래서 대조 방법을 설계 단계에서 먼저 정합니다.
배치와 스트림 중 맞는 방식을 고르고, 실패했을 때 어디서부터 다시 돌릴지까지 만들어 둡니다.
SCOPE
- 수집
- 파일, DB, API 등 흩어진 원천에서 안정적으로 가져옵니다.
- 정제
- 형식과 값의 불일치를 규칙으로 정리하고 예외는 따로 남깁니다.
- 적재
- PostgreSQL을 중심으로 대용량 이관과 증분 적재를 구성합니다.
- 정합성 검증
- 원천과 결과를 건수, 합계, 표본으로 대조하고 리포트로 남깁니다.
DELIVERABLES
- 파이프라인 코드
- 정제 규칙 문서
- 대조 리포트
- 재실행 절차가 담긴 런북
FIT
맞는 경우
- 시스템 교체로 대량의 데이터를 옮겨야 할 때
- 여러 원천의 데이터를 한 곳에 모아야 할 때
맞지 않는 경우
- 분석 화면과 대시보드만 필요할 때