목차
데이터 파이프라인 툴을 도입하려는데, ‘MAR’, ‘크레딧’, ‘동시성’ 같은 낯선 과금 단위 때문에 예산 예측에 어려움을 겪고 계신가요? 잘못된 과금 모델을 선택하면 예상치 못한 비용 폭탄을 맞을 수 있습니다.
이 글에서는 Fivetran, Airbyte, Matillion, Stitch 등 주요 ETL/ELT 솔루션의 복잡한 과금 모델을 명확하게 비교하고, 실제 워크로드에 맞는 최적의 툴을 선택할 수 있도록 돕는 실무 가이드를 제공합니다.
이 글을 통해 얻을 수 있는 것
- 핵심 과금 단위 완벽 이해: 행(MAR), 크레딧, 동시성 기반 모델의 차이점
- 주요 툴 요금제 비교: Fivetran, Airbyte, Stitch, Matillion 특징 분석
- 비용 최적화 팁: 워크로드별 비용 절감 전략과 숨겨진 비용 방지법
- 최종 의사결정 가이드: 내게 맞는 과금 모델을 선택하는 명확한 기준
ETL/ELT 과금 모델, 핵심 3가지: 행, 크레딧, 동시성
데이터 파이프라인 비용을 결정하는 가장 대표적인 세 가지 과금 단위를 먼저 이해해야 합니다.
1. 행(Row) 기반 과금 (MAR: Monthly Active Rows)
월간 활성 행, 즉 한 달 동안 소스에서 대상으로 고유하게 변경(추가, 수정)된 행의 수를 기준으로 비용을 책정하는 방식입니다. 동일한 행이 한 달에 여러 번 수정되어도 고유 기본 키(PK) 기준 1회로 집계되어 예측 가능성이 높습니다.
- 대표 툴: Fivetran, Stitch
- 특징: Fivetran의 경우, 커넥터와 테이블 단위로 고유 키를 계산하여 MAR을 정의합니다. 데이터베이스 CDC(Change Data Capture)처럼 변경된 행의 양이 일정한 워크로드에 유리합니다.
2. 크레딧(Credit) 기반 과금
파이프라인 실행 시간, vCore(가상 코어) 사용량 등 실제 사용한 컴퓨팅 자원을 '크레딧'이라는 단위로 환산하여 차감하는 방식입니다.
- 대표 툴: Matillion, Airbyte Cloud (Standard)
- 특징: Matillion은 vCore를 1시간 사용하면 1크레딧을 소모하는 등 자원 소모량에 직접 연동됩니다. 데이터 처리량이 많지만 실행 시간이 짧은 작업에 유리할 수 있습니다.
3. 동시성(Concurrency) 기반 과금
동시에 실행할 수 있는 파이프라인의 수에 따라 비용이 결정되는 모델입니다. 데이터 양이나 처리 시간과 무관하게 병렬 처리량을 기준으로 요금을 책정합니다.
- 대표 툴: Airbyte (Pro/Enterprise)
- 특징: Airbyte의 Pro 플랜은 병렬로 실행하는 파이프라인 수를 조절하여 비용 상한선을 명확하게 설정할 수 있어 예산 예측성이 매우 뛰어납니다.
주요 ETL/ELT 툴 과금 모델 비교표
각 벤더가 어떤 과금 단위를 채택하고 있으며, 무료 플랜과 할인 정책은 어떻게 다른지 한눈에 비교해 보세요.
| 벤더 | 주요 과금 단위 | 무료/체험 플랜 | 초과 요금 규칙 | 약정 할인 |
|---|---|---|---|---|
| Fivetran | MAR (행 기반) | Free 플랜: 50만 MAR, 신규 커넥터 14일 무료 | 커넥터별 곡선 요금제 적용 | 연간 계약 시 최대 22% |
| Airbyte | (Std) 볼륨 / (Pro·Ent) 동시성·용량 | Cloud: 월 $10 (크레딧 4개 포함) | 크레딧 소진 또는 용량 기반 | 플랜별 영업 상담 |
| Stitch | 월간 행 수 (티어 기반) | 14일 무료 체험 | 초과분 Add-on 구매 | 플랜별 연간 과금 |
| Matillion | 크레딧 (vCore·Task Hour) | Free Trial 제공 | vCore·Task Hour 사용량만큼 과금 | 마켓플레이스 또는 연간 계약 |
워크로드 유형별 최적의 과금 모델 선택 가이드
데이터 소스의 특성에 따라 유불리가 명확하게 갈립니다. 내게 맞는 모델을 찾아보세요.
| 소스 유형 | 적합한 과금 모델 (권장) | 주요 비용 리스크 |
|---|---|---|
| API / 이벤트 데이터 | 동시성 또는 크레딧 기반 | 트래픽이 급증(스파이크)할 경우 볼륨 기반 과금 모델은 비용이 급격히 증가할 수 있습니다. |
| 데이터베이스 (CDC) | 행(MAR) 또는 크레딧 병행 | 히스토리 데이터 재처리, 스키마 변경으로 인한 전체 재동기화 시 MAR이 급증할 수 있습니다. |
| 파일 (Blob Storage) | 크레딧 (시간) 기반 우선 | 파일 커넥터는 변경 감지 한계로 인해 월 내 최대 행 수를 기준으로 MAR을 계산할 수 있어 비용 예측이 어렵습니다. |
비용 폭탄을 피하는 5가지 최적화 팁
- 동시성 제한으로 예산 통제하기
Airbyte Pro/Enterprise처럼 동시 실행 파이프라인 수를 제한하면 월별 최대 비용을 명확하게 예측하고 제어할 수 있습니다. - 불필요한 데이터 제외하기
파이프라인 설정 시 필요한 필드와 테이블만 선택하고, 데이터베이스 소스는 CDC(변경 데이터 캡처)를 활성화하여 동기화하는 데이터 양(MAR, 크레딧)을 최소화하세요. - 파일 파이프라인은 별도 관리하기
대용량 파일이나 재처리가 잦은 파일 소스는 MAR 기반 모델에서 비용 급증의 원인이 될 수 있습니다. 이런 워크로드는 Matillion과 같은 크레딧(실행 시간) 기반 툴로 분리하여 관리하면 예측 가능성을 높일 수 있습니다. - 연간 약정 및 마켓플레이스 활용하기
장기 사용이 확실하다면 Fivetran의 연간 계약 할인이나 Matillion의 클라우드 마켓플레이스 구매를 통해 비용을 절감할 수 있습니다. - 오류 모니터링으로 불필요한 재시도 방지하기
데이터 파이프라인 오류나 불필요한 재시도는 과금으로 직결됩니다. 관찰 가능성(Observability) 도구를 활용해 오류를 사전에 감지하고 불필요한 재적재를 방지하세요. (내부 링크: 관찰가능성 플랫폼 요금제 비교)
최종 의사결정 매트릭스
아래 기준에 따라 조직의 우선순위에 맞는 과금 모델을 선택하세요.
- 예산 예측성이 최우선이라면? → 동시성/용량 기반 (예: Airbyte Pro/Enterprise)
- 순수 데이터 변경량(DB-CDC) 중심 워크로드라면? → MAR 기반 (예: Fivetran, Stitch)
- 엔진 튜닝 및 셀프호스팅으로 비용 최적화가 가능하다면? → 크레딧 기반 (예: Matillion)
- 다양한 마케팅/이벤트 API를 연동한다면? → 동시성 + 크레딧 혼합 (트래픽 스파이크에 유연하게 대응)
자주 묻는 질문 (FAQ)
Q1. MAR는 정확히 어떻게 계산되나요?
A. 월 내 고유 기본 키(PK)를 기준으로 활성화된(추가/수정된) 행의 수를 집계합니다. Fivetran의 경우, 동일한 행이 여러 번 업데이트되어도 월 1회로 계산하며, 커넥터와 테이블별로 각각 집계합니다.
Q2. 크레딧은 어떤 기준으로 소모되나요?
A. 벤더마다 다릅니다. Matillion ETL은 vCore 1시간 사용 시 1크레딧을 소모하고, Airbyte Cloud는 데이터 동기화 볼륨에 따라 크레딧을 사용합니다.
Q3. 동시성을 제한하면 어떤 장점이 있나요?
A. 동시에 실행되는 파이프라인 수를 줄이면 비용의 상한선이 명확해져 예산 예측성이 크게 향상됩니다. 예상치 못한 데이터 급증에도 추가 비용이 발생하지 않습니다.
Q4. 셀프호스팅은 무조건 저렴한가요?
A. ETL 엔진 라이선스 비용 외에 클라우드 인프라(vCPU, 스토리지, 네트워크) 비용이 추가로 발생합니다. 총소유비용(TCO) 관점에서 신중하게 접근해야 합니다. (내부 링크: 데이터 레이크하우스 총소유비용(TCO) 가이드)
Q5. 파이프라인 실패 후 재시도하면 추가 과금이 되나요?
A. 정책에 따라 다릅니다. 예를 들어, Fivetran의 변환(Transformation) 작업은 성공한 모델에 대해서만 과금합니다. 하지만 커넥터 재동기화나 파일 재스캔은 MAR 또는 크레딧을 추가로 소모할 수 있습니다.
결론: 표준 지표를 활용해 교차 비교 후 결정하자
ETL/ELT 파이프라인의 과금 모델에는 정답이 없습니다. 조직의 데이터 워크로드, 예산 예측의 중요도, 기술적 유연성을 종합적으로 고려해야 합니다.
행(MAR) 기반, 크레딧 기반, 동시성 기반 모델을 표준 지표로 삼아 각 솔루션의 장단점을 교차 분석하고, 무료 체험 기간을 활용해 실제 데이터를 테스트한 후 최종 결정을 내리는 것이 가장 현명한 방법입니다.
관련 글
면책 조항: 본 포스트에 기재된 정책 및 요금 정보는 벤더에 의해 변경될 수 있으므로, 최종 도입 전 반드시 공식 문서를 확인하시기 바랍니다.
