Decodo Web Data API 무료 플랜: 수집 한도 계산과 자동화 검증 방법

Decodo Web Data API 무료 플랜은 카드 등록 없이 매월 $5 크레딧을 주고, 설정에 따라 최대 1만 요청까지 쓸 수 있습니다. 다만 1만 회는 Standard 단가로 크레딧을 전부 썼을 때 나오는 숫자예요. Premium이나 JavaScript 렌더링을 쓰면 같은 크레딧으로 처리할 수 있는 양이 줄어듭니다.

그래서 저는 최대 요청 수보다 내 수집 설정에 실제로 얼마가 드는지를 먼저 보라고 권합니다. 제품 소개에 나온 무료 한도는 출발점으로만 삼으세요. 그다음 필요한 본문과 필드를 확보해 저장한 건수를 함께 세어야 합니다. 요청이 성공해도 필수 필드가 비어 있으면 쓸 수 있는 데이터는 부족할 수 있거든요.

$5로 실제로 얼마나 수집할 수 있을까

단가는 Billing 문서의 Free 열에 정리되어 있습니다. 표에서 JavaScript는 페이지의 스크립트를 실행해 내용을 불러오는 렌더링 옵션을 말해요.

다른 소모가 없다고 치면 계산은 $5 ÷ $0.50 × 1,000이고, Standard는 1만 회, Premium은 5천 회가 나옵니다. 여기서 많이 헷갈리는 지점이 /scrape의 proxy_pool 기본값이에요. 기본값이 premium이라서, 아무 설정 없이 호출하면서 Standard 기준 수집량을 기대하면 크레딧이 생각보다 빨리 바닥날 수 있습니다. headless를 지정한다면 JavaScript 렌더링 단가까지 계산에 넣으세요.

또 하나, API를 호출한 횟수와 과금되는 요청 수는 따로 봐야 합니다.

/crawl은 수집에 성공한 페이지마다 요청 1회로 과금돼요. 작업을 한 번만 시작해도 여러 요청이 과금될 수 있다는 얘기죠. /map은 시작 페이지 조회에 요청 1회를 쓰고, 사이트맵을 포함하면 1회가 더 붙습니다. 탐색에 들어간 크레딧까지 빼고 나서야 실제 수집 가능량이 나옵니다.

작게 돌려 보고 결과와 차감량부터 맞춰 보기

처음엔 내용을 눈으로 확인할 수 있는 공개 페이지를 하나 골라, 제목·본문·필수 필드의 기대값을 먼저 적어 두세요. 비교할 기준이 있어야 응답 성공과 데이터 확보 성공을 구분할 수 있습니다. 수집 범위는 공식 빠른 시작 예제처럼 limit: 2, max_depth: 1, sitemap: "skip"으로 작게 잡는 편이 낫습니다.

1. 대시보드에서 API 키를 확인하고 Bearer 인증으로 POST https://data.decodo.com/v1/crawl을 호출합니다. 요청 설정·실행 시각·실행 전 잔액을 기록하세요.
2. 반환된 crawl_id를 보관하고 상태를 조회합니다. callback_url을 지정했다면 완료 웹훅으로 다음 단계를 연결할 수 있습니다.
3. 종료 상태와 성공·실패 수를 확인한 뒤 결과를 회수하세요. 응답에 next가 있으면 후속 결과까지 받아야 합니다.
4. 본문과 필수 필드를 기대값과 대조해 저장하고, 저장 건수와 실행 후 잔액을 기록합니다.

상태값에서 오해하기 쉬운 건 done이에요. 이건 페이지 처리가 끝났다는 뜻일 뿐이라 completed와 failed를 같이 봐야 합니다. 성공 수가 기대보다 적다면 빠진 페이지를 살펴보세요. 성공으로 집계된 결과라도 필요한 본문이 정말 들어 있는지는 따로 확인해야 하고요. 상태 응답의 requests에는 성공 페이지와 읽은 사이트맵이 함께 잡히니, 이 값을 저장 건수와 같은 것으로 보면 안 됩니다.

같은 작업을 다시 돌릴 때는 중복 저장, 누락, 추가 크레딧 소모를 나란히 비교해 보세요. 결과 회수나 저장이 일부 실패했을 때도 같은 항목을 남겨 두면 어디부터 다시 처리할지 판단하기가 훨씬 쉽습니다. 두 페이지짜리 시험으로는 큰 응답이 나뉘어 오는 상황까지 확인할 수 없어요. 그러니 자동화에는 처음부터 next를 따라가는 처리를 넣어 두길 권합니다.

요금 설명이 엇갈리는 부분과 결과 보관 기한

제품 소개는 JavaScript 렌더링과 보호된 사이트에 숨겨진 배수가 없다고 설명합니다. 그런데 Billing 문서는 프록시 종류와 JavaScript 사용 여부에 따라 단가를 다르게 적어 두었죠. 모든 설정의 비용이 같다는 뜻으로 읽기는 어렵습니다. 예상 비용은 Billing 단가로 잡고, 실제 비용은 같은 설정으로 실행한 계정의 차감량과 맞춰 보는 순서가 안전해요.

완료 알림을 받았다고 끝난 게 아닙니다. 결과 회수는 별도로 해야 해요.

상태·결과 문서에 따르면 웹훅에는 페이지 본문이 들어 있지 않고, 결과 링크로 데이터를 가져와야 합니다. 결과는 작업 종료 후 24시간 동안만 보관됩니다. 그래서 자동화의 완료 기준은 웹훅 수신이 아니라 후속 결과까지 회수해 저장한 시점으로 잡는 게 맞다고 봅니다.

위 요금과 조건은 2026-10-28 기준 안내예요. 운영에 적용하기 전에는 사용하는 계정에서 실제 API 호출, 크레딧 차감량, 반복 실행 시 동작을 직접 확인하세요.