低价公开数据收集代理

政府门户、开放数据站点和档案库常常限制每个地址每分钟只能发几次请求。以低价获得更多地址,可以让一次守规矩的抓取在合理时间内完成。

代表公开数据收集的纸质插图,带有一处朱红色点缀
个 IP
20
本订单的标价
$1.04/IP/月
按标价合计
$20.80

在低价数据中心代理产品线上,预算算例中的标价是这样算出来的。

预算算例:20 个共享数据中心 IP,使用一个月
  1. 共享套餐标价$1.25/IP/月
  2. 用量档位 10 个 IP优惠 17%$1.04/IP/月
  3. 数量与期限20 个 IP × 1 个月

按标价合计$20.80

这是基于你自己的假设做的演示,不是对任何工作负载的实测。

数据中心代理:每个 IP 每月价格,一个 IP
套餐流量30 天60 天90 天365 天
共享含 1 GB$1.25$1.19$1.13$1.00
独享不限量$1.90$1.81$1.71$1.52
全新不限量$2.90$2.76$2.61$2.32

为什么数据中心合适

公共利益类站点很少对机房 IP 段做机器人检测,数据量也不大。最便宜的线路通常就是对的选择:每个工作进程配一个共享数据中心代理。

做个有礼貌的访客

把请求分散开,让每个地址都不超过网站公布的速率;网站要求时,如实标明你的爬虫身份;并遵守 robots.txt。更多的地址是为了让每个地址都在限制之内,而不是为了超出网站的整体承载能力。

常见问题

我需要多少个地址?

用你的目标请求速率除以网站允许的单地址限制,再多备几个地址,以防有的被封。

请求应该怎样分散到各个地址上?

让每个地址都不超过网站公布的速率。网站要求时,如实标明你的爬虫身份,并遵守 robots.txt。更多的地址是为了让每个地址都在限制之内,而不是为了超出网站的整体承载能力。

$5 起步

最低充值 $5。先用你自己的目标跑一遍,再决定是否扩大规模。

创建账户