低价网页抓取代理

在所有使用场景里,抓取最容易因为代理选择而让账单相差悬殊。先用目标站点能接受的最便宜线路,被封之后再升级。

代表网页抓取的纸质插图,带有一处朱红色点缀
个 IP
20
本订单的标价
$1.04/IP/月
按标价合计
$20.80

在低价数据中心代理产品线上,预算算例中的标价是这样算出来的。

预算算例:需要 20 个并行 IP、持续一个月的抓取任务
  1. 共享套餐标价$1.25/IP/月
  2. 用量档位 10 个 IP优惠 17%$1.04/IP/月
  3. 数量与期限20 个 IP × 1 个月

按标价合计$20.80

这是基于你自己的假设做的演示,不是对任何工作负载的实测。

数据中心代理:每个 IP 每月价格,一个 IP
套餐流量30 天60 天90 天365 天
共享含 1 GB$1.25$1.19$1.13$1.00
独享不限量$1.90$1.81$1.71$1.52
全新不限量$2.90$2.76$2.61$2.32

先用便宜的,有证据再升级

先用少量数据中心 IP 对目标站点跑一遍抓取。如果能拿到页面,就不用再花钱,账单也低。如果收到 403、验证码或空白页,说明目标站点封锁机房 IP 段,下一步就是 ISP 代理或住宅代理。

大批量下单之前先做这个测试。一百次请求带来的信息,比任何服务商对比都多。

不同目标用哪种线路

没有放之四海而皆准的答案,但下面这些起点能省不少时间。

  • 公开 API、文档站点、许多新闻站点:数据中心。
  • 有机器人检测的零售和旅游站点:ISP 代理或住宅代理。
  • 搜索引擎结果页:住宅代理;需要指定国家时,尽量选按 IP 计费的线路。
  • 任何需要登录的页面:静态 IP(ISP 或数据中心),这样会话不会在不同地址之间跳变。

控制总成本,而不只是单价

在按流量计费的线路上,如果抓取程序下载了用不到的图片,账单可能翻到三倍。去掉不解析的资源,缓存不变的内容,并遵守速率限制,这样就不用为被拦截的响应付费。

常见问题

抓取需要多少个代理?

数量要足够让每个地址都不超过目标站点的速率限制。通过测试找出限制值,用你的目标请求速率除以它,再为会被封的 IP 留一点余量。

通过代理抓取合法吗?

这取决于数据本身、网站条款和你所在的司法辖区。请阅读可接受使用政策;涉及公开页面之外的内容时,请先咨询专业意见。

$5 起步

最低充值 $5。先用你自己的目标跑一遍,再决定是否扩大规模。

创建账户