低价网页抓取代理
在所有使用场景里,抓取最容易因为代理选择而让账单相差悬殊。先用目标站点能接受的最便宜线路,被封之后再升级。

- 个 IP
- 20
- 本订单的标价
- $1.04/IP/月
- 按标价合计
- $20.80
在低价数据中心代理产品线上,预算算例中的标价是这样算出来的。
- 共享套餐标价$1.25/IP/月
- 用量档位 10 个 IP优惠 17%$1.04/IP/月
- 数量与期限20 个 IP × 1 个月
按标价合计$20.80
这是基于你自己的假设做的演示,不是对任何工作负载的实测。
| 套餐 | 流量 | 30 天 | 60 天 | 90 天 | 365 天 |
|---|---|---|---|---|---|
| 共享 | 含 1 GB | $1.25 | $1.19 | $1.13 | $1.00 |
| 独享 | 不限量 | $1.90 | $1.81 | $1.71 | $1.52 |
| 全新 | 不限量 | $2.90 | $2.76 | $2.61 | $2.32 |
先用便宜的,有证据再升级
先用少量数据中心 IP 对目标站点跑一遍抓取。如果能拿到页面,就不用再花钱,账单也低。如果收到 403、验证码或空白页,说明目标站点封锁机房 IP 段,下一步就是 ISP 代理或住宅代理。
大批量下单之前先做这个测试。一百次请求带来的信息,比任何服务商对比都多。
不同目标用哪种线路
没有放之四海而皆准的答案,但下面这些起点能省不少时间。
- 公开 API、文档站点、许多新闻站点:数据中心。
- 有机器人检测的零售和旅游站点:ISP 代理或住宅代理。
- 搜索引擎结果页:住宅代理;需要指定国家时,尽量选按 IP 计费的线路。
- 任何需要登录的页面:静态 IP(ISP 或数据中心),这样会话不会在不同地址之间跳变。
控制总成本,而不只是单价
在按流量计费的线路上,如果抓取程序下载了用不到的图片,账单可能翻到三倍。去掉不解析的资源,缓存不变的内容,并遵守速率限制,这样就不用为被拦截的响应付费。
常见问题
抓取需要多少个代理?
数量要足够让每个地址都不超过目标站点的速率限制。通过测试找出限制值,用你的目标请求速率除以它,再为会被封的 IP 留一点余量。
通过代理抓取合法吗?
这取决于数据本身、网站条款和你所在的司法辖区。请阅读可接受使用政策;涉及公开页面之外的内容时,请先咨询专业意见。
$5 起步
最低充值 $5。先用你自己的目标跑一遍,再决定是否扩大规模。