Webスクレイピング向けの格安プロキシ

スクレイピングは、プロキシの選び方で費用が最も大きく変わるユースケースです。まず対象サイトが受け付ける最も安い回線から始め、ブロックされたときだけ上位の回線に移りましょう。

ウェブスクレイピングを表す紙のイラスト。朱色のアクセントが一つ入っている
IP
20
この注文の定価
$1.04/IP/月
定価での合計
$20.80

格安データセンタープロキシでは、予算の計算例の定価は次のように組み立てられます。

予算の計算例: ひと月、20個のIPを並行して使うクロール
  1. 共有プランの定価$1.25/IP/月
  2. 数量の段階 10 IP17%オフ$1.04/IP/月
  3. 数量と期間20 IP × 1か月

定価での合計$20.80

これはお客様ご自身の前提にもとづく例であり、特定の作業負荷を測定した結果ではありません。

データセンタープロキシ: IP一つあたりの月額
プラントラフィック30日間60日間90日間365日間
共有1 GB含む$1.25$1.19$1.13$1.00
専用無制限$1.90$1.81$1.71$1.52
バージン無制限$2.90$2.76$2.61$2.32

まず安く始め、根拠を見て上げる

少数のデータセンターIPを通して、対象サイトにスクレイパーを走らせます。ページが取得できればそれで終わりで、費用も低く済みます。403、キャプチャ、空のページが返るなら、そのサイトはホスティング事業者のIP帯をブロックしています。次の選択肢はISPかレジデンシャルです。

大量に購入する前に、このテストを行ってください。百回のリクエストは、どんなプロバイダー比較よりも多くのことを教えてくれます。

対象サイト別の回線の選び方

万能の答えはありませんが、次の出発点を知っておくと時間を節約できます。

  • 公開API、ドキュメントサイト、多くのニュースサイト:データセンター。
  • ボット検知のある小売・旅行サイト:ISPまたはレジデンシャル。
  • 検索エンジンの検索結果:レジデンシャル。国の指定が必要なら、対応しているIPあたり課金の回線を使います。
  • ログインが必要なページ:セッション中にアドレスが変わらないよう、固定IP(ISPまたはデータセンター)。

レートだけでなくコストも管理する

従量制の回線では、不要な画像をダウンロードするスクレイパーだと請求額が三倍になることもあります。解析しないリソースは取得せず、変わらないものはキャッシュし、レート制限を守って、ブロックされた応答に料金を払わないようにしましょう。

よくある質問

スクレイピングにはプロキシが何個必要ですか?

どのアドレスも対象サイトのレート制限を超えない数です。テストで制限値を調べ、目標のリクエストレートをそれで割り、ブロックされるIPの分の余裕を加えてください。

プロキシを使ったスクレイピングは合法ですか?

データの内容、サイトの利用規約、お住まいの法域によります。利用規約を読み、公開ページ以外を扱う場合は専門家に相談してください。

$5から始める

最低チャージ額は$5です。本格的に増やす前に、ご自身のターゲットで試してください。

アカウントを作成