「クロール済みURL数」と「クロール対象URL数」の違いを教えてください

「クロール済みURL数」と「クロール対象URL数」の違いを教えてください

Q. クローラ詳細画面で表示されている「クロール済みURL数」と「クロール対象URL数」の違いを教えてください



A.以下のように定義しています。
  1. クロール済みURL数(赤枠)
クロールで正常に取得されたURL数を示します。
クロール時にHTTPレスポンスステータスコードが 200(OK) だったURLを対象として、正常に取得できたURL数をカウントしています。
クロールで正常に取得されたURL数が、クローラ詳細画面の「割り当てドキュメント数」 に到達すると、クロールは完了となります。
例えば、クロール対象のページがHTTPレスポンスステータスコード 404(Not Found) を返した場合、そのURLは正常に取得できていないため、クロール済みURL数にはカウントされません。

  1. クロール対象URL数(青枠)
クロール対象となったURLの総数を示します。
本項目は、「クロールが実施されたURL数」+「クロール予定URL数」 の合計値です。
ここでの「クロールが実施されたURL数」には、正常に取得できたURLだけでなく、クロール時にHTTPレスポンスステータスコードが 200以外(例:404 Not Found) となり、取得に失敗したURLも含まれます。
当月1日以降にクロールが実施されたURL数の累計は、アプリケーション詳細->利用状況タブ->アプリケーション利用概要->クロール リクエスト回数 で確認できます。
この累計値がご契約プランの「最大クロール リクエスト回数」 に達すると、それ以降のクロールは実行されなくなります。
なお、累計値は毎月1日にリセットされ、クロール実行が再開されます。
例えば、クロール対象のページがHTTPレスポンスステータスコード 404(Not Found) を返した場合、そのURLは正常取得されたURLには含まれませんが、クロール自体は実施されているため、クロール対象URL数およびクロール リクエスト回数の集計対象となります。
そのため、404エラーのページであってもクロール リクエスト回数は消費されます。
契約上限に達することは稀ですが、上限に到達した場合は当月中のクロールは実行されなくなります。


参考: