「クロール済みURL数」と「クロール対象URL数」の違いを教えてください

「クロール済みURL数」と「クロール対象URL数」の違いを教えてください

Q. クローラ詳細画面で表示されている「クロール済みURL数」と「クロール対象URL数」の違いを教えてください。



A.以下のように定義しています。
  1. クロール済みURL数（赤枠）
クロールで正常に取得されたURL数を示します。
クロール時にHTTPレスポンスステータスコードが 200（OK） だったURLを対象として、正常に取得できたURL数をカウントしています。
クロールで正常に取得されたURL数が、クローラ詳細画面の「割り当てドキュメント数」 に到達すると、クロールは完了となります。
例えば、クロール対象のページがHTTPレスポンスステータスコード 404（Not Found） を返した場合、そのURLは正常に取得できていないため、クロール済みURL数にはカウントされません。

  1. クロール対象URL数（青枠）
クロール対象となったURLの総数を示します。
本項目は、「クロールが実施されたURL数」＋「クロール予定URL数」 の合計値です。
ここでの「クロールが実施されたURL数」には、正常に取得できたURLだけでなく、クロール時にHTTPレスポンスステータスコードが 200以外（例：404 Not Found） となり、取得に失敗したURLも含まれます。
当月1日以降にクロールが実施されたURL数の累計は、アプリケーション詳細->利用状況タブ->アプリケーション利用概要->クロール リクエスト回数 で確認できます。
この累計値がご契約プランの「最大クロール リクエスト回数」 に達すると、それ以降のクロールは実行されなくなります。
なお、累計値は毎月1日にリセットされ、クロール実行が再開されます。
例えば、クロール対象のページがHTTPレスポンスステータスコード 404（Not Found） を返した場合、そのURLは正常取得されたURLには含まれませんが、クロール自体は実施されているため、クロール対象URL数およびクロール リクエスト回数の集計対象となります。
そのため、404エラーのページであってもクロール リクエスト回数は消費されます。
契約上限に達することは稀ですが、上限に到達した場合は当月中のクロールは実行されなくなります。

    • Related Articles

    • 検索対象外タグとmarsfinder on/offタグの違いを教えてください

      Q.検索対象外タグとmarsfinder on/offタグの違いを教えてください。 A.両者の効果は同じです。 どちらも該当箇所を検索対象から除外いたします。 「検索対象外タグ」に当てはまれば、自動的に検索対象から除外されるため、marsfinder_on/offの追加は不要となります。HTMLを編集する必要もございません。 marsfinder on/offタグは、「検索対象外タグ」でカバーできない箇所に対して利用いただくものとなります。HTMLを編集して追加してください。 参考： ...

    • 「検索DBDoc数」「検索DBDoc処理数」の違いを教えてください

      Q. サービス一覧画面で表示されている「検索DBDoc数」「検索DBDoc処理数」の違いを教えてください。 A.以下のように定義しています。 検索DBDoc数： 検索DBに格納されたドキュメント数を示します。 検索DBに格納されたドキュメント数が検索DB詳細画面->割り当てドキュメント数に到達すると、サービス作成を完了します。 尚、サービス作成時に処理はしたが、検索DBに格納されなかった場合は、検索DBDoc数にカウントアップされません。 ...

    • カスタムエレメントVer.1とVer.2の違いを教えてください

      Q. カスタムエレメントVer.1とVer.2の違いを教えてください。 A.カスタムエレメントVer.2には、以下の機能が新たに追加されております。 より使いやすく進化したカスタムエレメントVer.2を是非ご利用ください。 AIによる回答表示機能 リアルタイム検索結果表示 Webアクセシビリティのガイドライン（「WCAG 2.0」基準及び「JIS X 8341-3:2016」）に準拠 管理画面上でのガイド付きセットアップとスタイリングツールで初心者も簡単にカスタマイズ ...

    • marsfinder_on offタグによる除外

      お客様サイト内へ以下のタグを挿入いただくことで、「タグ内の文字列を検索対象から除外する※」ことができる機能です。 但し、bodyタグ内でのみ有効です。 この機能は、検索DB詳細画面->拡張設定->marsfinderoff～marsfinderonタグ除外を利用する により、有効・無効が設定できます。 設定は、次回検索データベースが作成されると反映されます。 ※タグ内のリンクに関しては、クロール対象のままです。 ■タグ ＝＝＝＝ 開始 <!-- marsfinderoff: index --> ...

    • 検索対象外となるタグを教えてください

      Q.検索対象外となるタグを教えてください。 A.以下のタグ等の内容を検索対象から除外します。 基本的なHTMLタグ script noscript style header footer div tag かつ、idまたはclassに"header"を含む div tag かつ、idまたはclassに"footer"を含む Cookie同意バナー OneTrust (div#onetrust-consent-sdk) Osano (div.osano-cm-window) Cookiebot ...