「クロール済みのURL数」「クロールリクエスト総数」の違いを教えてください

「クロール済みのURL数」「クロールリクエスト総数」の違いを教えてください

Q. クローラ一覧画面で表示されている「クロール済みのURL数」「クロールリクエスト総数」の違いを教えてください。



A.以下のように定義しています。
クロール済みのURL数：
クロールで取得されたURL数を示します。
クロールで取得されたURL数がクローラ詳細画面->割り当てドキュメント数に到達すると、クロールを完了します。
尚、クロール時のHTTP レスポンスステータスコードに関わらず、クロール済みのURL数にカウントアップされます。
一例ですが、あるページをクロール時、404エラーであったとしてもクロール済みのURL数にカウントアップされます。

クロールリクエスト総数：
クロール済みのURL数がクローラ詳細画面->割り当てドキュメント数に到達するまでの間に、クロール処理されたURL数を示します。
当該月1日以降の累計が、契約プランの「最大クロール リクエスト回数」に到達すると、クロールが実行されなくなり、翌月1日にはクロールの実行が再開されます。
尚、検索結果には表示されないページであってもクロールリクエスト総数にカウントアップされます。
一例ですが、あるページをクロール時、そのページがpng等の画像データであったとしてもクロールリクエスト総数にカウントアップされます。

参考：


    • Related Articles

    • Ver1とVer2の違いを教えてください

      Q. カスタムエレメントVer1とVer2の違いを教えてください。 A.違いは、以下の通りとなります。 No 用途 Ver1 カスタムエレメント　　　　　　　　属性　 Ver2 コンポーネント　　　　　　　　　　属性 1 検索窓 <mf-search-box> <mf-search-box> 3 lang lang 4 ajax-url ajax-url 5 serp-url results-page-url 6 submit-text submit-btn-text 7 ...

    • 「検索DBDoc数」「検索DBDoc処理数」の違いを教えてください

      Q. サービス一覧画面で表示されている「検索DBDoc数」「検索DBDoc処理数」の違いを教えてください。 A.以下のように定義しています。 検索DBDoc数： 検索DBに格納されたドキュメント数を示します。 検索DBに格納されたドキュメント数が検索DB詳細画面->割り当てドキュメント数に到達すると、サービス作成を完了します。 尚、サービス作成時に処理はしたが、検索DBに格納されなかった場合は、検索DBDoc数にカウントアップされません。 ...

    • marsfinder_on offタグによる除外

      お客様サイト内へ以下のタグを挿入いただくことで、「タグ内の文字列を検索対象から除外する※」ことができる機能です。 但し、bodyタグ内でのみ有効です。 この機能は、検索DB詳細画面->拡張設定->marsfinderoff～marsfinderonタグ除外を利用する により、有効・無効が設定できます。 設定は、次回検索データベースが作成されると反映されます。 ※タグ内のリンクに関しては、クロール対象のままです。 ■タグ ＝＝＝＝ 開始 <!-- marsfinderoff: index --> ...

    • ページ内の特定の箇所を検索結果から除外したいです

      Q. ページ内の特定の箇所を検索結果から除外したいです。 A. お客様側での作業となりますが、marsfinder_on offタグを挿入いただく事で、タグ内の文字列を検索対象から除外する、という事が可能でございます。 参考： 機能説明->marsfinder_on offタグによる除外

    • もしかすると機能を非表示にすることはできますか

      Q.もしかすると機能(MARS SMART KEYWORDS)を非表示にすることはできますか。 A.はい、可能です。設定作業は弊社側の作業となりますので、ご希望の場合は、https://support.marsflag.com/ja-jp/ までお知らせください。 「もしかすると機能」自体は使用したいが、特定の予測ワードを非表示とされたいという場合は、管理画面から除外語設定をご利用ください。 設定方法：管理画面操作説明書　10章除外語 ...