「クロール済みのURL数」「クロールリクエスト総数」の違いを教えてください
Q. クローラ一覧画面で表示されている「クロール済みのURL数」「クロールリクエスト総数」の違いを教えてください。
A.以下のように定義しています。
クロール済みのURL数：
クロールで取得されたURL数を示します。
クロールで取得されたURL数がクローラ詳細画面->割り当てドキュメント数に到達すると、クロールを完了します。
尚、クロール時のHTTP レスポンスステータスコードに関わらず、クロール済みのURL数にカウントアップされます。
一例ですが、あるページをクロール時、404エラーであったとしてもクロール済みのURL数にカウントアップされます。
クロールリクエスト総数：
クロール済みのURL数がクローラ詳細画面->割り当てドキュメント数に到達するまでの間に、クロール処理されたURL数を示します。
当該月1日以降の累計が、契約プランの「最大クロール リクエスト回数」に到達すると、クロールが実行されなくなり、翌月1日にはクロールの実行が再開されます。
尚、検索結果には表示されないページであってもクロールリクエスト総数にカウントアップされます。
一例ですが、あるページをクロール時、そのページがpng等の画像データであったとしてもクロールリクエスト総数にカウントアップされます。
参考：
Related Articles
Ver1とVer2の違いを教えてください
Q. カスタムエレメントVer1とVer2の違いを教えてください。 A.違いは、以下の通りとなります。 No 用途 Ver1 カスタムエレメント 属性 Ver2 コンポーネント 属性 1 検索窓 <mf-search-box> <mf-search-box> 3 lang lang 4 ajax-url ajax-url 5 serp-url results-page-url 6 submit-text submit-btn-text 7 ...「検索DBDoc数」「検索DBDoc処理数」の違いを教えてください
Q. サービス一覧画面で表示されている「検索DBDoc数」「検索DBDoc処理数」の違いを教えてください。 A.以下のように定義しています。 検索DBDoc数： 検索DBに格納されたドキュメント数を示します。 検索DBに格納されたドキュメント数が検索DB詳細画面->割り当てドキュメント数に到達すると、サービス作成を完了します。 尚、サービス作成時に処理はしたが、検索DBに格納されなかった場合は、検索DBDoc数にカウントアップされません。 ...marsfinder_on offタグによる除外
お客様サイト内へ以下のタグを挿入いただくことで、「タグ内の文字列を検索対象から除外する※」ことができる機能です。 但し、bodyタグ内でのみ有効です。 この機能は、検索DB詳細画面->拡張設定->marsfinderoff～marsfinderonタグ除外を利用する により、有効・無効が設定できます。 設定は、次回検索データベースが作成されると反映されます。 ※タグ内のリンクに関しては、クロール対象のままです。 ■タグ ＝＝＝＝ 開始 <!-- marsfinderoff: index --> ...MARSFINDERを利用したユーザのアクセスログは、取得していますか
Q. MARSFINDERを利用したユーザのアクセスログは、取得していますか。 A.はい、取得しています。 取得情報等につきましては、下記の通りです。 尚、これらの情報はシステム運用上保管しているものであり、お客様への開示を目的としたものではございません。 【取得している情報】 アクセス日時 IPアドレスとポート番号 リクエスト処理時間 HTTPステータスコード 送受信バイト数 リクエストURL HTTPバージョン User-Agent SSLプロトコルと暗号アルゴリズム 【用途】 ...ページ内の特定の箇所を検索結果から除外したいです
Q. ページ内の特定の箇所を検索結果から除外したいです。 A. お客様側での作業となりますが、marsfinder_on offタグを挿入いただく事で、タグ内の文字列を検索対象から除外する、という事が可能でございます。 参考： 機能説明->marsfinder_on offタグによる除外