クローラを複数設定する必要があるのはどのような場合ですか

クローラを複数設定する必要があるのはどのような場合ですか

Q.クローラを複数設定する必要があるのはどのような場合ですか。

A.クローラは、Webサイトの言語毎、ドメイン単位、更新頻度等により使い分けることができます。
一例ではございますが、以下のような場合を想定しております。

【例1】
・クローラA:日本語
・クローラB:英語
→言語毎に検索サービスを分けて提供するなどの柔軟性が向上します。

【例2】
・クローラA:ドメインAをクロール対象とする。クロール周期は週次。
・クローラB:ドメインBをクロール対象とする。クロール周期は週次。
→ドメインAとドメインBの各ページ数を把握しやすい、クロール時間も管理しやすくなる、といったメリットがあります。

【例3】
・クローラA:Webサイト全体をクロール対象とする。クロール周期は週次。
・クローラB:ニュースリリースページのみをクロール対象とする。クロール周期は日次。
→ニュースリリースページ等の特定のページが頻回に更新されるといようなサイトに有効です。

参考:
    • Related Articles

    • サービスにクローラを紐づける操作方法を教えてください

      Q. 1つのサービスにクローラを紐づける操作方法を教えてください。 A.サービス一覧画面->クローラ選択->「選択」ボタンを押下いただくことで、紐づけができます。 以下の図は、赤枠を押下いただくことで、サービス#1にクローラAとクローラBの2つのクローラを紐づける操作となります。 注意)不要なクローラをサービスへ紐づけすると、最大ドキュメント処理数の上限に達する可能性がありますのでご留意ください。 参考: FAQ->クローラを複数設定する必要があるのはどのような場合ですか
    • marsfinder_on offタグによる除外

      お客様サイト内へ以下のタグを挿入いただくことで、「タグ内の文字列を検索対象から除外する※」ことができる機能です。 但し、bodyタグ内でのみ有効です。 この機能は、検索DB詳細画面->拡張設定->marsfinderoff~marsfinderonタグ除外を利用する により、有効・無効が設定できます。 設定は、次回検索データベースが作成されると反映されます。 ※タグ内のリンクに関しては、クロール対象のままです。 ■タグ ==== 開始 <!-- marsfinderoff: index --> ...
    • 検索対象外タグとmarsfinder on/offタグの違いを教えてください

      Q.検索対象外タグとmarsfinder on/offタグの違いを教えてください。 A.両者の効果は同じです。 どちらも該当箇所を検索対象から除外いたします。 「検索対象外タグ」に当てはまれば、自動的に検索対象から除外されるため、marsfinder_on/offの追加は不要となります。HTMLを編集する必要もございません。 marsfinder on/offタグは、「検索対象外タグ」でカバーできない箇所に対して利用いただくものとなります。HTMLを編集して追加してください。 参考: ...
    • MARSFINDERを利用したユーザのアクセスログは、取得していますか

      Q. MARSFINDERを利用したユーザのアクセスログは、取得していますか。 A.はい、取得しています。 取得情報等につきましては、下記の通りです。 尚、これらの情報はシステム運用上保管しているものであり、お客様への開示を目的としたものではございません。 【取得している情報】 アクセス日時 IPアドレスとポート番号 リクエスト処理時間 HTTPステータスコード 送受信バイト数 リクエストURL HTTPバージョン User-Agent SSLプロトコルと暗号アルゴリズム 【用途】 ...
    • 検索対象外となるタグを教えてください

      Q.検索対象外となるタグを教えてください。 A.以下のタグ等の内容を検索対象から除外します。 ・script ・noscript ・style ・header ・footer ・div tag かつ、idまたはclassに"header"を含む ・div tag かつ、idまたはclassに"footer"を含む 上記以外のタグは、検索対象となります。 当該タグは、お客様毎にご変更いただくことはできません。ご了承ください。 参考: 各機能毎の概要 機能説明->marsfinder_on ...