クローラを複数設定する必要があるのはどのような場合ですか

クローラを複数設定する必要があるのはどのような場合ですか

Q.クローラを複数設定する必要があるのはどのような場合ですか。

A.クローラは、Webサイトの言語毎、ドメイン単位、更新頻度等により使い分けることができます。
一例ではございますが、以下のような場合を想定しております。

【例1】
・クローラA:日本語
・クローラB:英語
→言語毎に検索サービスを分けて提供するなどの柔軟性が向上します。

【例2】
・クローラA:ドメインAをクロール対象とする。クロール周期は週次。
・クローラB:ドメインBをクロール対象とする。クロール周期は週次。
→ドメインAとドメインBの各ページ数を把握しやすい、クロール時間も管理しやすくなる、といったメリットがあります。

【例3】
・クローラA:Webサイト全体をクロール対象とする。クロール周期は週次。
・クローラB:ニュースリリースページのみをクロール対象とする。クロール周期は日次。
→ニュースリリースページ等の特定のページが頻回に更新されるといようなサイトに有効です。

参考:
    • Related Articles

    • サービスにクローラを紐づける操作方法を教えてください

      Q. 1つのサービスにクローラを紐づける操作方法を教えてください。 A.サービス一覧画面->クローラ選択->「選択」ボタンを押下いただくことで、紐づけができます。 以下の図は、赤枠を押下いただくことで、サービス#1にクローラAとクローラBの2つのクローラを紐づける操作となります。 注意)不要なクローラをサービスへ紐づけすると、最大ドキュメント処理数の上限に達する可能性がありますのでご留意ください。 参考: FAQ->クローラを複数設定する必要があるのはどのような場合ですか
    • marsfinder_on offタグによる除外

      お客様サイト内へ以下のタグを挿入いただくことで、「タグ内の文字列を検索対象から除外する※」ことができる機能です。 但し、bodyタグ内でのみ有効です。 この機能は、検索DB詳細画面->拡張設定->marsfinderoff~marsfinderonタグ除外を利用する により、有効・無効が設定できます。 設定は、次回検索データベースが作成されると反映されます。 ※タグ内のリンクに関しては、クロール対象のままです。 ■タグ ==== 開始 <!-- marsfinderoff: index --> ...
    • MARSFINDERを利用したユーザのアクセスログは、取得していますか

      Q. MARSFINDERを利用したユーザのアクセスログは、取得していますか。 A.はい、取得しています。 取得情報等につきましては、下記の通りです。 尚、これらの情報はシステム運用上保管しているものであり、お客様への開示を目的としたものではございません。 【取得している情報】 アクセス日時 IPアドレスとポート番号 リクエスト処理時間 HTTPステータスコード 送受信バイト数 リクエストURL HTTPバージョン User-Agent SSLプロトコルと暗号アルゴリズム 【用途】 ...
    • ページ内の特定の箇所を検索結果から除外したいです

      Q. ページ内の特定の箇所を検索結果から除外したいです。 A. お客様側での作業となりますが、marsfinder_on offタグを挿入いただく事で、タグ内の文字列を検索対象から除外する、という事が可能でございます。 参考: 機能説明->marsfinder_on offタグによる除外
    • もしかすると機能を非表示にすることはできますか

      Q.もしかすると機能(MARS SMART KEYWORDS)を非表示にすることはできますか。 A.はい、可能です。設定作業は弊社側の作業となりますので、ご希望の場合は、https://support.marsflag.com/ja-jp/ までお知らせください。 「もしかすると機能」自体は使用したいが、特定の予測ワードを非表示とされたいという場合は、管理画面から除外語設定をご利用ください。 設定方法:管理画面操作説明書 10章除外語 ...