起点、許可、除外、救出URLの定義を教えてください

Q.起点、許可、除外、救出URLの定義を教えてください。

A.

■クロール起点URL：クロールの起点となるURLです。クロール起点URLからリンクをたどりクロールを⾏います。

■許可URLパターン：検索結果に反映してもよいクロール範囲のことです。

■クロール除外URLパターン：検索結果から除外したいURLパターンのことです。

■救出URLパターン：除外したいクロール範囲の中で検索結果に反映したいクロール範囲のことです。

＜説明＞

上図の場合、以下の内容の設定をしていることになります。

■http://www.marsflag.com/ からクロールを開始する。

■http://www.marsflag.com/ 配下を検索結果に反映させる。

■http://www.marsflag.com/ 配下の中でも「/news/以下」は検索結果に反映させない。

■「/news/以下」は検索結果に反映させないが例外として「/news/aaa」は検索結果に反映させる。

• Related Articles

• marsfinder_on offタグによる除外

  お客様サイト内へ以下のタグを挿入いただくことで、「タグ内の文字列を検索対象から除外する※」ことができる機能です。 但し、bodyタグ内でのみ有効です。 この機能は、検索DB詳細画面->拡張設定->marsfinderoff～marsfinderonタグ除外を利用する により、有効・無効が設定できます。 設定は、次回検索データベースが作成されると反映されます。 ※タグ内のリンクに関しては、クロール対象のままです。 ■タグ ＝＝＝＝ 開始 <!-- marsfinderoff: index --> ...

• 起点URLにsitemap.xmlを登録しクロールすることはできますか

  Q. 起点URLにsitemap.xmlを登録しクロールすることはできますか。 A.はい、可能です。MF3.0のクローラは、一般的なsitemap.xmlの形式に対応しており、locタグにあるURLはクロール対象となります。 但し、lastmodタグ、changefreqタグ、priorityタグは検索結果に反映されません。 参考： マニュアル->4. クローラを作成する

• 特定IPを集計結果から除外したい

  Q. 特定IPを集計結果から除外したい A. マーケティングツールはGAからデータを取込んでいますので、取込む前にGAデータから特定のIPを含むデータ除外することで対応は可能です。 参考： [GA4] 内部トラフィックの除外

• ページ内の特定の箇所を検索結果から除外したいです

  Q. ページ内の特定の箇所を検索結果から除外したいです。 A. お客様側での作業となりますが、marsfinder_on offタグを挿入いただく事で、タグ内の文字列を検索対象から除外する、という事が可能でございます。 参考： 機能説明->marsfinder_on offタグによる除外

• 検索除外URLに登録できる上限数を教えてください

  Q.検索除外URLに登録できる上限数を教えてください。 A.管理画面->クロール管理->検索除外URL登録　及び　管理画面->クロール管理->検索除外URL一覧　に登録できる上限数につきましては、システム上の上限値は設けておりません。 しかしながら登録数が増えるに従い、レスポンス等に時間がかる場合もございますので、登録内容につきましては適宜見直し等を行いながら、ご利用いただくことをお勧めいたします。