起点、許可、除外、救出URLの定義を教えてください
Q.起点、許可、除外、救出URLの定義を教えてください。
A.
■クロール起点URL：クロールの起点となるURLです。クロール起点URLからリンクをたどりクロールを⾏います。
■許可URLパターン：検索結果に反映してもよいクロール範囲のことです。
■クロール除外URLパターン：検索結果から除外したいURLパターンのことです。
■救出URLパターン：除外したいクロール範囲の中で検索結果に反映したいクロール範囲のことです。
＜説明＞
上図の場合、以下の内容の設定をしていることになります。
■http://www.marsflag.com/ からクロールを開始する。
■http://www.marsflag.com/ 配下を検索結果に反映させる。
■http://www.marsflag.com/ 配下の中でも「/news/以下」は検索結果に反映させない。
■「/news/以下」は検索結果に反映させないが例外として「/news/aaa」は検索結果に反映させる。