robots.txtの設定を教えてください
robots.txtの設定を教えてください
Q.
MARS FINDER 2.0用のrobots.txtの設定を教えてください
A.
robots.txtに下記の文字列を追加することで、弊社クローラーのみクロールを許可する設定となります。
=====
U
ser-agent: marsfinder
Allow: /
User-agent: *
Disallow: /
=====
上記のような設定が難しい場合は、MARS FINDER 2.0側でrobots.txtを無視する設定を追加することも可能です。
ご希望の場合は、対象のユニットを弊社(
https://support.marsflag.com/ja-jp/
)までお知らせください。