クローラのIPアドレス、UserAgentを教えてください

• Related Articles

• UserAgentを教えてください

  Q. UserAgentを教えてください。 A. "dbot"という文字列を含むものとなります。

• 2024.01.31　[MARS FINDER 3.0]　リリース情報

  以下の項目におきまして、リリースを行いました。 MARS FINDER 3.0 　・検索DB作成処理が速度upしました。より短時間で検索DBが作成できます。 　・クローラのIPアドレスを固定化できるようになりました。 管理画面->クローラ詳細画面より、固定化のオン、オフできます。

• CDN導入または変更時の留意事項を教えてください

  Q. CDN導入または変更時の留意事項を教えてください。 A.CDNが弊社クローラーを不正なbotアクセスと判定し、アクセスを拒否されるケースが稀に発生いたします。 これを防止するため、弊社クローラーのIPアドレスもしくはUserAgentをホワイトリストに登録する事を推奨しております。 尚、キャッシュによる動作影響はございません。 参考： 機能説明->クロール FAQ->UserAgentを教えてください

• Cookie同意バナーも検索対象になってしまいますか

  Q. Cookie同意バナーも検索対象になってしまいますか。 A.いいえ、検索対象とはなりません。MARS FINDERでは、下記の主要なCookie同意バナーは自動的に検索対象から除外されます。 OneTrust (div#onetrust-consent-sdk) Osano (div.osano-cm-window) Cookiebot (div#CybotCookiebotDialog) webtru ...