クローラのIPアドレス、UserAgentを教えてください

• Related Articles

• UserAgentを教えてください

  Q. UserAgentを教えてください。 A. "dbot"という文字列を含むものとなります。

• 2024.01.31　[MARS FINDER 3.0]　リリース情報

  以下の項目におきまして、リリースを行いました。 MARS FINDER 3.0 　・検索DB作成処理が速度upしました。より短時間で検索DBが作成できます。 　・クローラのIPアドレスを固定化できるようになりました。 管理画面->クローラ詳細画面より、固定化のオン、オフできます。

• CDN導入または変更時の留意事項を教えてください

  Q. CDN導入または変更時の留意事項を教えてください。 A.CDNが弊社クローラーを不正なbotアクセスと判定し、アクセスを拒否されるケースが稀に発生いたします。 これを防止するため、弊社クローラーのIPアドレスもしくはUserAgentをホワイトリストに登録する事を推奨しております。 尚、キャッシュによる動作影響はございません。 参考： 機能説明->クロール FAQ->UserAgentを教えてください

• サムネイル画像にCookie同意バナーが表示されてしまいます

  Q. サムネイル画像にCookie同意バナーが表示されてしまいます。回避策を教えてください。 A.弊社クローラがクロール対象のWebサイトにアクセスした際、Cookie同意バナーを非表示にするという実装をしていただくことが回避策になります。 この方法ですと、サムネイル画像にCookie同意バナーが表示されることはありません。 弊社クローラの識別には、IPアドレスまたはUserAgentをお使いいただけます。 参考： 機能説明->クロール FAQ->UserAgentを教えてください