UserAgentを教えてください
UserAgentを教えてください
Q.
UserAgentを教えてください。
A.
"dbot"という文字列を含むものとなります。
Related Articles
クローラのIPアドレス、UserAgentを教えてください
Q.クローラのIPアドレス、UserAgentを教えてください。 A.クローラの仕様でご確認いただけます。
CDN導入または変更時の留意事項を教えてください
Q. CDN導入または変更時の留意事項を教えてください。 A.CDNが弊社クローラーを不正なbotアクセスと判定し、アクセスを拒否されるケースが稀に発生いたします。 これを防止するため、弊社クローラーのIPアドレスもしくはUserAgentをホワイトリストに登録する事を推奨しております。 尚、キャッシュによる動作影響はございません。 参考: 機能説明->クロール FAQ->UserAgentを教えてください
marsfinder_on offタグによる除外
お客様サイト内へ以下のタグを挿入いただくことで、「タグ内の文字列を検索対象から除外する※」ことができる機能です。 但し、bodyタグ内でのみ有効です。 この機能は、検索DB詳細画面->拡張設定->marsfinderoff~marsfinderonタグ除外を利用する により、有効・無効が設定できます。 設定は、次回検索データベースが作成されると反映されます。 ※タグ内のリンクに関しては、クロール対象のままです。 ■タグ ==== 開始 <!-- marsfinderoff: index --> ...
Cookie同意バナーも検索対象になってしまいますか
Q. Cookie同意バナーも検索対象になってしまいますか。 A.いいえ、検索対象とはなりません。MARS FINDERでは、下記の主要なCookie同意バナーは自動的に検索対象から除外されます。 OneTrust (div#onetrust-consent-sdk) Osano (div.osano-cm-window) Cookiebot (div#CybotCookiebotDialog) webtru ...
検索対象外タグとmarsfinder on/offタグの違いを教えてください
Q.検索対象外タグとmarsfinder on/offタグの違いを教えてください。 A.両者の効果は同じです。 どちらも該当箇所を検索対象から除外いたします。 「検索対象外タグ」に当てはまれば、自動的に検索対象から除外されるため、marsfinder_on/offの追加は不要となります。HTMLを編集する必要もございません。 marsfinder on/offタグは、「検索対象外タグ」でカバーできない箇所に対して利用いただくものとなります。HTMLを編集して追加してください。 参考: ...