robots.txtの設定を教えてください

robots.txtの設定を教えてください

Q.MARS FINDER 2.0用のrobots.txtの設定を教えてください

A.robots.txtに下記の文字列を追加することで、弊社クローラーのみクロールを許可する設定となります。
=====
User-agent: marsfinder
Allow: /

User-agent: *
Disallow: /
=====
上記のような設定が難しい場合は、MARS FINDER 2.0側でrobots.txtを無視する設定を追加することも可能です。
ご希望の場合は、対象のユニットを弊社(https://support.marsflag.com/ja-jp/ )までお知らせください。


    • Related Articles

    • 2024.04.03　[MARS FINDER 3.0]　リリース情報

      以下の項目におきまして、リリースを行いました。 MARS FINDER 3.0 　・検索DB作成時にmeta robotsタグを無視する機能を追加しました。 　・検索DB作成時に選択したクローラで取得したすべてのページを検索DBに取り込む機能を追加しました。 　・検索APIバリデートの厳格化しました。

    • 4. クローラを作成する

      ①ホーム画面から、「組織」を開きます。 ②画面左メニューで、MARS Platform上で提供されるアプリケーションの一覧が表示されます。 MARS FINDER 3.0をご利用の場合は、「MARS FINDER」をクリックします。 ③「サービス一覧」 をクリックします。 ④クローラを作成したいサービスの「クローラ選択 」をクリックします。 ⑤「クローラ作成 」をクリックし、クローラを作成します。 ⑥各項目に情報を入力し、「作成」ボタンを押下します。 No. 項目名 説明 1 クローラ名 ...

    • 3. サービスを作成する

      ①ホーム画面から、「MARS FINDER」を開きます。 ②「サービス一覧」をクリックします。 ③「サービス作成」ボタンをクリックします。 ④表示名に任意のサービス名を入力し、「作成」をクリックします。 ⑤上記にてサービスの作成は完了ですが、各サービスには検索DBが必要となります。 　次に「検索DB作成」をクリックします。 ⑥検索DB作成に必要な情報を各項目に入力し、「作成」をクリックします。 ⑦内容を確認して、「OK」をクリックします。 ...

    • MF2.0から移行されるお客様向け MF3.0 設定ガイド

      MF2.0からMF3.0に移行いただくためには、以下の2つの作業があります。 　1：MF2.0の設定値をMF3.0の管理画面に移動する 　2：Webサイトの検索窓、検索結果ページの設置方法を変更する お手元に、弊社カスタマーサポートよりお送りしておりますexportファイル(xxxx__xxxx__xxxx__export_config.txt)をご用意ください。 注)xxxxはお客様毎に異なります。 ...

    • 2. 検索結果を設置する Ver.1 ( 必須・初期バージョン )

      ステップ2★検索結果を表示したいhtmlファイルにタグを埋め込む 1） 検索結果を表示したいhtmlファイル（例 result.html）の<head>～</head>の中に、以下のタグを埋め込んでください。 <!-- ↓CSS --> <link href="https://ce.mf.marsflag.com/latest/css/mf-search.css" rel="stylesheet" type="text/css" media="all" charset="UTF-8"> 2） ...