この記事では、MQでサイトを巡回するための「クローラ」を新規作成する手順を説明します。

アプリケーションの契約が完了したら、次はサイトを巡回する「クローラ」を作成します。

サイトを巡回する設定です。次の5つのステップで作成します。

• 基本情報:クローラ名・概要を入力
• 割り当てドキュメント数:契約プランの残り上限までの範囲で割り当て
• クロール範囲:起点URL・許可URLパターン(各1件以上)、除外URLパターン(任意)を正規表現で指定
• クロールスケジュール:毎日・毎週・毎月から選択(複数設定可)
• 拡張機能(任意・全12項目):
  • クロール時のリクエストパラメータ保持(URLのクエリ・フラグメントを保持するか)
  • クロール時のIP固定(静的IP)
  • クロール対象ファイル(PDF、MS-Office)
  • robots.txt/robots metaタグ有効
  • クロールする深さ(深度2〜10)
  • アクセス速度調整
  • ページ表示完了までの待機方法(domcontentloaded/networkidle)
  • ページ表示完了までの待機時間
  • クロール時のCookie固定
  • 前回クロール数と比較して正常終了とする閾値
  • Basic認証
  • フォーム認証(Basic認証とフォーム認証は同時利用不可)