クロール・サービス作成の所要時間を教えてください
クロール・サービス作成の所要時間を教えてください
Q.
クロール・サービス作成の所要時間を教えてください。
A.
クロールとサービス作成の所要時間は、以下の通りとなります。
クロール: HTMLまたはPDF形式のURLを1時間あたり1,000~2,000件処理いたします。
サービス作成: 1時間あたり10,000~15,000件のURLを処理いたします。
これらの数値は目安であり、通信状況やご利用環境によって前後する可能性がございますので、目安としてご利用ください。
Related Articles
クロール
お客様が設定した対象URLに対し、再帰的にページの内容、スクリーンショット(※)を収集・格納処理する機能です。 収集したページ内(PDF、Office文書を除く)を解析し、URLを発見することで再帰的な処理を実現します。 ※スクリーンショットが検索結果に反映されるまでに、半日程度お時間がかかる場合があります。 弊社クロールの特徴 弊社クローラは一般的なクローラでは処理しづらいSPA(Single Page Application)のサイトについても対応しています。 ...
「クロール済みのURL数」「クロールリクエスト総数」の違いを教えてください
Q. クローラ一覧画面で表示されている「クロール済みのURL数」「クロールリクエスト総数」の違いを教えてください。 A.以下のように定義しています。 クロール済みのURL数: クロールで取得されたURL数を示します。 クロールで取得されたURL数がクローラ詳細画面->割り当てドキュメント数に到達すると、クロールを完了します。 尚、クロール時のHTTP レスポンスステータスコードに関わらず、クロール済みのURL数にカウントアップされます。 ...
CMSで構築したサイトをクロールできますか
Q. CMSで構築したサイトをクロールできますか。 A.はい、可能です。 MARS FINDERはCMSには依存しませんので、一般公開されているサイトでしたらクロールすることが可能です。 (一部、認証配下のサイトもクロールすることが可能です。)
クロール時のIPアドレスを教えてください
A.クロールする際の接続元IPアドレスを教えてください。 Q.下記リンク先に記載の、いずれかのIPアドレスにてクロールします。 IPv4 IPv6 参考.MARS FINDER 2.0 動作仕様
クロール結果や検索DB作成結果の保管期間を教えてください
Q. クロール結果や検索DB作成結果の保管期間を教えてください。 A.以下が保管期間となります。 保管期間を経過した場合は、改めてクロールや検索DB作成を実行ください。 クロール結果:60日 検索DB作成結果:60日