クロール結果のフォーマットを教えてください

クロール結果のフォーマットを教えてください

Q. クローラ詳細画面からダウンロードできる「クロール結果」のフォーマットを教えてください。


A.直近のクロール実行時の結果を示すものです。ファイルのフォーマットは、以下の通りとなります。

1. MF3.0 クロール結果ファイル
1.1 クロール結果ファイル仕様
項目内容
ファイル名crawl_result_detail.csv.zip
ファイルフォーマットzip

1.2 クロール結果ファイル zipファイル内容
ファイル名説明
crawl_result_detail.csvMF3.0 クロール結果CSVファイル

1.3 クロール結果CSVファイル仕様
項目内容
ファイル名crawl_result_detail.csv
ファイルフォーマットCSV
CSV囲み文字"
区切り文字,
エスケープ文字"
先頭BOM先頭BOMあり
文字コードutf-8
改行コードCR+LF
1行目ヘッダ行（各列の項目名）

1.4 クロール結果CSVファイル　項目一覧
項目名（英名）項目名（和名）内容補足
crawler_version
クローラバージョン
クロール処理に使用したクローラのバージョン
調査時の参考用
crawl_url
クロールURL
クローラの処理対象URL

last_url
最終URL
リダイレクトやcanonicalを考慮した最終的な到達URL

is_crawl_ok
クロール成否
当該ページのクロール処理の成否。失敗:false 成功:true
文字列形式のブール値
crawl_skip_reason
クロールスキップ理由
クロール処理が失敗またはスキップされた理由。成功時は空
1.5 クロール失敗理由一覧を参照
response_headers
レスポンスヘッダ
クロール時のHTTPレスポンスヘッダ。Python辞書形式で格納（シングルクォート使用）

http_status_code
HTTPステータスコード
クロール時のHTTPステータスコード

content_type
コンテンツ種別
当該ページのContent-Type

last_modified
last_modified
クロール時HTTP responseで返されるlast-modified。RFC 2822形式。取得できない場合は空

title
タイトル
HTMLページの場合、<title>タグの内容を出力します。PDFやOffice文書等、HTML以外のコンテンツの場合は空欄。



1.5 クロールスキップ理由一覧
スキップメッセージ（英名）内容補足
crawler_batch_00101: Failed to fetch page during crawling.
クロール中にページの取得に失敗しました。
ネットワークエラーやタイムアウト等により、ページの取得に失敗しました。
crawler_batch_00201: Last URL is not a target for crawling.
最終URLがクロール対象外です。
リダイレクト先のURLがクロール対象外の範囲でした。

crawler_batch_00202: Content class is not a target for crawling. content class: {content_class}
コンテンツクラスがクロール対象外です。コンテンツクラス: {content_class}
クローラがHEADアクセス時Content-Type：HTMLであり、GETアクセス時Content-Type：HTML以外の場合に表示されます。
crawler_batch_00203: HTTP status code error. Status code: {status}
HTTPステータスコードエラーです。ステータスコード: {status}
クロール時に4xx、5xxなどのエラーステータスコードが返されました。
crawler_batch_00204: Exception occurred during crawling process.
クロール処理中に例外が発生しました。
クロール処理中に予期しないエラーが発生しました。
crawler_batch_00205: Exceeded the maximum number of redirects.
規定回数以上リダイレクトが発生しました。

リダイレクトの回数が上限を超えたため、クロールを中断しました。


1.6 クロール結果（crawl_result_detail.csv.zip）に関する注意事項
  1. クローラ一覧画面の実行履歴欄に「システムによる停止」と表示されている場合、crawl_result_detail.csv.zip は出力されません。少し時間をおいてから、再度クロール実行をお試しください。
  2. クロール結果の保管期限（60日）を超えている場合、ダウンロード時にエラーとなります。再度クロール実行をお試しください。