データ収集・加工
繰り返しの情報収集や転記を、使えるデータへ整えるところから相談できます。
必要な情報を、使える形で受け取る
ウェブページなどにある情報の収集と、集めたデータの整形を相談できます。たとえば店舗名、住所、電話番号、FAX番号、メールアドレス、ホームページURLといった項目を、目的に合わせて整理する作業です。
少量なら手作業で済む転記も、対象が増えると時間や確認の負担が増えます。取得する項目と納品後の使い方を先に決め、必要な範囲をプログラムで扱えるか検討します。
クローリングとスクレイピング
クローリングは、ページ内のリンクをたどり、複数のページにアクセスする処理です。スクレイピングは、そのページから必要なデータを抽出する処理です。取得後は項目の分割、表記の整理、重複確認など、用途に合わせた整形を行います。
収集すること自体を目的にせず、一覧表への転記、集計の元資料、社内業務での利用など、必要な成果物から作業を決めます。取得先の変更や公開状況によって、取得できない項目があることも確認します。
ご相談時に確認すること
- 対象のURL、ページ数や想定件数、必要な項目と利用目的。
- 一度だけの収集か、定期的な更新が必要か。
- 出力形式、文字や項目の整え方、欠けている情報の扱い。
- 対象サイトの利用条件、権利、取り扱う情報の性質、アクセス負荷と取得可否。
- 納期、確認用サンプル、納品範囲とお見積り。
利用条件や法的な取り扱いを含めて収集の可否を確認してから、進め方をご案内します。非公開情報やアクセス制限を回避して集めることを前提にしません。
収集後の業務まで相談できます
Python、Ruby、PHP、JavaScript、Excel VBAなどを用いた収集・加工をご相談いただけます。言語の指定から始める必要はありません。ご利用の環境や、納品後に誰が更新するかを伺い、収集・加工の代行か、社内で使う専用ツールかを整理します。具体的な作り方、対応可否と費用は個別に確認します。