Octoparseは、プログラミングの知識がなくても簡単にWebスクレイピングを行うことができるAIツールです。視覚的に分かりやすいインターフェースを持ち、初心者でも手軽に大量のデータを抽出することができます。
Octoparseは日本語にも対応済み
Octoparseは海外発のサービスですが、2018年に日本語にも対応しています。
Webサイトの日本語対応はもちろんですが、公式ブログやYouTubeでも日本語での情報発信をおこなっています。
- Octoparse公式ブログ: https://www.octoparse.jp/blog
- Octoparseクローラーテンプレート: https://www.octoparse.jp/template
- X(Twitter)アカウント: https://x.com/OctoparseJapan
- LinkedInアカウント: https://www.linkedin.com/in/octoparse-japan
- Youtubeチャンネル: https://www.youtube.com/@octoparsejapan
- Octoparseアフィリエイト: https://www.octoparse.jp/affiliates
Octoparseの主な特徴とメリット
Octoparseの主な特徴とメリットは、次の通りです。
- ノーコード対応: プログラミングの知識が不要で、視覚的な操作だけでデータを抽出できます。
- 多様な出力形式: 抽出したデータはCSV、Excel、HTML、JSON、データベース（Google Sheets、SQL Serverなど）に出力可能です。
- クラウドサービス: クラウドベースでのデータ抽出が可能で、大規模なデータ収集にも対応しています。クラウド機能を使うことで、短期間に大量のWebページをスクレイピングすることができます。
- テンプレートの利用: あらかじめ作成されたテンプレートを利用することで、特定のWebサイトから簡単にデータを抽出できます。
- カスタム抽出: ユーザーは独自の抽出ルールを設定することができ、特定のデータを効率的に収集できます。
Octoparseの主な機能
Octoparseの主な機能は、以下の通りです。
- テンプレートタスク：数百種類のテンプレートからデータ取得ができます。
- カスタマイズタスク：ニーズに合わせて自由にスクレイピングをカスタマイズできます。AJAXが使われている複雑なWebページにも対応できます。
- クラウド抽出：有料プランのユーザー限定ですが、24時間タスクを実行できます。
【機能①】テンプレートタスク
- テンプレート名（twitter、マップなど）を入力し、用意された百種類のテンプレートを検索できます。
- 選択するだけで、URL、キーワードなどのパラメーターを入力してから、データ取得を始めます。
【機能②】カスタマイズタスク
- テンプレートと異なり、カスタマイズモードは非常に柔軟で強力なスクレイピングモードであり、ニーズに合わせて自由にカスタマイズできます。AJAXが使われている複雑なWebページにも対応できます。
- 自動識別機能で、リストの抽出、次のページへの移動、さらに詳細ページに飛んでからのデータ取得などのステップを自動的に追加することができます。
【機能③】クラウド抽出
Octoparseは、プレミアムユーザー（スタンダードプラン以上）が24時間タスクを実行できる強力なクラウドプラットフォームを提供します。「クラウド抽出」でタスクを実行すると、IPを使用して複数のサーバーでクラウドで実行されます。タスクの実行中にアプリまたはコンピューターをシャットダウンできます。ハードウェアの制限について心配する必要はありません。
抽出されたデータはクラウドに保存され、いつでもアクセスできます。自動IPローテーション、タスクスケジューリング、抽出の高速化、Octoparse APIなどの高度な機能は、すべてOctoparse クラウドサービスの一部です。
Octoparseで最もよく使われる機能3選
ここでは、Octoparseで最もよく使われる機能を3つご紹介します。
自動検出機能
Octoparseの「自動検出機能」では、Webページの構造を分析し、類似の要素を自動で認識します。
クリックした要素と同様の要素を候補として表示するため、手間が省けます。
- 類似した要素の認識
- ページネーションの認識
- ワークフローの作成
など、以下の動画で詳しく紹介されているので、気になる方はぜひ見てみてください。
検索結果ページのデータ収集
Octoparseでは、検索結果ページのデータ収集を行うことができます。
また、検索結果と詳細ページを同時にスクレイピングすることも可能です。
Xpathの使用
Octoparseでは、Webスクレイピングを行う上で重要な「Xpath」を使用することも可能です。
具体的な使い方については、以下の動画をご覧ください。
Octoparseの料金プラン
Octoparseには4つの料金プランがあります。各プランの特徴を見ていきましょう。
- フリー：月額料金無料。10タスクまで、ローカル抽出のみ利用可能。
- スタンダード：月額$99~。100タスクまで、クラウド抽出、IP自動ローテーションなどが可能。
- プロフェッショナル：月額$249~。250タスクまで、クラウド抽出20台同時利用。
- エンタープライズ：要問い合わせ。750タスクまで、クラウド抽出40台同時利用。
Octoparseの無料プラン
Octoparseには無料プランがあります。10タスクまでのローカル抽出が可能で、独自サポートを利用できます。
Octoparseの料金比較表
| 機能 | フリー | スタンダード | プロフェッショナル | エンタープライズ |
|---|---|---|---|---|
| 月額料金 | $0 | ・月払い：$99 ・年払い：$119 | ・月払い：$249 ・年払い：$299 | 要問い合わせ |
| タスク数 | 10 | 100 | 250 | 750 |
| 同時利用クラウド台数 | – | 6台 | 20台 | 40台 |
| IP自動ローテーション | – | あり | あり | あり |
| プロキシサーバー | – | あり | あり | あり |
| 機能制限 | あり | なし | なし | なし |
| サポート | 限定サポート | 優先サポート | 優先サポート | 専任マネージャー |
プラン選択のポイントと注意点
- ポイント1：基本機能で十分ならフリープランがおすすめ。
- ポイント2：中規模の利用にはスタンダードプランが適切。
- ポイント3：大量データ抽出にはプロフェッショナルプランが最適。
- 注意点：年間契約の場合、月額料金が16%お得になります。
- 返金保証：有料プラン契約後、5日以内であれば返金が可能です。
以上がOctoparseの料金プランの概要です。詳細は公式サイトでご確認ください。
Octoparseに関するよくある質問
Q1. Octoparseはどのような種類のサイト/データをスクレイピングできますか？
Octoparseは、AJAX、JavaScript、およびその他の動的なウェブサイトを含む、ほとんどのウェブサイトのスクレイピングをサポートしています。また、Octoparseではフォーム、ドロップダウンリスト、無限スクロールなど、さまざまな要素と対話することも可能です。
Q2. Webからメールアドレス、電話番号を抽出できますか？
はい、Webサイトから電話番号やメールアドレスを抽出することも可能です。
グーグル