2019 年の Web スクレイパーの大幅な改善

再設計と大量のバグ修正に加えて、GrabzIt の Web スクレイパーに次のような大幅な改善を加えました。

• CSS スタイルに含まれるコンテンツの抽出のサポート
• スクレイピングを実行する国を選択できるようになりました。 現時点では、選択肢は米国または英国です。
• robots.txt ルールを尊重するかどうかを選択できるようになりました。 デフォルトでは、スクレイピングが行われます。
• 相対データを自動的に関連付けられるようになりました。これは、一部の HTML 要素には存在するが、他の要素には存在しないデータがある場合に便利です。 これらの項目を関連付けることにより、結果のデータセット内の正しいデータ項目に対して値が表示されます。
• データセットを作成するとき、異なる列を異なるテンプレートに所属させることができます。つまり、一部の列にはあるタイプのページからデータを入力し、他の列には異なるタイプのページからデータを入力できます。 この一例としては、製品リスト ページと製品詳細ページが挙げられます。 これにより、リスト ページから大まかな詳細を取得し、製品詳細ページから詳細情報を取得できるようになります。
• データセット ビルダーが改良されたもう XNUMX つの方法は、contains、less than などの操作の効果をすべてまたは一部の列に適用できるようにすることです。
• 今ではいくつかあります 新しいコマンド スクレイピング ウィザードから利用できます。
  • 削除 – 要素を削除できるようになりました。これは、状況によっては、同じ要素が複数回読み取られるのを停止するのに役立ちます。
  • スクロール – Web スクレイパーは、それをサポートする HTML 要素をスクロールできるようになりました。
  • ホバー - このコマンドは、指定された要素の上にマウスを置きます。これは、情報を表示するのに役立ちます。
  • ページネーション – これはクリック アクションの新機能で、選択したページネーション リンクでページネーションを自動的に実行できます。 これは、スクレイピングの一部として、スクレイパーがページ分割されたデータのどこかをクリックした場合でも、現在のページ分割されたページに戻ってスクレイピングを続行することを意味します。

Grabz の最も良い点は、 Webスクレーパー それは毎月無料で利用できるということです。 それで、あなたは何を待っていますか？ ぜひ試してみて、フィードバックがあれば私たちに返してください。私たちのものを最高のオンライン Web スクレーパーにしたいと思っています。