Webをキャプチャして変換するツール

2019のビッグウェブスクレーパーの改善

金曜日、3月8、2019

再設計と多数のバグ修正に加えて、GrabzItのWebスクレイパーを大幅に改善しました。

  • CSSスタイルに含まれるコンテンツの抽出のサポート
  • スクレイプの実行元の国を選択できるようになりました。 現時点では、選択肢は米国または英国です。
  • robots.txtルールを尊重するかどうかを選択できるようになりました。 デフォルトでは、スクレイプが行います。
  • 相対データを自動的に関連付けることができるようになりました。これは、一部のHTML要素に対して存在し、他のHTML要素に対して存在しないデータがある場合に役立ちます。 これらのアイテムを関連付けることにより、結果のデータセット内のデータの正しいアイテムに対して値が表示されます。
  • データセットを作成するとき、異なる列は異なるテンプレートに属することができます。つまり、一部の列はあるタイプのページから、他の列は異なるタイプのページから取り込むことができます。 この一例は、製品一覧ページと製品詳細ページです。 これにより、リストページから広範な詳細を取得し、製品の詳細ページから詳細情報を取得できます。
  • データセットビルダーが改善されたもう1つの方法は、「含む」、「より小さい」などの操作の効果をすべてまたは一部の列に適用できるようにすることです。
  • 現在いくつかあります 新しいコマンド スクレイプウィザードから利用できます。
    • 削除-要素を削除できるようになりました。これは、同じ要素が複数回読み取られるのを停止する場合に便利です。
    • スクロール– Webスクレイパーは、それをサポートするHTML要素をスクロールできるようになりました。
    • ホバー-このコマンドは、指定された要素の上にマウスを移動します。これは、情報を表示するのに役立ちます。
    • ページネーション-これはクリックアクションの新しい機能であり、選択したページネーションリンクでページネーションを自動的に実行できます。 これは、スクレイパーがページ付けされたデータのどこかをクリックして、スクレイプの一部として、現在のページ付けされたページに戻ってスクレイピングを続行することを意味します。
  • GrabzItの最高の部分は Webスクレーパー 毎月無料で使用できるということです。 だからあなたはそれを試してみて、私たちのものを最高のオンラインウェブスクレーパーにしたいと思っているフィードバックを私たちに返してください!

最新のブログ投稿を見る