当社の Web Scraper は、Web サイトの robots.txt ファイルにあるルールを尊重する必要があります。 この主な理由の XNUMX つは、親切であること以外に、robots.txt ファイルに従っていない Web スクレイパーがハニーポット サービスによってブラックリストに登録される可能性があることです。
これらのサービスは、robots.txt を使用して、Web スクレイパーに、Web サイトからリンクされている特定のファイルにアクセスしないよう指示します。 Web スクレイパーが引き続きファイルにアクセスする場合、Web スクレイパーの IP アドレスはブラックリストに登録され、今後 Web スクレイパーが Web サイトにアクセスできなくなります。