合理使用技术（盗亦有道）

爬虫虽然可以让我们很方便的获得大量的资源，但是同时也会引发很多的问题，我们根据爬虫的尺寸分为三大类：

每当我们发起了一个爬虫，它就会像一个骚扰电话一样访问服务器，因此大型的爬虫会对服务器造成很大的压力

为了规范这些手段，网页上就有了一些关于爬虫的限制：

Robots协议