Python网络爬虫心得（适合入门新手）

网络爬虫，顾名思义，一只虫，在网络上爬取数据。
1：如何快速入门网络爬虫？
没有真正意义上的快速入门，如果真的可以快速入门，那么一定是拥有很强的html基础，也有着一定程度的python基础。所以如果是初学者，就没有快速入门这么一说，那么究竟需要去认认真真去学一遍html吗？可以，单没必要。但是不得不说，对于网页源码的解读，是对爬虫异常重要的，这点毋庸置疑。新手自学无论是看书还是看视频，都会遇见不小的困难，因为不懂html，所以遇见不懂得问题都得不停百度，不停查资料。甚至连python的程序代码都有一些无法理解。需要的是不停的坚持，克服畏难心理。网络资源很多，可以在b站，网盘等找视频资源配合书籍学习。
2：什么是网络爬虫？
简单描述：可以这么想象，他就是我们的一个分身，我们用代码付给它我们想要杆什么的指令，然后它就“活”了，于是他就开始逛逛网站，看看数据，或者是将我们需要的数据带回来。
3：如何实现？
比较正规的网站一般开发地都非常的规则，网页的结构都相同，就像开发商盖房子一样，相同面积的房子，无论是构造、还是材料、设计、全都相同。不同的地方就在于门牌号，楼号。网页就是如此，比如当我们爬取电影天堂电影的信息时候，首先就要了解网页的基本结构。

从表面上看，就是电影年份，电影名，电影字幕信息，以及时间。然后我们查看源：

这些标签就是对应着电影的全部信息，我们要做的就是拿到这些信息。
那么我们打开一个标签看看

看，内部有一个个超链接，也就是网页上显示的内容。
接下来我们查看一下电影信息里的源：
这只是其中的一个，所有的电影信息都是像这样地规则，于是，我们就只需要先达到爬取一个电影信息的目的，那是不是基本就实现爬取所有的电影的信息了。
4：实施的大概框架：
首先自然是要分析网页的构造，这里就不提js渲染，等还有一些反爬的机制。对网页了解之后，我们就需要拿到需要的源，这样算是完成了第一步，关键的是，网页如此规则，我们只需要分析相同内容中的一条信息就行，就类似于上边分析的电影天堂的案例。仔细分析之后，我需要做的就是通过各种处理（详细步骤不再解释，具体如何实施，可以看之前的博文里，有一篇是爬取电影天堂的电影信息的代码），得到我们需要的信息。
5：别的操作：
爬取的信息我们可以通过利用数据库，直接存储在数据表中，有利于我们分析数据。甚至是可以用python的数据处理来分析数据，等等操作。当然在此说的比较片面。