python 基金净值_Python爬虫周记之案例篇——基金净值Selenium动态爬虫

在成功完成基金净值爬虫的爬虫后，简单了解爬虫的一些原理以后，心中不免产生一点困惑——为什么我们不能直接通过Request获取网页的源代码，而是通过查找相关的js文件来爬取数据呢？

有时候我们在用requests抓取页面的时候，得到的结果可能和浏览器中看到的不一样：浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。

这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，这些数据来源多种，可能是通过Ajax加载的，可能是包含在HTML文档中的，也可能是经过JavaScript和特定算法计算后生成的。而依照目前Web发展的趋势，网页的原始HTML文档不会包含任何数据，都是通过Ajax等方法统一加载后再呈现出来，这样在Web开发上可以做到前后端分离，而且降低服务器直接渲染页面带来的。通常，我们把这种网页称为动态渲染页面。

之前的基金净值数据爬虫就是通过直接向服务器获取数据接口，即找到包含数据的js文件，向服务器发送相关的请求，才获取文件。

那么，有没有什么办法可以直接获取网页的动态渲染数据呢？答案是有的。

我们还可以直接使用模拟浏览器运行的方式来实现动态网页的抓取，这样就可以做到在浏览器中看倒是什么样，抓取的源码就是什么样，即实现——可见即可爬。

Python提供了许多模拟浏览器运行的库，如：Selenium、Splash、PyV8、Ghost等。本文将继续以基金净值爬虫为例，用Selenium对其进行动态页面爬虫。

环境

tools

1、Chrome及其developer tools

2、python3.7

3、PyCharm

python3.7中使用的库

1、Selenium

2、pandas

3、random

4、 time

5、os

系统

Mac OS 10.13.2

Selenium基本功能及使用

准备工作

Chrome浏览器

Selenium库

可直接通过pip安装，执行如下命令即可：

pip install selenium

ChromDriver配置

Selenium库是一个自动化测试工具，需要浏览器来配合使用，我们主要介绍Chrome浏览器及ChromeDriver驱动的配置，只有安装了ChromeDriver并配置好对应环境，才能驱动Chrome浏览器完成相应的操作。Windows和Mac下的安装配置方法略有不同，具体可通过网上查阅资料得知，在此暂时不做赘述。

基本使用

首先，我们先来了解Selenium的一些功能，以及它能做些什么:

Selenium是一个自动化测试工具，利用它可以驱动游览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些动态渲染的页面来说，此种抓取方式非常有效。它的基本功能实现也十分的方便，下面我们来看一些简单的代码：

1 from selenium importwebdriver2 from selenium.webdrivermon.by importBy3 from selenium.webdrivermon.keys importKeys4 from selenium.webdriver.support importexpected_conditions as EC5 from selenium.webdriver.support.wait importWebDriverWait6

7

8 browser = webdriver.Chrome() #声明浏览器对象

9 try:10 browser.get('https://www.baidu') #传入链接URL请求网页

11 query = browser.find_element_by_id('kw') #查找节点

12 query.send_keys('Python') #输入文字

13 query.send_keys(Keys.ENTER) #回车跳转页面

14 wait = WebDriverWait(browser, 10) #设置最长加载等待时间

15 print(browser.current_url) #获取当前URL

16 print(browser.get_cookies()) #获取当前Cookies

17 print(browser.page_source) #获取源代码

18 finally:19 browser.close() #关闭浏览器

运行代码后，会自动弹出一个Chrome浏览器。浏览器会跳转到百度，然后在搜索框中输入Python→回车→跳转到搜索结果页，在获取结果后关闭浏览器。这相当于模拟了一个我们上百度搜索Python的全套动作，有木有觉得很神奇！！

在过程中，当网页结果加载出来后，控制台会分别输出当前的URL、当前的Cookies和网页源代码：

可以看到，我们得到的内容都是浏览器中真实的内容，由此可以看出，用Selenium来驱动浏览器加载网页可以直接拿到JavaScript渲染的结果。接下来，我们也将主要利用Selenium来进行基金净值的爬取~

基金净值数据爬虫

通过之前的爬虫，我们会发现数据接口的分析相对来说较为繁琐，需要分析相关的参数，而如果直接用Selenium来模拟浏览器的话，可以不再关注这些接口参数，只要能直接在浏览器页面里看到的内容，都可以爬取，下面我们就来试一试该如何完成我们的目标——基金净值数据爬虫。

页面分析

本次爬虫的目标是单个基金的净值数据，抓取的URL为：http://fundf10.eastmoney/jjjz_519961.html(以单个基金519961为例)，URL的构造规律很明显，当我们在浏览器中输入访问链接后，呈现的就是最新的基金净值数据的第一页结果：

在数据的下方，有一个分页导航，其中既包括前五页的连接，也包括最后一页和下一页的连接，同时还有一个输入任意页码跳转的链接：

如果我们想获取第二页及以后的数据，则需要跳转到对应页数。因此，如果我们需要获取所有的历史净值数据，只需要将所有页码遍历即可，可以直接在页面跳转文本框中输入要跳转的页码，然后点击“确定”按钮即可跳转到页码对应的页面。

此处不直接点击“下一页”的原因是：一旦爬虫过程中出现异常退出，比如到50页退出了，此时点击“下一页”时，无法快速切换到对应的后续页面。此外，在爬虫过程中也需要记录当前的爬虫进度，能够及时做异常检测，检测问题是出在第几页。整个过程相对较为复杂，用直接跳转的方式来爬取网页较为合理。

当我们成功加载出某一页的净值数据时，利用Selenium即可获取页面源代码，定位到特定的节点后进行操作即可获取目标的HTML内容，再对其进行相应的解析即可获取我们的目标数据。下面，我们用代码来实现整个抓取过程。

获取基金净值列表

首先，需要构造目标URL，这里的URL构成规律十分明显，为http://fundf10.eastmoney/jjjz_基金代码.html，我们可以通过规律来构造自己想要爬取的基金对象。这里，我们将以基金519961为例进行抓取。

1 browser =webdriver.Chrome()2 wait = WebDriverWait(browser, 10)3 fundcode='519961'

4

5 defindex_page(page):6 '''

7 抓取基金索引页8 :param page: 页码9 :param fundcode: 基金代码10 '''

11 print('正在爬取基金%s第%d页' %(fundcode, page))12 try:13 url = 'http://fundf10.eastmoney/jjjz_%s.html' %fundcode14 browser.get(url)15 if page>1:16 input_page =wait.until(17 EC.presence_of_element_located((By.CSS_SELECTOR, '#pagebar input.pnum')))18 submit =wait.until(19 EC.element_to_be_clickable((By.CSS_SELECTOR, '#pagebar input.pgo')))20 input_page.clear()21 input_page.send_keys(str(page))22 submit.click()23 wait.until(24 EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#pagebar label.cur'),25 str(page)))26 wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#jztable')))27 get_jjjz()28 exceptTimeoutException:29 index_page(page)

这里，首相构造一个WebDriver对象，即声明浏览器对象，使用的浏览器为Chrome，然后指定一个基金代码(519961)，接着定义了index_page()方法，用于抓取基金净值数据列表。

在该方法里，我们首先访问了搜索基金的链接，然后判断了当前的页码，如果大于1，就进行跳页操作，否则等页面加载完成。

在等待加载时，我们使用了WebDriverWait对象，它可以指定等待条件，同时制定一个最长等待时间，这里指定为最长10秒。如果在这个时间内匹配了等待条件，也就是说页面元素成功加载出来，就立即返回相应结果并继续向下执行，否则到了最大等待时间还没有加载出来时，就直接抛出超市异常。

比如，我们最终需要等待历史净值信息加载出来就指定presence_of_element_located这个条件，然后传入了CSS选择器的对应条件#jztable，而这个选择器对应的页面内容就是每一页基金净值数据的信息快，可以到网页里面查看一下：

注：这里讲一个小技巧，如果同学们对CSS选择器的语法不是很了解的话，可以直接在选定的节点点击右键→拷贝→拷贝选择器，可以直接获取对应的选择器：

当加载成功后，机会秩序后续的get_jjjz()方法，提取历史净值信息。

关于翻页操作，这里首先获取页码输入框，赋值为input_page，然后获取“确定”按钮，赋值为submit：

首先，我们情况输入框(无论输入框是否有页码数据)，此时调用clear()方法即可。随后，调用send_keys()方法将页码填充到输入框中，然后点击“确定”按钮即可，听起来似乎和我们常规操作的方法一样。

那么，怎样知道有没有跳转到对应的页码呢？我们可以注意到，跳转到当前页的时候，页码都会高亮显示：

我们只需要判断当前高亮的页码数是当前的页码数即可，左移这里使用了另一个等待条件text_to_be_present_in_element，它会等待指定的文本出现在某一个节点里时即返回成功，这里我们将高亮的页码对应的CSS选择器和当前要跳转到 页码通过参数传递给这个等待条件，这样它就会检测当前高亮的页码节点是不是我们传过来的页码数，如果是，就证明页面成功跳转到了这一页，页面跳转成功。

这样，刚从实现的index_page()方法就可以传入对应的页码，待加载出对应页码的商品列表后，再去调用get_jjjz()方法进行页面解析。

解析历史净值数据列表

接下来，我们就可以实现get_jjjz()方法来解析历史净值数据列表了。这里，我们通过查找所有历史净值数据节点来获取对应的HTML内容

并进行对应解析，实现如下：

1 defget_jjjz():2 '''

3 提取基金净值数据4 '''

5 lsjz =pd.DataFrame()6 html_list = browser.find_elements_by_css_selector('#jztable tbody tr')7 for html inhtml_list:8 data = html.text.split(' ')9 datas ={10 '净值日期': data[0],11 '单位净值': data[1],12 '累计净值': data[2],13 '日增长率': data[3],14 '申购状态': data[4],15 '赎回状态': data[5],16 }17 lsjz = lsjz.append(datas, ignore_index=True)18 save_to_csv(lsjz)

首先，调用find_elements_by_css_selector来获取所有存储历史净值数据的节点，此时使用的CSS选择器是#jztable tbody tr，它会匹配所有基金净值节点，输出的是一个封装为list的HTML。利用for循环对list进行遍历，用text方法提取每个html里面的文本内容，获得的输出是用空格隔开的字符串数据，为了方便后续处理，我们可以用split方法将数据切割，以一个新的list形式存储，再将其转化为dict形式。

最后，为了方便处理，我们将遍历的数据存储为一个DataFrame再用save_to_csv()方法进行存储为csv文件。

保存为本地csv文件

接下来，我们将获取的基金历史净值数据保存为本地的csv文件中，实现代码如下：

1 defsave_to_csv(lsjz):2 '''

3 保存为csv文件4 : param result: 历史净值5 '''

6 file_path = 'lsjz_%s.csv' %fundcode7 try:8 if not os.path.isfile(file_path): #判断当前目录下是否已存在该csv文件，若不存在，则直接存储

9 lsjz.to_csv(file_path, index=False)10 else: #若已存在，则追加存储，并设置header参数为False，防止列名重复存储

11 lsjz.to_csv(file_path, mode='a', index=False, header=False)12 print('存储成功')13 exceptException as e:14 print('存储失败')

此处，result变量就是get_jjjz()方法里传来的历史净值数据。

遍历每一页

我们之前定义的get_index()方法需要接受参数page，page代表页码。这里，由于不同基金的数据页数并不相同，而为了遍历所有页我们需要获取最大页数，当然，我们也可以用一些巧办法来解决这个问题，页码遍历代码如下：

1 defmain():2 '''

3 遍历每一页4 '''

5 flag =True6 page = 1

7 whileflag:8 try:9 index_page(page)10 time.sleep(random.randint(1, 5))11 page += 1

12 except:13 flag =False14 print('似乎是最后一页了呢')

其实现方法结合了try...except和while方法，逐个遍历下一页内容，当页码超过，即不存在时，index_page()的运行就会出现报错，此时可以将flag变为False，则下一次while循环不会继续，这样，我们便可遍历所有的页码了。

由此，我们的基金净值数据爬虫已经基本完成，最后直接调用main()方法即可运行。

总结

在本文中，我们用Selenium演示了基金净值页面的抓取，有兴趣的同学可以尝试利用其它的条件来爬取基金数据，如设置数据的起始和结束日期：

利用日期来爬取内容可以方便日后的数据更新，此外，如果觉得浏览器的弹出较为恼人，可以尝试Chrome Headless模式或者利用PhantomJS来抓取。

至此，基金净值爬虫的分析正式完结，撒花~