以前学爬虫时候发现煎蛋很好爬取,后面发现煎蛋的图片网址用js处理了,折腾了两天终于成功爬出煎蛋的图片,贴出了一起学习(这里只提供pic的爬出,其它的,自己动手修改)
重点在与用到selenium的库去模拟浏览器识别出带js加载的图片网址。
from selenium import webdriver
import requests
import re
import time
def read_file(filename):
f = open (filename,'r',encoding = 'utf-8')
text = f.read()
f.close()
return text
#######################存文件函数##############################
def save_file(text,filename):
f = open(filename,'w',encoding = 'utf-8')
f.write(text)
f.close()
########直接把列表保存到txt文件中,便于阅读##############
#########lists:传入列表数据;filename:保存为文件名########
def save_list_file(lists,filename):
f = open(filename,'w',encoding='utf-8')
for li in lists:
f.write(li+'\n')
f.close()
####煎蛋的图片网址用js生成,所有必须要用到selenium模块模拟浏览器访问才能得到########################
def get_js_url(URL):
browser = webdriver.Chrome('C:\Python35\chromedriver.exe')
#需要chromedriver.exe以及制定对应的绝对位置
browser.get(URL)
html_text = browser.page_source
#有时间可以学习下selenium的操作,这里是只用了其text的输出,然后用熟悉的老方法处理
browser.close()
return html_text
def save_pic(html,m):
global i #定义全局变量,函数中
parrtern = repile('<img src="(http:.*?)"',re.S) ##利用|,可以识别出mp4和mkv格式
results = re.findall(parrtern,html)
##########对结果进行处理,区分jpg和gif文件网址,以及对jpg文件网址替换某些元素得到原图####################
for result in results:
i += 1
m = i
if result[-3:] == 'gif':
name = str(m)+'.gif'
result_big = result
else:
name = str(m)+'.jpg'
result_big = result.replace('mw600','large')
print(result_big)
###############这里利用requests读取图片网址得到图片内容并写入文件夹中##################################
pic = requests.get(result_big)
with open(name,'wb') as file:
file.write(pic.content)
print('获取第%d张图片' %m)
if __name__ == '__main__':
URL0 = 'http://jandan/pic/' #输入主页网址
i = 0 #图片保存的起始位
for j in range(0,2):
URL = URL0 + 'page-'+str(j)+'#comments'
html = get_js_url(URL) #得到带js的网页内容,str格式输出
save_pic(html,i) #识别并保持图片
time.sleep(1)
print('END')
更多推荐
python如何爬取煎蛋图片(js)
发布评论