煎蛋网妹子图爬虫(requests库实现)
文章目录
- 煎蛋网妹子图爬虫(requests库实现)
- 一、前言
- 环境配置
- 二、完整代码
一、前言
说到煎蛋网爬虫,相比很多人都写过,我这里试着用request库简单的完成,爬取煎蛋网的妹子图并保存到本地,直接上爬取效果。
环境配置
1、requests库
2、BeautifulSoup库
3、os库
二、完整代码
import requests
from bs4 import BeautifulSoup
import os
# 创建一个soup对象
def get_soup(url):
r = requests.get(url, headers=headers)
html = r.text
return BeautifulSoup(html, 'html.parser')
# 获取原图链接并将图片保存到本地
def get_jpg(soup):
global index
for link in soup.find_all('a', {'class': 'view_img_link'}):
href = link.get('href')
with open('{}{}.jpg'.format(root, index), 'wb') as f:
f.write(requests.get('http:' + href).content)
print('成功爬取%d张图片' % index)
index += 1
if __name__ == '__main__':
root = 'D:\\meizi\\'
os.mkdir(root) #创建一个文件夹
index = 1 # 初始化图片索引
depth = 30 # 指定爬取页数
url = 'http://jandan/ooxx'
headers = {'referer': 'http://jandan/',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'}
for i in range(depth):
soup = get_soup(url)
get_jpg(soup)
url = 'http:' + soup.find('a', {'class': 'previous-comment-page'}).get('href')
更多推荐
煎蛋网妹子图爬虫(requests库实现)
发布评论