proxies
proxies的格式是一个字典:{ ‘http’: ‘http://42.84.226.65:8888‘ }
有 http 与 https 两种,在爬取不同网站时我们需要选用不同类型的网站时选用不同的 proxise,
在不知道网站类型时可以将两种类型均放进去,requests 会自动选择合适的。
proxies = {
"http": "http://10.10.1.10:3128", # http 型的
"https": "http://10.10.1.10:1080" # https 型的
}
误区:
(1)如果你是这样子的,但是你要爬的网页是 https 型的
requests 可以请求成功,但是请求使用的是你的真实ip地址,所以相当于代理ip,没有起作用。
proxies = {
"https": "http://10.10.1.10:1080"
}
(2)如果你是这样子的,但是你要爬的网页是 http 型的
requests 可以请求成功,但是请求使用的是你的真实ip地址,所以相当于代理ip,没有起作用。
proxies = {
"https": "http://10.10.1.10:1080"
}
注意:
只有当你的proxies类型与你想访问的网站类型相同,代理ip才会起作用
可以用以下代码检验你的代理ip是否成功启用
import requests
proxies = {
"https": "http://10.10.1.10:1080"
}
req = requests.get('http://icanhazip/', proxies=proxies)
print(req.content)
# 访问 http://icanhazip/(https://icanhazip/) 可以得到你访问时的ip地址
更多推荐
代理IP中的 proxies 介绍及使用
发布评论