作为一个新手,在做爬虫的时候,经常遇到http连接超时,这个问题很蛋疼。大概查了一下,暂时还没发现有什么好办法,所以自己写了一个简单的处理连接超时的方法。用的是循环套用。
各位大神,如果有什么好招数的话,指点一下。

-- coding: UTF-8 --

import urllib.request
url = ‘stackoverflow’

c = 1
def getcontect©:
try:
#req2 = urllib.request.Request(“http://” + url)
#resp2 = urllib.request.urlopen(req2, timeout=0.1)
sendrequest()
print(“Normal”)
except:
print(“exception”)
print©
c = c+1

    print("c before return:", c)
    if c == 5:
        return -1
    else:
        getcontect(c)

getcontect(1)

运行结果
reqtest.py
exception
1
c before return: 2
exception
2
c before return: 3
exception
3
c before return: 4
exception
4
c before return: 5

进程已结束,退出代码为 0

更多推荐

Python处理连接超时方法