现在的位置: 首页 > 电脑相关 > 正文
爬虫过程报错:http.client.RemoteDisconnected: Remote end closed connection without response
2019年08月30日 电脑相关 ⁄ 共 447字 暂无评论

某视频网站 服务器根据 UA 来判断拒绝了 python 爬虫,解决方法如下:

def random_ip():
a=random.randint(1,255)
b=random.randint(1,255)
c=random.randint(1,255)
d=random.randint(1,255)
return(str(a)+'.'+str(b)+'.'+str(c)+'.'+str(d))

def add_header():
return {"Accept-Language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7",
"Proxy-Connection": "keep-alive",
'User-Agent': 'Mozilla/5.0 (Windows NT 7.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36',
'X-Forwarded-For':random_ip() }

给我留言

您必须 [ 登录 ] 才能发表留言!


×