怎么让Python2爬虫访问特定的IP
在 python 2 爬虫中,通过修改套接字选项、使用 requests 库、使用 urllib 库或使用 socks 代理,可以访问特定 ip。
如何在 Python 2 爬虫中访问特定 IP
直接修改套接字选项
使用 requests 库:
import requests# 设置代理 IPproxy_ip = ‘1.2.3.4’# 修改代理设置proxies = { ‘http’: ‘{proxy_ip}:8080’, ‘https’: ‘{proxy_ip}:8080’,}# 访问目标 URLresponse = requests.get(‘example.’, proxies=proxies)
使用 urllib 库:
import urllib2# 设置代理处理程序proxy_handler = urllib2.ProxyHandler({‘http’: proxy_ip})# 创建带有代理处理程序的打开器opener = urllib2.build_opener(proxy_handler)# 访问目标 URLresponse = opener.open(‘example.’)
使用 SOCKS 代理
使用 socket 库:
import socket# 设置 SOCKS 代理socks_proxy = (‘1.2.3.4’, 1080)# 创建带有 SOCKS 代理的套接字sock = socket.socket()sock.setproxy(socket.PROXY_TYPE_SOCKS5, *socks_proxy)# 连接到目标 URLsock.connect((‘example.’, 80))
使用 socks 库:
import socks# 设置 SOCKS 代理socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, ‘1.2.3.4’, 1080)# 访问目标 URLsock = socks.socksocket()sock.connect((‘example.’, 80))
以上就是怎么让Python2爬虫访问特定的IP的详细内容,更多请关注范的资源库其它相关文章!
转载请注明:范的资源库 » 怎么让Python2爬虫访问特定的IP