- 当前位置：首页 >系统运维 >普通反爬虫机制的应对策略
普通反爬虫机制的应对策略
发布时间：2025-11-05 11:54:41 来源：云智核 作者：IT科技类资讯
爬虫与反爬虫，普通这相爱相杀的反爬一对，简直可以写出一部壮观的虫机策略斗争史。而在大数据时代，应对数据就是普通金钱，很多企业都为自己的反爬网站运用了反爬虫机制，防止网页上的虫机策略数据被爬虫爬走。然而，应对如果反爬机制过于严格，普通可能会误伤到真正的反爬用户请求;如果既要和爬虫死磕，又要保证很低的虫机策略误伤率，那么又会加大研发的应对成本。
简单低级的普通爬虫速度快，伪装度低，反爬如果没有反爬机制，虫机策略它们可以很快的抓取大量数据，甚至因为请求过多，造成服务器不能正常工作。而伪装度高的爬虫爬取速度慢，对服务器造成的负担也相对较小。所以，网站反爬的站群服务器重点也是那种简单粗暴的爬虫，反爬机制也会允许伪装度高的爬虫，获得数据。毕竟伪装度很高的爬虫与真实用户也就没有太大差别了。
这篇文章主要讨论使用Scrapy框架时，如何应对普通的反爬机制。
header检验
最简单的反爬机制，就是检查HTTP请求的Headers信息，包括User-Agent, Referer、Cookies等。
User-Agent
User-Agent是检查用户所用客户端的种类和版本，在Scrapy中，通常是在下载器中间件中进行处理。比如在setting.py中建立一个包含很多浏览器User-Agent的列表，然后新建一个random_user_agent文件：
class RandomUserAgentMiddleware(object): @classmethod defprocess_request(cls, request, spider): ua = random.choice(spider.settings[USER_AGENT_LIST]) if ua: request.headers.setdefault(User-Agent, ua)这样就可以在每次请求中，随机选取一个真实浏览器的User-Agent。
Referer
Referer是检查此请求由哪里来，通常可以做图片的盗链判断。香港云服务器在Scrapy中，如果某个页面url是通过之前爬取的页面提取到，Scrapy会自动把之前爬取的页面url作为Referfer。也可以通过上面的方式自己定义Referfer字段。
Cookies
网站可能会检测Cookie中session_id的使用次数，如果超过限制，就触发反爬策略。所以可以在Scrapy中设置 COOKIES_ENABLED = False 让请求不带Cookies。
也有网站强制开启Cookis，这时就要麻烦一点了。可以另写一个简单的爬虫，定时向目标网站发送不带Cookies的请求，提取响应中Set-cookie字段信息并保存。爬取网页时，把存储起来的Cookies带入Headers中。
X-Forwarded-For
在请求头中添加X-Forwarded-For字段，将自己申明为一个透明的代理服务器，一些网站对代理服务器会手软一些。
X-Forwarded-For头一般格式如下
X-Forwarded-For: client1, proxy1, proxy2这里将client1，proxy1设置为随机IP地址，把自己的请求伪装成代理的随机IP产生的请求。网站模板然而由于X-Forwarded-For可以随意篡改，很多网站并不会信任这个值。
限制IP的请求数量
如果某一IP的请求速度过快，就触发反爬机制。当然可以通过放慢爬取速度绕过，这要以爬取时间大大增长为代价。另一种方法就是添加代理。
很简单，在下载器中间件中添加:
request.meta[proxy] = http:// + proxy_host + : + proxy_port然后再每次请求时使用不同的代理IP。然而问题是如何获取大量的代理IP?
可以自己写一个IP代理获取和维护系统，定时从各种披露免费代理IP的网站爬取免费IP代理，然后定时扫描这些IP和端口是否可用，将不可用的代理IP及时清理。这样就有一个动态的代理库，每次请求再从库中随机选择一个代理。然而这个方案的缺点也很明显，开发代理获取和维护系统本身就很费时费力，并且这种免费代理的数量并不多，而且稳定性都比较差。如果必须要用到代理，也可以去买一些稳定的代理服务。这些服务大多会用到带认证的代理。
在requests库中添加带认证的代理很简单，
proxies = { "http": "http://user:pass@10.10.1.10:3128/", }然而Scrapy不支持这种认证方式，需要将认证信息base64编码后，加入Headers的Proxy-Authorization字段：
importbase64 # Set the location of the proxy proxy_string = choice(self._get_proxies_from_file(proxies.txt)) # user:pass@ip:port proxy_items = proxy_string.split(@) request.meta[proxy] = "http://%s" % proxy_items[1] # setup basic authentication for the proxy user_pass=base64.encodestring(proxy_items[0]) request.headers[Proxy-Authorization] = Basic + user_pass动态加载
现在越来越多的网站使用ajax动态加载内容，这时候可以先截取ajax请求分析一下，有可能根据ajax请求构造出相应的API请求的URL就可以直接获取想要的内容，通常是json格式，反而还不用去解析HTML。
然而，很多时候ajax请求都会经过后端鉴权，不能直接构造URL获取。这时就可以通过PhantomJS+Selenium模拟浏览器行为，抓取经过js渲染后的页面。
需要注意的是，使用Selenium后，请求不再由Scrapy的Downloader执行，所以之前添加的请求头等信息都会失效，需要在Selenium中重新添加
headers = {...} for key, valuein headers.iteritems(): webdriver.DesiredCapabilities.PHANTOMJS[phantomjs.page.customHeaders.{}.format(key)] = value另外，调用PhantomJs需要指定PhantomJs的可执行文件路径，通常是将该路径添加到系统的path路径，让程序执行时自动去path中寻找。我们的爬虫经常会放到crontab中定时执行，而crontab中的环境变量和系统的环境变量不同，所以就加载不到PhamtonJs需要的路径，所以***是在申明时指定路径：
driver = webdriver.PhantomJS(executable_path=/usr/local/bin/phantomjs)- 上一篇：联想Flex3A8（展现联想Flex3A8的卓越性能和多功能性）
- 下一篇：今天查了一下，squid对dns的支持是这样一个原理： 1、假如dns server发送域名时带有ttl，则以此ttl为准，一般dns server都会带有对ttl的支持，现在我用的dnsmasq默认ttl是0。 2、假如dns server没发送ttl（ttl=0），squid就以自己的配置positive_dns_ttl为准，这个配置默认是6小时。 3、原先squid里配置的一个negative_dns_ttl，证实是配错了，这个配置指的是squid在取不到域名（出错）的情况下会多久再去重取。 我原先的情况是positive_dns_ttl和dns server的ttl都没有配置而配置了negative_dns_ttl，这时squid以默认的positive_dns_ttl为准，即6小时，这个时间对web服务器来说太长了。当前我解决的办法是修改dns server的ttl为60 有些朋友可能是用bind来做的dns，bind可能默认的ttl并不是0，所以用positive_dns_ttl配置不起效的话，修改ttl值就好。 附：检测dns服务器ttl值的方法 在一台linux机器上，修改/etc/resolv.conf将dns指向到要测试的dns，然后执行 dig test.com 假如该dns能解析test.com，就会返回一系列数据，其中有一列指明了ttl值，一试即知。
- 139手机邮箱的优势与特点（全方位解析139手机邮箱的使用和功能）
- 前端开发者必备的Nginx知识
- 2月份GitHub上最热门的Java开源项目
- 对比复现34个预训练模型，PyTorch和Keras你选谁？
- 电脑开机每次都需要去获取IP地址，联网很慢，想设置一个静态IP，该如何设置呢？下面我将给大家讲解如何给ubuntu系统设置静态IP。1、因为我这里的ubuntu版本是14.10版本，所以我先点击【系统设置】，它位置在桌面左侧的菜单栏后面位置。2、在系统设置页面，找到【硬件】选项里面的【网络】一项，然后再使用鼠标左键点击打开它。3、点开网络页面后，网络页面里面我们找到右下角的【选项】按钮。这个按钮点进去就能设置IP地址为静态了。4、打开的选项，窗口叫【正在编辑】，我们在正在编辑窗口里面，可以看到以太网的网口mac地址，然后在连接方式那里，我们点击【IPV4】5、再ipv4设置下面，点击【自动】，会弹出一个下拉选项，点击选择【手动】。6、然后我们点击【添加】按钮，如下图，再在【地址】、【子网掩码】、【网关】下面的栏目中输入你要填写的静态IP信息。7、IP地址信息填好后我们还需要给电脑设置一个DNS服务器地址。这里根据你所在地填写，假如想要解析快，那么则需要填写ping值比较小的DNS服务器地址。以上都填写完成后，点击【保存】按钮。8、注意假如你需要你的电脑IP地址立即变成你配置后的那个静态IP，那么请勾选【需要IPv4地址完成这个连接】在这个选项前面打勾之后，再点击【保存】按钮。系统就会自动给你重启网络。
- 九个写 TypeScript 的坏习惯，看看你有没有？
- 这是一份通俗易懂的知识图谱技术应用落地指南
- 高级码农反思录：我当菜鸟时不懂的七件事
- 坚果Pro2处理器的出色表现（深入了解坚果Pro2处理器的性能与功能）
- 2019年前5大Java自动化测试框架
- 电脑开机后出现错误代码，如何解决？（从错误代码到修复方案，全面解析电脑开机问题）
- Python的高级特征你知多少？来对比看看
- 面向接口/协议？看DuerOS的技能开发
- 告别BAT？迎来ATM？找工作请认准这份榜单！
- 说明：系统：Ubuntu Server 11.10系统：Windows Server 2003################################################################################################### Allows all loopback (lo0) traffic and drop all traffic to 127/8 that doesnt use lo0# Accepts all established inbound connections# Allows all outbound traffic-A OUTPUT -j ACCEPT-A INPUT -p tcp --dport 80 -j ACCEPT-A INPUT -p tcp --dport 873 -j ACCEPT# THE -dport NUMBER IS THE SAME ONE YOU SET UP IN THE SSHD_CONFIG FILE# Now you should read up on iptables rules and consider whether ssh access# Allow ping# log iptables denied calls (access via dmesg command)# Reject all other inbound - default deny unless explicitly allowed policy:-A FORWARD -j REJECT##################################################################################################ctrl+o #保存ctrl+x #退出备注：873是Rsync端口iptables-restore < /etc/iptables.default.rules #使防火墙规则生效nano /etc/network/if-pre-up.d/iptables #创建文件，添加以下内容，使防火墙开机启动###########################################################!/bin/bashwhereis rsync #查看系统是否已安装rsync,出现下面的提示，说明已经安装ctrl+o #保存log file = /var/log/rsyncd.log #日志文件位置，启动rsync后自动产生这个文件，无需提前创建。/etc/init.d/rsync start #启动Next 下一步Next默认安装路径 C:Program FilescwRsyncInstall 安装Close 安装完成，关闭3、测试是否与Rsync服务端通信成功开始-运行-cmd输入cd C:Program FilescwRsyncbin 回车再输入telnet 192.168.21.168 873 回车出现下面的界面，说明与Rsync服务端通信成功备注 C:Program FilescwRsyncbin 是指cwRsync程序安装路径4、cwRsync客户端同步Rsync服务端的数据开始-运行-cmd，输入cd C:Program FilescwRsyncbin 回车再输入rsync -vzrtopg --progress --delete mysqlbakuser@192.168.21.168::MySQL_Backup /cygdrive/d/mysql_data输入密码：123456 回车出现下面的界面，说明数据同步成功可以打开D:mysql_data 与Rsync服务端/home/mysql_data目录中的数据对比一下，查看是否相同d/mysql_data 代表D:mysql_data192.168.21.168 #Rsync服务端IP地址-vzrtopg --progress #显示同步过程详细信息三、在cwRsync客户端的任务计划中添加批处理脚本文件，每天凌晨3:00钟自动同步Rsync服务端/home/mysql_data目录中的数据到D:mysql_data目录1、打开C:Program FilescwRsyncbin目录，新建passwd.txt输入123456保存继续在C:Program FilescwRsyncbin目录，新建MySQL_Backup.bat输入echo.echo.rsync -vzrtopg --port=873 --progress --delete mysqlbakuser@192.168.21.168::MySQL_Backup /cygdrive/d/mysql_data < passwd.txtecho 数据同步完成echo.最后保存退出2、添加批处理脚本到Windows任务计划开始-设置-控制面板-任务计划打开添加任务计划，下一步浏览，选择打开C:Program FilescwRsyncbin目录里面的MySQL_Backup.bat执行这个任务：选择每天，下一步起始时间：3:00运行这个任务：每天，下一步输入Windows系统管理员的登录密码，下一步完成扩展说明：假如要调整同步的时间，打开任务计划里面的MySQL_Backup切换到日程安排来选项设置，还可以打开高级来设置每隔几分钟运行一次MySQL_Backup.bat这个脚本至此，Ubuntu Server Rsync服务端与Windows cwRsync客户端实现数据同步完成
- 教你如何成为一名顶级程序员
- 2019 年，Python 数据科学该怎么学
- 漫话：如何给女朋友解释乐观锁与悲观锁？
- 电脑对战公式算法错误分析与修复（揭秘电脑对战公式中的算法错误及解决方法）
- 谷歌和OpenAI开发新工具，能更好地研究机器视觉算法
随便看看
- Copyright © 2025 Powered by 普通反爬虫机制的应对策略,云智核 滇ICP备2023006006号-28sitemap