乐鱼电竞



教育行业A股IPO第一股（股票代码 003032）

全国咨询/投诉热线：400-618-4000

常见的Python反爬方式有哪些？【Python面试题】

更新时间:2020年09月29日11时26分 来源:乐鱼播客 浏览次数:

(1)问题分析

面试官主要考察面试者有没有反爬经验。

(2)核心问题讲解

下面列举一些常用的反爬策略。

1)通过设置headers字段来反爬

通过headers中的User-Agent字段来反爬。最好的反爬方式是使用User-Agent池，我们可以收集一些User-Agent，或者随机生成User-Agent。

通过添加referer字段或者是其他字段来反爬。

通过cookie来反爬。若目标网站无需登录，则每次请求带上上次返回的cookie，比如requests�？榈膕ession;若目标网站需要登录，则准备多个账号，通过一个程序获取账号对应的cookie，组成cookie池，其他程序使用这些cookie。


2)通过js来反爬

通过js实现跳转来反爬。在请求目录网站时，我们虽然只看到了成功请求的目标网站，但是在请求目标网站之前可能有通过js实现的跳转，此时可通过点击perserve log按钮观察页面的跳转情况。在这些请求中，如果请求数量很多，一般来讲，只有那些response中带cookie字段的请求是有用的，也就是说通过这个请求，对方服务器有设置cookie到本地。

通过js生成了请求参数。对应的需要分析js，观察加密的实现过程，可以使用selenium�？榻饩�。

通过js实现了数据的加密。对应的需要分析js，观察加密的实现过程，可以使用selenium�？槭迪�。

3)通过验证码来反爬。通过打码平台或者是机器学习的方法识别验证码，其中打码平台廉价易用，建议使用。

4)通过IP地址来反爬。同一个IP大量请求了对方服务器，有更大的可能性会被识别为爬虫，对应的通过购买高质量的IP的方式能够解决。

5)通过自定义字体来反爬。可以尝试切换到手机版试试。

6)通过css来反爬，比如通过css掩盖真实数据。

(3)问题扩展

网络爬虫，是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。

几乎是和爬虫技术诞生的同一时刻，反爬虫技术也诞生了。在90年代开始有搜索引擎网站利用爬虫技术抓取网站时，一些搜索引擎从业者和网站站长通过邮件讨论定下了一项“君子协议”—— robots.txt。即网站有权规定网站中哪些内容可以被爬虫抓�。男┠谌莶豢梢员慌莱孀ト�。这样既可以保护隐私和敏感信息，又可以被搜索引擎收录、增加流量。

爬虫技术刚刚诞生时，大多数从业者都会默守这一协定，但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，原创得不到保护，违反了“君子协议”。

当君子协议失效，很多网站开始反网络爬虫，想方设法保护自己的内容，它们根据IP访问频率、浏览网页速率、账户登录、输入验证码、flash封装、ajax混淆、js加密、图片、css混淆等五花八门的技术来反网络爬虫。


猜你喜欢：

Python�？橛心男�?怎么使用? 

Django海量数据集分页优化方法 

Python数据挖掘教程下载：4天快速入门Python数据挖掘 

Python高级软件工程师课程 

0 分享到：
和我们在线交谈！
【网站地图】【sitemap】