乐鱼电竞

  • 教育行业A股IPO第一股（股票代码 003032）

    全国咨询/投诉热线：400-618-4000

    爬虫分类分析：网络爬虫有哪些分类？

    更新时间:2020年09月18日15时28分 来源:乐鱼播客 浏览次数:

    通用爬虫和聚焦爬虫

    根据使用场景，网络爬虫可分为通用爬虫和聚焦爬虫两种。通用爬虫是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。聚焦爬虫，是“面向特定主题需求”的一种网络爬虫程序。接下来，就对这两种爬虫分别进行介绍。

    1. 通用爬虫

    通用爬虫又称全网爬虫(Scalable Web Crawler)，它将爬取对象从一些种子 URL扩充到整个Web上的网站，主要用途是为门户站点搜索引擎和大型Web服务提供商采集数据。

    这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。

    2. 聚焦爬虫

    聚焦爬虫(Focused Crawler)，又称主题网络爬虫(Topical Crawler)，是指选择性地爬行那些与预先定义好的主题相关的页面的网络爬虫。

    和通用爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，从而极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求。

    累积式和增量式爬虫

    根据爬取形式不同，可将爬虫分为累积式爬虫和增量式爬虫。

    1. 累积式爬虫

    累积式爬虫是指从某一个时间点开始，通过遍历的方式抓取系统所能允许存储和处理的所有网页。在理想的软硬件环境下，经过足够的运行时间，累积式抓取的策略可以保证抓取到相当规模的网页集合。但由于Web数据的动态特性，集合中网页的被抓取时间点是不同的，页面被更新的情况也不同，因此累积式抓取到的网页集合事实上并无法与真实环境中的网络数据保持一致。

    2. 增量式爬虫

    增量式网络爬虫(Incremental Web Crawler)是指在具有一定量规模的网络页面集合的基础上，采用更新数据的方式选取已有集合中的过时网页进行抓�。员Ｖにト〉降氖萦胝媸低缡葑愎唤咏�。进行增量式抓取的前提是，系统已经抓取了足够数量的网络页面，并具有这些页面被抓取的时间信息。

    和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。

    面向实际应用环境的网络蜘蛛设计中，通常既包括累积式抓�。舶ㄔ隽渴阶ト〉牟呗�。累积式抓取一般用于数据集合的整体建立或大规模更新阶段;而增量式抓取则主要针对数据集合的日常维护与即时更新。

    表层爬虫和深层爬虫

    Web 页面按存在方式可以分为表层网页(Surface Web)和深层网页(Deep Web，也称 Invisible Web Pages 或 Hidden Web)。针对这两种网页的爬虫分别叫做表层爬虫和深层爬虫。

    1. 表层爬虫

    爬取表层网页的爬虫叫做表层爬虫。表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的Web页面。

    2. 深层爬虫

    爬取深层网页的爬虫就叫做深层爬虫。深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的 Web 页面。例如那些用户注册后内容才可见的网页就属于 Deep Web。

    与表层网页相比，深层网页上的数据爬取更加困难，要采用一定的附加策略才能够自动爬取。

    深层爬虫爬行过程中最重要部分就是表单填写，包含两种类型：

    (1)基于领域知识的表单填写：此方法一般会维持一个本体库，通过语义分析来选取合适的关键词填写表单。

    (2)基于网页结构分析的表单填写：此方法一般无领域知识或仅有有限的领域知识，将网页表单表示成DOM树，从中提取表单各字段值。


    猜你喜欢：
    Python爬虫视频教程：Python爬虫项目教程下载

    python爬虫可以用来做什么?

    Python爬虫数据如何写入Execl文件并生成图表?

    python爬虫视频教程

    0 分享到：
    和我们在线交谈！
    【网站地图】【sitemap】