千锋教育-做有情怀、有良心、有品质的职业教育机构

400-811-9990
手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

上海
  • 北京
  • 郑州
  • 武汉
  • 成都
  • 西安
  • 沈阳
  • 广州
  • 南京
  • 深圳
  • 大连
  • 青岛
  • 杭州
  • 重庆
当前位置:上海千锋IT培训  >  行业资讯  >  爬虫的分类

爬虫的分类

来源:千锋教育
发布人:
时间: 2021-04-25 11:12:00

      爬虫在互联网上的作用不可忽视,新浪滚动新闻、百度新闻网站等都是爬虫起的作用。那这样的作用呢也就代表着它也是我们千锋Python培训的必学项目。那接下来我们就来看一下爬虫的分类有哪些。

1.通用爬虫:

      通用网络爬虫从互联网中搜集网页,采集信息,这些网页信息决定着整个引擎系统的内容是否丰富,信息是否即时,因此其性能的优劣直接影响着搜索引擎的效果

      大家要注意哦,通用爬虫虽然简单,方便,但是缺点也是显而易见的,

      通用搜索引擎所返回的结果都是网页,而大多情况下,网页里90%的内容对用户来说都是无用的。不同领域、不同背景的用户往往具有不同的检索目的和需求,搜索引擎无法提供针对具体某个用户的搜索结果。万维网数据形式的丰富和网络技术的不断发展,图片、数据库、音频、视频多媒体等不同数据大量出现,通用搜索引擎对这些文件无能为力,不能很好地发现和获取。通用搜索引擎大多提供基于关键字的检索,难以支持根据语义信息提出的查询,无法准确理解用户的具体需求。

2.聚焦爬虫:

      聚焦爬虫,是"面向特定主题需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息, 如12306抢票,或专门抓取某一个(某一类)网站数据

      根据是否以获取数据为目的,可以分为:
功能性爬虫,给你喜欢的明星投票、点赞
数据增量爬虫,比如招聘信息
根据url地址和对应的页面内容是否改变,数据增量爬虫可以分为:

      基于url地址变化、内容也随之变化的数据增量爬虫
url地址不变、内容变化的数据增量爬虫

      看到这里,大家是不是发现通用爬虫简单,但是不实用,聚焦爬虫应用比较广泛,而且实用,但是实现起来难度较大,不过没事的哈,这些大家都可以到千锋Python培训学习,提升自己的技能,有想学习Python的也可以来千锋上海Python培训机构,等你来哦。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

编程代码好学吗?学习这方面内容是否是智商税

2023-03-31

零基础能学Java吗?上海Java培训哪家好?

2022-03-25

上海Web前端培训好吗?参加培训班学习前端有哪些优势?

2022-03-22

最新文章NEW

想要学习Java,上海Java培训学费多少?

2022-03-21

新手在上海Web前端培训学习,这些错误要避免!

2022-03-18

上海Java培训费用多少,有什么参考标准?

2022-03-17

相关推荐HOT

更多>>

快速通道 更多>>

最新开班信息 更多>>

网友热搜 更多>>