除了python之外的一些编程语言也可以用来实现网络爬虫程序的开发，而爬虫也会分为通用爬虫和聚焦爬虫两种类以便在不同的场景下使用 。这次小编要来给大家讲解的知识就是python通用爬虫的含义以及它的运行方式，感兴趣的话就和一起往下继续阅读吧 。
文章插图
（1）一般的python爬虫都是聚焦爬虫，因为它们会访问指定的url链接网站并从上面抓取数据返回 。而通用爬虫则是应用在搜索引擎上面，它的作用是在整个互联网上面进行数据和信息检索，然后将一些没有的网站下载下来存放到本地，在有需要的情况下会将其放在搜索引擎上面提供出来显示 。
（2）而通用爬虫的运行机制也比较特别，它首先会将一些url链接作为种子放在队列中，接着从取出还未被访问过的url解析从而得到ip地址，然后把这个链接对应的网页下载下来，然后就是不断地重复这么一个过程 。
【Python通用爬虫是什么？Python通用爬虫是如何运行的】而在爬虫抓取的过程之中会将网页内容和已有的网页进行比较，如果重复度过高的话就不会将权重低的那个网页抓取回来，而抓取回来的网页都会存放在专门的数据库中等待下一步处理 。
网页抓取回来之后要做的处理就是让其更加符合搜索引擎规则，基本上就是文件提取并分词、去除广告和索引、计算它的外链和一些文件关系之类，到这一步实际上通用爬虫的工作就完成了 。
以上就是关于“Python通用爬虫是什么？Python通用爬虫是如何运行的”的全部内容了，希望对你有所帮助 。
推荐阅读
- Python中如何将字符串分割成列表？Python中用什么方法将字符串拆分为列表？
- Python函数以什么结束？Python函数必须以return结束吗
- 如何在Python中对数组进行排序？Python数组的排序方法
- Python中如何读取列表所有元素？Python如何读取列表中元素的位置？
- Python反向输出字符串怎么做？Python用什么方法反向输出字符串
- Python库wxPython有什么用？Python如何使用wxPython库
- Python打开文件对话框怎么做？Python如何打开文件选择窗口
- Python转图片为字符图如何实现？Python怎么将图片转为字符形式
- Python编辑器IDLE字体如何调整？编辑器IDLE怎么调整字体大小
- Python重载和重写的区别是什么？Python如何区分重载和重写