【原创】了解爬虫的基本原理
玩机教程
2020-05-06 12:17:51
986次阅读
爬虫概述
提取信息
由于网页的结构有- -定的规则
所以还有一些根据网页节点属性、CSS选择器或XPath来提取网页信息的库如Beautiful Soup、pyquery、 lxml 等
使用这些库，可以高效快速地从中提取网页信息，如节点的属性、文本值等
自动化程序
手工可以提取这些信息，但当量特别大或者想快速获取大量数据的话，就要借助程序
爬虫就是代替我们来完成这份爬取工作的自动化程序
它可以在抓取过程中进行各种异常处理、错误重试等操作,确保爬取持续高效地运行
提取信息
由于网页的结构有- -定的规则
所以还有一些根据网页节点属性、CSS选择器或XPath来提取网页信息的库如Beautiful Soup、pyquery、 lxml 等
使用这些库，可以高效快速地从中提取网页信息，如节点的属性、文本值等
自动化程序
手工可以提取这些信息，但当量特别大或者想快速获取大量数据的话，就要借助程序
爬虫就是代替我们来完成这份爬取工作的自动化程序
它可以在抓取过程中进行各种异常处理、错误重试等操作,确保爬取持续高效地运行
上一篇：电脑磁盘/U盘设置密码加密方法
下一篇：小米8到了，开箱开箱
