Python 网络爬虫简介

概述

网络爬虫(Web Spider)又称网络蜘蛛、网络机器人,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

按照系统结构和实现技术,大致可以分为以下几种类型:

  • 通用网络爬虫
  • 聚焦网络爬虫
  • 增量式网络爬虫
  • 深层网络爬虫

关于爬虫的合法性

几乎每个网站都有一个名为 robots.txt 的文档,当然也有些网站没有设定。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据,也就是该网站所有页面的数据都可以爬取。如果网站有文件 robots.txt 文档,就要判断是否有禁止访客获取数据,如 https://www.taobao.com/robots.txt

Leave a Reply