爬虫网页解析之css用法及实战爬取中国校花网

前言

我们都知道，爬虫获取页面的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来，

python从网页中提取数据的包很多，常用的解析模块有下面的几个：

• BeautifulSoup API简单 但解析速度慢，不推荐使用

• lxml 由C语言编写的xml解析库(libxm2),解析速度快 但是API复杂

• Scrapy 综合以上两者优势实现了自己的数据提取机制，被称为Selector选择器。

它是由lxml库构建的，并简化了API ，先通过XPath或者CSS选择器选中要提取的数据，然后进行提取

Scrapy选择器构建于 lxml 库之上，这意味着它们在速度和解析准确性上非常相似。

Selector选择器的用法

下面我们以 Scrapy Shell 和 Scrapy 文档服务器的一个样例页面(http://doc.scrapy.org/en/latest/_static/selectors-sample1.html)为示例
来了解选择器的基本用法:

构造选择器

Scrapy selector 可以以 文字（Text），二进制（content）或 TextResponse 构造的 Selector。其根据输入类型自动选择最优的分析方法

以文字构造：

以 response 构造：

以二进制构造：

使用选择器

这里强烈推荐使用 scrapy shell 来进行调试！

1. 为什么要使用  scrapy shell ？

当我们需要爬取某个网站，然后提取数据的时候，要用到 xpath css 或者正则提取方法等

但是有时候这些xpath 或者css 语句不一定一次就能写对，有时候需要我们不断地去调试。

可能有些人会说，我每写一次然后重新去请求，输出结果测试一下就知道了。只能说这种做法就比较愚蠢了，如果遇到那种容易封IP的网站，你这样频繁的去请求测试，测不了几次，你的ip就被封了

这时候，我们要使用 scrapy shell 去调试，测试成功后，在拷贝到我们的项目中就可以了

2. 如何使用 scrapy shell？

首先打开 Shell, 然后输入命令 scrapy shell url

cmd中运行如下：

当然在 pycharm中, 也可以使用

当 shell 载入后，将获得名为 response 的 shell 变量，url 响应的内容保存在 response 的变量中，可以直接使用以下方法来获取属性值

由于在 response 中使用 XPath、CSS 查询十分普遍，因此，Scrapy 提供了两个实用的快捷方式：

比如，我们获取该网页下的 title 标签，方法如下：

.xpath() 以及 .css() 方法返回一个类 SelectList 的实例，它是一个新选择器的列表。这个 API 可以用来快速的提取嵌套数据。

为了提取真实的原文数据，需要调用 .extract() 等方法

提取数据

extract(): 返回选中内容的Unicode字符串。

extract_first(): 返回其中第一个Selector对象调用extract方法。通常SelectorList中只含有一个Selector对象的时候选择调用该方法，同时可以设置默认值。

re(): 使用正则表达式来提取选中内容中的某部分。

举个例子

re_first(): 返回SelectorList对象中的第一个Selector对象调用re方法。

css语法简单介绍

" * "    选择所有节点
" # container "          选择id为container的节点
" .container "           选择class包含container的节点
"li a "     选择 所有 li 下的所有 a 节点
"ul + p"    选择所有ul后面的第一个p元素
"#container > ul"      选择id为container的第一个ul节点
"a[class] "    选取所有有class属性的a元素
"a[href="http://b.com"]"     含有href="http://b.com"的a元素
"a[href*='job'] "    包含job的a元素
"a[href^='https'] "  开头是https的a元素
"a[href$='cn']"    结尾是cn的a元素

我们以上面的样例网页为例
下面是样例的html的源码

css用法实例

css用法实战

目标地址：中国大学校花网
http://www.xiaohuar.com/hua/

爬虫整体思路：
1、先将总页数拿下来
2、根据总页数循环去拿每张图片地址
3、再请求图片链接，将图片保存到本地

F12打开浏览器开发者工具，找到尾页再网页源码中的位置

可以看到尾页链接在 a 标签列表里面的末尾，在 css 中我们可以使用切片的方法来获取最后一个值

语法如下：

同样的方法(不细说了)，我们获取图片的地址和名称

语法如下：

下面是调试窗口：

因为只是用来测试，所以我只爬了前几页，如果想爬全部，将循环的页数改成 total_pages 即可

最终效果如下：

不到2分钟，就全部爬完了，因为是爬虫基础入门的教程，所以就没用异步的爬虫框架，下面是源码：