导语:
本文主要介绍了关于python中如何使用XPath爬取小说的相关知识,希望可以帮到处于编程学习途中的小伙伴
说明
xpath是一种在XML文档中搜索信息的语言。
过程
1、获得浏览器中的标题和作者测试。
2、在浏览器安装xpath插件:
3、在html中找到book-mid-info:
4、找到我们想得到小说的名字、作者
即//div[@class='book-mid-info']/h4/a/txt()
实例
# 作者:
# 开发时间:2021/4/8/0008 8:24
import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#发送请求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #类型转换,把str转变为class 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名称和作者对应
for name,authors in zip(names,authors):
print(name,":",authors)
本文教程操作环境:windows7系统、Python 3.9.1,DELL G3电脑。
本文为原创文章,版权归知行编程网所有,欢迎分享本文,转载请保留出处!
你可能也喜欢
- ♥ Python如何实现一个累积时间的计算器11/11
- ♥ python3字典中的fromkeys()函数用法11/11
- ♥ 如何在python中读取csv08/17
- ♥ 如何理解 Python 中的 Beta 分布?09/20
- ♥ python切片符号的使用01/06
- ♥ 什么是 python 列表08/31
内容反馈