python爬虫的使用方法

1、使用环境和使用库

IDE：PyCharm

库：requests、lxml

2、环境构建

用pycharm创建一个新的python项目，然后创建requests和lxml。

3、使用流程

（1）新建一个项目

（2）依赖库导入

由于使用的是
，所以我们导入这两个库就会显的格外简单。

import requests

（3）获取网页源代码

可以很方便的让我们得到网页的源代码网页。

（4）获取源码

# 获取源码
html = requests.get("https://coder-lida.github.io/")
# 打印源码
print html.text

代码就是这么简单，这个html.text便是这个URL的源码。

（推荐操作系统：windows7系统、Python 3.9.1，DELL G3电脑。）