导语:
本文主要介绍了关于python数据模块类如何定义的相关知识,包括日常办公会用到的python模块,以及python模块导入这些编程知识,希望对大家有参考作用。
说明
1、定义数据模块类,名为DataLoader。
2、类中有一个核心变量data用于保存爬取数据,以及两个相关接口grab_data(爬取数据)和save_data(本地保存数据)。
实例
grab_data() 的核心代码
def grab_data(self):
# 获取入口链接
entries = self.get_entry()
# 遍历入口链接,解析得到文章链接
links = self.parse4links(entries)
# 遍历文章链接,解析得到文章内容
datas = self.parse4datas(links)
# 将相关数据写入变量 data
self.data = pd.DataFrame(datas)
save_data() 的核心代码
def save_data(self):
# 将变量 data 写入 csv 文件
self.data.to_csv(self.data_path, index = None)
我们已经爬取并保存了data数据,数据以DataFrame的形式存储,保存在csv文件中,格式如下:
|---------------------------------------------------|
| id | link | cont | title |
|---------------------------------------------------|
| page id | page link | page content | page title |
|---------------------------------------------------|
| ...... | ...... | ...... | ...... |
|---------------------------------------------------|
本文教程操作环境:windows7系统、Python 3.9.1,DELL G3电脑。
本文为原创文章,版权归知行编程网所有,欢迎分享本文,转载请保留出处!
你可能也喜欢
- ♥ python如何从终端退出12/22
- ♥ 新手学习python2还是python3?详细解释区别12/13
- ♥ python能否实现并行12/03
- ♥ Python 教程基础:列表理解12/12
- ♥ mac自带的python删除后如何恢复10/02
- ♥ Python字典遍历的三种情况10/17
内容反馈