导语:
本文主要介绍了关于python多线程处理大量文件数据的相关知识,包括python多进程写入同一文件,以及python多进程处理数据这些编程知识,希望对大家有参考作用。
在 python 中,我们会遇到处理大量文件数据的时候。如果我们使用for循环顺序处理,处理文件数据的效率很低,那么我们可以使用我们的多线程处理多个大文件数据。
第一步:导入import threading 模块
import threading
第二步:使用多线程同时打开和运行多条数据
#! /usr/bin/env python
#encoding=utf-8
import threading
import time
from Queue import Queue
def readFile():
file_object = open('/opt/dev/python/list.dat')
global queue
for line in file_object:
queue.put(line)
class Consumer(threading.Thread):
def run(self):
global queue
while queue.qsize() > 0:
msg = self.name + '消费了 '+queue.get()
print msg
time.sleep(0.01)
queue = Queue()
def main():
readFile()
for i in range(5):
c = Consumer()
c.start()
if __name__ == '__main__':
main()
以上是python多线程处理大量数据的demo代码。如果有小伙伴需要处理大量文件,可以尝试使用多线程,会方便很多~
(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)
本文为原创文章,版权归知行编程网所有,欢迎分享本文,转载请保留出处!
你可能也喜欢
- ♥ 如何在python中打开idle09/16
- ♥ python如何打包成应用程序?08/30
- ♥ 一篇教你如何使用Python生成器的文章11/28
- ♥ python程序的执行原理09/01
- ♥ 如何在python中输入单引号和双引号09/17
- ♥ EOFError:读取一行时出现EOF09/17
内容反馈