在python之中是可以通过内置函数open()以及其他的模块方法去对任意类型的文件执行操作的,但是在多次批量的去读写很多文件的时候会出现执行速度降低变慢的情况,那么下面这一篇文章就会来介绍一下Python读写文件提速的方法,一起看看吧 。
文章插图
1.在python之中虽然是不支持多线程的,但是可以通过模块的方式去手动的开启并执行多线程,多次读写文件也可以这么写 。
2.python之中一个程序可以分为多少个线程数是由执行这个程序电脑的cpu位数去决定的,理论上来说64位的cpu就可以划分出来64个线程数,但是还需要考虑到内存和其他程序占用的因素 。
3.使用glob模块可以去将一个文件夹之中的所有文件都划分为不同的列表,然后使用multiprocessing模块就可以去开启一个线程池,将这些列表每一个都放在线程池之中去获得一个单独的线程执行,代码示例如下:
from glob import globimport multiprocessingfile_list = glob(file_path + '/*.JPEG')m = 32n = int(math.ceil(len(file_list) / float(m)))result = []pool = multiprocessing.Pool(processes=m)for i in range(0, len(file_list), n):result.append(pool.apply_async(generate_flow_field, (file_list[i: i+n],)))pool.close()pool.join()【Python多次读写文件怎么提速?代码示例和解析看这里】以上就是关于“Python多次读写文件怎么提速?代码示例和解析看这里”的全部内容了,想要了解更多python的实用知识和代码示例可以持续关注这个频道,每次更新都会有很多新的知识技术分享给大家 。
推荐阅读
- Python中的NaN要怎么去解决?这几个方法都很好用
- Python怎么去进行抽样?Python实现抽样的方法有哪些
- Python字符串前加r是什么意思?Python字符串为什么加r
- Python如何切换线程?Python切换线程怎么做
- python如何调用requests包?这篇文章教会你
- Python和scratch该学哪一个?这几点你要知道
- Python中import和_import_区别是什么?从执行过程去理解
- python怎么读取txt文件内容?三分钟看完这篇文章你就知道了
- Python在520表白怎么做?教你画樱花树送给她
- Python怎么画玫瑰花?Python画玫瑰花表白的代码