Python2.7实现多进程下开发多线程示例

简单的基于Python2.7版本的多进程下开发多线程的示例，供大家参考，具体内容如下可以使得

简单的基于Python2.7版本的多进程下开发多线程的示例，供大家参考，具体内容如下

可以使得程序执行效率至少提升10倍

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
 @Time : 2018/10/24
 @Author : LiuXueWen
 @Site : 
 @File : transfer.py
 @Software: PyCharm
 @Description: 
"""

import os
import traceback
import threading
from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool


# 兼容python2.7上多线程的bug，不加上下面的反代理程序不能正常执行
def proxy(cls_instance, i):
 return cls_instance.multiprocess_thread(i)
def proxy2(cls_instance, i):
 return cls_instance.file_operation(i)

class file2transfer():
 # 多进程执行程序
 def multiprocessingTransferFiles(self):
 try:
 # 创建进程池
 p = Pool()
 //参数末尾必须加上逗号
 p.apply_async(proxy, args=(self, self.root_path,))
 p.close()
 p.join()
 except Exception as e:
 print(e)

 # 每个进程下的多线程执行，线程数等于当前机器的核数
 def multiprocess_thread(self, root_path):
 try:
 # 创建线程锁
 lock = threading.RLock()
 lock.acquire()
 # 获取每个文件
 for pfile in os.listdir(root_path):
 # 获取文件的完整路径
 full_file_path = os.path.join(root_path, pfile)
 # 多线程读写文件
 p = ThreadPool()
 # 执行线程
 p.apply_async(proxy2, args=(self, full_file_path,))
 p.close()
 p.join()
 except Exception as e:
 print(e)
 finally:
 # 释放线程锁
 lock.release()

 # 对每个文件夹下的每个文件进行操作
 def file_operation(self, full_file_path):
 try:
 // TODO 真正需要单独执行的操作
 pass
 except Exception as e:
 print(e)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。