[python] 大量小文件读写并行处理方案


我有大量的小文件需要处理,采用那种并行方案比较好?

  1. 多进程

  2. 多线程

  3. 协程

我的疑惑在于:

  1. Python的GIL的存在是否导致了多线程处理不如多进程处理?在耗时上

  2. Python多进程的最佳进程数比如为4, 那么相同耗时的线程数是不是要比4高?

  3. 如果我在C中使用多线程,然后调用Python库,这种情形下有GIL的问题吗?

python 多线程

栖于禅寺的妖蝶 11 years, 4 months ago

你的小文件是在同一磁盘上吗?你对每个小文件的「处理」是很快就能完成的操作吗?——如果不是,单线程单进程吧,瓶颈不在那里。

如果不确定,先单线程单进程,看 CPU 能跑满不。

咲SSSSSS answered 11 years, 4 months ago

Your Answer