[python] 大量小文件读写并行处理方案
我有大量的小文件需要处理,采用那种并行方案比较好?
-
多进程
-
多线程
-
协程
我的疑惑在于:
-
Python的GIL的存在是否导致了多线程处理不如多进程处理?在耗时上
-
Python多进程的最佳进程数比如为4, 那么相同耗时的线程数是不是要比4高?
-
如果我在C中使用多线程,然后调用Python库,这种情形下有GIL的问题吗?
我有大量的小文件需要处理,采用那种并行方案比较好?
多进程
多线程
协程
我的疑惑在于:
Python的GIL的存在是否导致了多线程处理不如多进程处理?在耗时上
Python多进程的最佳进程数比如为4, 那么相同耗时的线程数是不是要比4高?
如果我在C中使用多线程,然后调用Python库,这种情形下有GIL的问题吗?