如何实现多张图片GPU并行处理

[JiadiLee]

大佬，咨询一下，我使用的是Nvidia 3080Ti显卡，16GB显存，GPU计算队列有8个，thread_num 设置的是8，传入16张(1080P)图片的处理耗时与thread_num 为1的情况下基本一致，即每张图片处理30ms，总耗时为16*30ms，GPU利用率只有20%左右。vulkan会将图片传入不同的计算队列，但是GPU没有并行处理，请教下有什么办法能够提高GPU使用率么？

之前看batch_inference的方式是创建多个Extractor，但是这里通过vulkan的方式如何创建多个我比较困惑

[ArchieMeng]

我记得只设置thread_num只是指定当前extractor 会用到的CPU线程数。
要不试试单独再开个thread创一个extractor ？下游python 项目都是多进程跑的，C层面多线程应该一样的。

[JiadiLee]

我记得只设置thread_num只是指定当前extractor 会用到的CPU线程数。 要不试试单独再开个thread创一个extractor ？下游python 项目都是多进程跑的，C层面多线程应该一样的。

是接口python化的大佬！我之前也有参考你的rife-ncnn-vulkan-python的项目，感恩开源！
在使用vulkan的情况下，extract的时候要用到VkComputer的参数，单独开thread的意思是，专门创建extractor的线程，把所有的参数都丢进去，然后vulkan进行fence的等待吗？