[Feature] 怎么配置使用GPU

[staryzhou]

新功能描述 / New feature description

我看配置是CPU来运行。怎么配置使用GPU

[aoguai]

默认安装的 onnxruntime 仅支持 CPU。如果需要 GPU 加速，首先请确保系统已正确安装并配置 CUDA 和 cuDNN
再安装支持 CUDA 的版本：

pip install onnxruntime-gpu

需要确保安装的版本与 CUDA 和 cuDNN 兼容。

[staryzhou]

我原已安装好了Nvidia显卡驱动，也安装了好了cuda。 也pip安装了onnxruntime-gpu; 重新运行也未看到GPU被用到； 是还漏了哪些环节吗?

[aoguai]

我原已安装好了Nvidia显卡驱动，也安装了好了cuda。 也pip安装了onnxruntime-gpu; 重新运行也未看到GPU被用到； 是还漏了哪些环节吗?

你还要修改 onnx 模型的加载方式，让其支持gpu加载。

以yolo模型为例：

LiYing/src/tool/yolov8_detector.py

Line 28 in 5369ec3

self.session = ort.InferenceSession(model_path)

将其改为：

ort.InferenceSession(model_path, providers=["CUDAExecutionProvider", "CPUExecutionProvider"])

现在的阶段还没有支持gpu，所以你需要以此类推修改所有使用 onnx 模型的地方。

后面我看着添加一下，如果不着急可以等一等

[staryzhou]

改过就好了。谢谢