高性能推理速度较慢 #4671
Description
容器：ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.0.0-gpu-cuda12.6-cudnn9.5-trt10.5
硬件：GPU-H20
版本：
paddle2onnx 2.0.2rc3
paddle3d 0.0.0
paddleclas 2.6.0
paddledet 0.0.0
paddlefsl 1.1.0
paddlenlp 2.8.0.post0
paddleocr 3.3.0
paddlepaddle-gpu 3.0.0
paddleseg 0.0.0.dev0
paddlets 1.1.0
paddlex 3.3.5
代码：
pipeline = create_pipeline(
pipeline="OCR",
device="gpu",
use_hpip=True,
hpi_config={
"auto_config": False,
"backend": "onnxruntime"
}
)
普通的推理：
pipeline = create_pipeline(
pipeline="OCR",
device="gpu",
use_hpip=False # 使用普通推理
)
使用这两个代码分别进行推理，发现高性能推理的速度反而慢，具体如下：（去掉首张图片的时间，共27张）
普通推理 - 总时间: 117.4358 秒, 平均时间: 4.3495 秒
高性能推理 - 总时间: 127.6056 秒, 平均时间: 4.7261 秒
不知道为啥，是版本问题还是我一些配置的问题呢？
还有一个想问一下，正常来说，高性能推理和普通的推理一张图片需要多长时间呢？我测试的一般是1s左右（有时图片较大）
对于这两个问题想进行咨询，非常期待您的回复。