paddlex运行paddleocr v5 模型时，设置多个triton instance，并发的耗时也在上升

[peakzhou99]

paddlex运行paddleocr v5 模型时，设置多个triton instance，并发的耗时也在上升

config.pbtxt设置如下，设置多个并发并不能达到真正的并发，耗时跟并发的数量正比上升，这个bug有解决么

instance_group [
{
count: 10
kind: KIND_GPU
}
]

[Bobholamovic]

如果是单张卡部署多个实例，这些实例之间可能会存在资源挤占，导致耗时上升。可以尝试调小实例数以平衡延迟与并发。

[TingquanGao]

The issue has no response for a long time and will be closed. You can reopen or new another issue if are still confused.

---

From Bot