single machine, single gpu 에서 parallax test 문의

[jeeyung]

안녕하세요.

제가 single machine & gpu 환경에서 parallax를 test해보려고 하는데요,
tf랑 hovorod에서는 돌아가는 걸 확인했는데,
parallax에서는
'WARNING: One or more tensors were submitted to be reduced, gathered or broadcasted by subset of ranks and are waiting for remainder of ranks for more than 60 seconds. This may indicate that different ranks are trying to submit different tensors or that only subset of ranks is submitting tensors, which will cause deadlock. Stalled ops: HorovodBroadcast_w1_0 [ready ranks: 0]'
라는 오류가 뜹니다.
parallax 는 single gpu에서는 test가 불가한건가요?

감사합니다.

[sj6077]

사용하신 argument랑 resource_info 파일에 대해 좀 더 자세히 설명해주실 수 있을까요?

[jeeyung]

resource_info는

localhost
localhost

입니다.
argument는 default 값으로 사용했습니다.

[sj6077]

gpu가 있는 머신을 사용하시는거라면 localhost:gpu ids로 사용해주셔야 합니다. 예를 들어 gpu 2개를 사용하고 싶다면 resource_info에 아래처럼 넣어주시면 됩니다.
localhost:0,1

[jeeyung]

gpu가 하나 있는 경우에 localhost:0 해주면 되는건가요?
그렇게 해도 같은 error가 뜹니다:(

[sj6077]

사용하신 소스 코드, argument 전부 올려 주실 수 있나요? 뭔가 이상한 결과네요. 새로 수행하시기 전에 process가 잘 정리되었는지도 한번씩 확인 부탁드립니다.
저 에러 메시지는 프로세스를 여러개 띄운것 같은데요. GPU를 하나만 resouce_info에 넘겨주었다면 프로세스가 하나 떠야 할 것 같습니다. parallax가 job 시작할때 빨간색으로 수행 command들이 보일텐데 해당 command 로그도 공유해주시면 도움이 될 것 같습니다.

[jeeyung]

제가 질문을 불명확하게 드린것 같은데요..

resource info를 처음 올려주신대로,

localhost
localhost

쓰면, 하나의 머신에 2개의 프로세스가 떠야하는 것 아닌가요?
resource info 를 위와 같이 설정했을 때,
'WARNING: One or more tensors were submitted to be reduced, gathered or broadcasted by subset of ranks and are waiting for remainder of ranks for more than 60 seconds. This may indicate that different ranks are trying to submit different tensors or that only subset of ranks is submitting tensors, which will cause deadlock. Stalled ops: HorovodBroadcast_w1_0 [ready ranks: 0]'

위와 같은 error를 얻었구요,
resource info를

localhost:0
localhost:0

으로 바꿔주었을 때도, 같은 결과를 얻었습니다.

resource info를

localhost

로 하면 잘 동작합니다.

[gyeongin]

localhost:0
localhost:0

로 resource info를 정하고 사용하셨으면, 해당 warning이 뜨기 전에 다른 error가 나서 process 둘 중 하나가 이미 죽은 상황으로 생각됩니다.
터미널을 잘 보시면 tensorflow.python.framework.errors_impl.InvalidArgumentError: 'visible_device_list' listed an invalid GPU id '1' but visible device count is 1 따위의 에러가 이미 난 것을 보실 수 있을 것입니다.
때문에 첫 번째 process가 broadcast를 위해 이미 죽은 두 번째 process를 기다리게 되어 위와 같은 warning이 나고요.

위와 같이 resource info를 정하고 사용하시면 error가 나는 이유는 현재 Parallax는 같은 GPU에 worker process 여러개를 띄우고 해당 process들이 GPU memory를 share하도록 구현되어 있지 않기 때문입니다.
다시 말해, GPU 하나를 이용해서 worker 여러개를 사용하실 수 없습니다.

[gyeongin]

worker 프로세스 갯수는 resource info의 line 갯수로 결정되는 것이 아닙니다.
resource info에 명시해 주신 "사용할 GPU의 갯수"로 결정됩니다.
Single GPU로 테스트를 원하시면, worker process를 하나밖에 사용하실 수 없으며, 해당 경우

localhost:0

로 resource info를 작성해 주시거나,

localhost

로 작성해 주셔야 합니다. (이 경우는 자동으로 localhost machine에 있는 사용 가능한 nvidia GPU 갯수를 세어 그 갯수만큼 worker process를 launch 합니다.)

[gyeongin]

뼈대 코드에 있는 예제는 GPU가 아닌 CPU를 사용하는 경우이며, 이 경우에는

localhost
localhost

로 사용시 CPU worker를 두개 launch 합니다.

CPU worker를 사용하시려면, cpu_enable branch를 사용하셔야 합니다.
(GPU가 장착되어 있는 머신에서 cpu_enable branch를 사용하실 경우 버그를 발견해, 해당 버그를 수정하였습니다. 새로 pull 해주시길 바랍니다.)

[jeeyung]

네 제가 질문을 명확하게 드리지 않았던 것 같네요!
답변 감사드립니다..!