분산 트레이닝

Cluster Topology 설정

SINGA 에서 다양한 분산 트레이닝 프레임워크를 실행하는 방법을 설명합니다.

cluster topology 는 JobProto 속의 cluster field 를 설정해줍니다. cluster 는 ClusterProto 타입 입니다. 예를 들어

message ClusterProto {
  optional int32 nworker_groups = 1;
  optional int32 nserver_groups = 2;
  optional int32 nworkers_per_group = 3 [default = 1];
  optional int32 nservers_per_group = 4 [default = 1];
  optional int32 nworkers_per_procs = 5 [default = 1];
  optional int32 nservers_per_procs = 6 [default = 1];

  // servers and workers in different processes?
  optional bool server_worker_separate = 20 [default = false];

  ......
}

자주 사용되는 field 는 다음과 같습니다:

• nworkers_per_group and nworkers_per_procs: decide the partitioning of worker side ParamShard.

• nservers_per_group and nservers_per_procs: decide the partitioning of server side ParamShard.

• server_worker_separate: separate servers and workers in different processes.

다양한 트레이닝 프레임워크

SINGA 에서 worker groups 들은 비동기적으로, group 속에서 workers 들은 동기적으로 실행됩니다. 유저는 이 일반디저인을 이용해서 synchronous 와 asynchronous 트레이닝 프레임워크를 실행 할수 있습니다. 널리 알려진 분산 트레이닝을 어떻게 설정하고 실행하는지 설명하겠습니다.

Fig.1 - 다양한 트레이닝 프레임워크

cluster {
    nworker_groups: 1
    nserver_groups: 1
    nworkers_per_group: 3
    nservers_per_group: 2
    server_worker_separate: true
}

cluster {
    nworker_groups: 1
    nserver_groups: 1
    nworkers_per_group: 3
    nservers_per_group: 3
    server_worker_separate: false
}

cluster {
    nworker_groups: 2
    nserver_groups: 1
    nworkers_per_group: 2
    nservers_per_group: 2
    server_worker_separate: true
}

cluster {
    nworker_groups: 3
    nserver_groups: 3
    nworkers_per_group: 1
    nservers_per_group: 1
    server_worker_separate: false
}