我是 tfx 的新手,正在學(xué)習(xí)組裝管道。我已經(jīng)在 GCP 上的 Kubeflow 中成功構(gòu)建了一個(gè)管道。我想知道如何運(yùn)行多個(gè)訓(xùn)練器,這些訓(xùn)練器將使用相同的 csvexamplegen、轉(zhuǎn)換和 schemagen 在管道中生成不同的輸出/推動(dòng)器。有沒(méi)有人這樣做過(guò)?請(qǐng)?zhí)崆案嬷⒏兄x。 def create_pipeline( pipeline_name: Text, pipeline_root: Text, data_path: Text, preprocessing_fn: Text, run_fn: Text, train_args: trainer_pb2.TrainArgs, eval_args: trainer_pb2.EvalArgs, eval_accuracy_threshold: float, serving_model_dir: Text, metadata_connection_config: Optional[ metadata_store_pb2.ConnectionConfig] = None) -> pipeline.Pipeline: trainer_args = { 'run_fn': run_fn, 'transformed_examples': transform.outputs['transformed_examples'], 'schema': schema_gen.outputs['schema'], 'transform_graph': transform.outputs['transform_graph'], 'train_args': train_args, 'eval_args': eval_args, 'custom_executor_spec': executor_spec.ExecutorClassSpec(trainer_executor.GenericExecutor)} trainer = Trainer(**trainer_args) components.append(trainer)return pipeline.Pipeline( pipeline_name=pipeline_name, pipeline_root=pipeline_root, components=components, enable_cache=True, metadata_connection_config=metadata_connection_config, beam_pipeline_args=beam_pipeline_args, )
1 回答

慕妹3146593
TA貢獻(xiàn)1820條經(jīng)驗(yàn) 獲得超9個(gè)贊
為了讓 Kubeflow 獲取的培訓(xùn)師獨(dú)一無(wú)二,我必須輸入 instance_name 來(lái)定義培訓(xùn)師。
trainer2 = Trainer(
run_fn=run_fn2,
examples=transform.outputs['transformed_examples'],
schema=schema_gen.outputs['schema'],
transform_graph= transform.outputs['transform_graph'],
train_args= train_args2,
eval_args= eval_args2,
custom_executor_spec= executor_spec.ExecutorClassSpec(trainer_executor.GenericExecutor),
instance_name='trainer2'
)
添加回答
舉報(bào)
0/150
提交
取消