我使用以下命令在 Google DataProc 中創(chuàng)建了一個集群：gcloud beta dataproc clusters create my-cluster \--project my-project \--bucket my-bucket \--region my-region \--zone my-zone \--num-workers 5 \--service-account my-service-account \--initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/connectors/connectors.sh,gs://goog-dataproc-initialization-actions-${REGION}/datalab/datalab.sh \--metadata gcs-connector-version=2.0.0 \--metadata bigquery-connector-version=1.0.0 \--scopes cloud-platform \--optional-components=ANACONDA,JUPYTER,ZEPPELIN,PRESTO \--metadata PIP_PACKAGES=numpy:scipy:pandas:scikit-learn:matplotlib:seaborn \--image-version=1.4 \--properties=^#^spark:spark.jars='gs://spark-lib/bigquery/spark-bigquery-latest.jar'#spark:spark.jars.packages='org.apache.spark:spark-avro_2.12:2.4.4'#zeppelin:zeppelin.notebook.gcs.dir="gs://${BUCKET}/notebooks/zeppelin/${CLUSTER_NAME}"#dataproc:jupyter.notebook.gcs.dir="gs://${BUCKET}/notebooks/jupyter/${CLUSTER_NAME}"我嘗試了兩種 pip 方法：1）添加gs://goog-dataproc-initialization-actions-${REGION}/python/pip-install.sh到初始化操作，點擊此鏈接：Dataproc python configuration，但它導(dǎo)致集群創(chuàng)建失敗。錯誤信息是：Initialization action failed. Failed action 'gs://goog-dataproc-initialization-actions-us-central1/python/pip-install.sh', see output in: gs://my-bucket/google-cloud-dataproc-metainfo/df1234gs-3423-647e-bdf4-dfas1231das/my-cluster-m/dataproc-initialization-script-2_output。如果需要，我可以共享文件。2）使用上面的命令創(chuàng)建集群。它能夠創(chuàng)建集群。奇怪的是，當(dāng)我登錄到主節(jié)點并嘗試 pip 時，似乎 pip 命令可用。但是，如果我在 Jupyter 中運行 pip 命令，例如，pip install --upgrade pip當(dāng)命令執(zhí)行時，內(nèi)核會死機并反復(fù)重啟，使 Jupyter 不可用。我曾經(jīng)能夠創(chuàng)建集群并使用 Image gcs_connector1.4.4、1.9.16 和bq_connector0.13.16 順利運行。我不確定鉤子下是否有任何變化。任何建議表示贊賞。