我在 Kubernetes 上創(chuàng)建了一個包含 3 個工作人員的 Spark 集群和一個附加的 JupyterHub 部署，以便我可以運行大量查詢。我的 parquet 文件存儲在 IBM Cloud Object Storage (COS) 中，當我運行一個簡單的代碼從 COS 讀取數(shù)據(jù)時，我收到以下錯誤：無法讀取頁腳：java.io.IOException：無法讀取文件 FileStatus{path=file:/path/myfile.parquet/_common_metadata; 的頁腳；是目錄=假；長度=413；復制=0；塊大小=0；修改時間=0；訪問時間=0；所有者=; 組=; 權限=rw-rw-rw-; isSymlink=false} 在 parquet.hadoop.ParquetFileReader.readAllFootersInParallel我已將所有必需的庫添加到/jars驅動程序中 SPARK_HOME 目錄的目錄中。這是我用來連接的代碼：# Initial Setup - Onceimport osfrom pyspark import SparkConf, SparkContextfrom pyspark.sql import SparkSessionspark_session = SparkSession(sc)credentials_staging_parquet = {  'bucket_dm':'mybucket1',  'bucket_eid':'bucket2',  'secret_key':'XXXXXXXX',  'iam_url':'https://iam.ng.bluemix.net/oidc/token',  'api_key':'XXXXXXXX',  'resource_instance_id':'crn:v1:bluemix:public:cloud-object-storage:global:a/XXXXX:XXXXX::',  'access_key':'XXXXX',  'url':'https://s3-api.us-geo.objectstorage.softlayer.net'}conf = {    'fs.cos.service.access.key': credentials_staging_parquet.get('access_key'),    'fs.cos.service.endpoint': credentials_staging_parquet.get('url'),    'fs.cos.service.secret.key': credentials_staging_parquet.get('secret_key'),    'fs.cos.service.iam.endpoint': credentials_staging_parquet.get('iam_url'),    'fs.cos.service.iam.service.id': credentials_staging_parquet.get('resource_instance_id'),    'fs.stocator.scheme.list': 'cos',    'fs.cos.impl': 'com.ibm.stocator.fs.ObjectStoreFileSystem',    'fs.stocator.cos.impl': 'com.ibm.stocator.fs.cos.COSAPIClient',    'fs.stocator.cos.scheme': 'cos',    'fs.cos.client.execution.timeout': '18000000',    'fs.stocator.glob.bracket.support': 'true'}hadoop_conf = sc._jsc.hadoopConfiguration()for key in conf:    hadoop_conf.set(key, conf.get(key))parquet_path = 'store/MY_FILE/*'cos_url = 'cos://{bucket}.service/{parquet_path}'.format(bucket=credentials_staging_parquet.get('bucket_eid'), parquet_path=parquet_path)df2 = spark_session.read.parquet(cos_url)