在 Azure Databricks 筆記本中，我嘗試使用以下命令對 Blob 存儲中的某些 csv 執(zhí)行轉(zhuǎn)換：*import os import glob import pandas as pd os.chdir(r'wasbs://dalefactorystorage.blob.core.windows.net/dale') allFiles = glob.glob("*.csv") # match your csvs for file in allFiles: df = pd.read_csv(file) df = df.iloc[4:,] # read from row 4 onwards. df.to_csv(file) print(f"{file} has removed rows 0-3")*不幸的是我收到以下錯誤：*FileNotFoundError: [Errno 2] 沒有這樣的文件或目錄: 'wasbs://dalefactorystorage.blob.core.windows.net/dale'我錯過了什么嗎？（我對此完全陌生）。
2 回答
DIEA
TA貢獻(xiàn)1820條經(jīng)驗 獲得超3個贊
如果您想使用包pandas從 Azure blob 讀取 CSV 文件，對其進(jìn)行處理并將此 CSV 文件寫入 Azure Databricks 中的 Azure blob，我建議您將 Azure blob 存儲掛載為 Databricks 文件系統(tǒng)，然后執(zhí)行此操作。欲了解更多詳情，請參閱此處。
例如
裝載 Azure 斑點
dbutils.fs.mount(
source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
mount_point = "/mnt/<mount-name>",
extra_configs = {"fs.azure.account.key.<storage-account-name>.blob.core.windows.net":"<account access key>"})
處理 csv
import os
import glob
import pandas as pd
os.chdir(r'/dbfs/mnt/<mount-name>/<>')
allFiles = glob.glob("*.csv") # match your csvs
for file in allFiles:
print(f" The old content of file {file} : ")
df= pd.read_csv(file, header=None)
print(df)
df = df.iloc[4:,]
df.to_csv(file, index=False,header=False)
print(f" The new content of file {file} : ")
df= pd.read_csv(file,header=None)
print(df)
break
慕雪6442864
TA貢獻(xiàn)1812條經(jīng)驗 獲得超5個贊
A，替代方法是將 dbfs 文件掛載為 Spark 數(shù)據(jù)幀，然后將其從 Sparkdf 轉(zhuǎn)換為 pandas df：
# mount blob storage
spark.conf.set("fs.azure.account.key.storageaccountname.blob.core.windows.net",
"storageaccesskey")
dfspark = spark.read.csv("wasbs://containername@storageaccountname.blob.core.windows.net
/filename.csv", header="true")
# convert from sparkdf to pandasdf
df = dfspark.toPandas()
添加回答
舉報
0/150
提交
取消