我正在訓(xùn)練一個大型模型，試圖在 Azure 筆記本中使用Azure 機器學(xué)習(xí)服務(wù)。因此，我創(chuàng)建了一個Estimator在本地進(jìn)行培訓(xùn)：from azureml.train.estimator import Estimatorestimator = Estimator(source_directory='./source_dir', compute_target='local', entry_script='train.py')（我train.py應(yīng)該從一個大的詞向量文件開始加載和訓(xùn)練）。運行時run = experiment.submit(config=estimator)我得到訓(xùn)練異常：====================================================================嘗試拍攝 /data/home/username/notebooks/source_dir 的快照時，您的總快照大小超過 300.0 MB 的限制。請參閱 http://aka.ms/aml-largefiles了解如何處理大文件。====================================================================錯誤中提供的鏈接可能已損壞。我的內(nèi)容./source_dir確實超過了 300 MB。我該如何解決這個問題？
2 回答
子衿沉夜
TA貢獻(xiàn)1828條經(jīng)驗 獲得超3個贊
您可以將訓(xùn)練文件放在外面，source_dir這樣它們就不會作為提交實驗的一部分上傳，然后將它們單獨上傳到數(shù)據(jù)存儲（基本上使用與您的工作區(qū)關(guān)聯(lián)的 Azure 存儲）。然后您需要做的就是從train.py.
有關(guān)如何將數(shù)據(jù)上傳到數(shù)據(jù)存儲然后從訓(xùn)練文件訪問它的示例，請參閱訓(xùn)練模型教程。
喵喔喔
TA貢獻(xiàn)1735條經(jīng)驗 獲得超5個贊
在我閱讀了 GitHub 問題Encounter |total Snapshot size 300MB while start logging和官方文檔Manage and request quotas for Azure resources for Azure ML service 后，我認(rèn)為這是一個未知問題，需要一些時間等待 Azure 修復(fù)。
同時，我建議您可以嘗試將當(dāng)前工作遷移到其他服務(wù)Azure Databricks，上傳您的數(shù)據(jù)集和代碼，然后在托管在 HDInsight Spark Cluster 上的 Azure Databricks notebook 中運行它，而無需擔(dān)心內(nèi)存或存儲限制。你可以在 Azure Databricks 上參考Azure ML 的這些示例。
添加回答
舉報
0/150
提交
取消