首頁(yè) 猿問如何在 Sagemaker...

如何在 Sagemaker 的處理步驟中將包上傳到實(shí)例？

Python

紫衣仙女 2023-10-06 13:44:50

我必須對(duì)一些數(shù)據(jù)進(jìn)行大規(guī)模特征工程。我當(dāng)前的方法是使用啟動(dòng)實(shí)例SKLearnProcessor，然后通過選擇更大的實(shí)例大小或增加實(shí)例數(shù)量來擴(kuò)展作業(yè)。我需要使用一些默認(rèn)情況下未安裝在 Sagemaker 實(shí)例上的軟件包，因此我想使用 .whl 文件安裝這些軟件包。另一個(gè)障礙是 Sagemaker 角色無法訪問互聯(lián)網(wǎng)。import boto3import sagemakerfrom sagemaker import get_execution_rolefrom sagemaker.sklearn.processing import SKLearnProcessorsess = sagemaker.Session()sess.default_bucket() region = boto3.session.Session().region_namerole = get_execution_role()sklearn_processor = SKLearnProcessor(framework_version='0.20.0', role=role, sagemaker_session = sess, instance_type="ml.t3.medium", instance_count=1)sklearn_processor.run(code='script.py')嘗試的解決方案：將包上傳到 CodeCommit 存儲(chǔ)庫(kù)并將存儲(chǔ)庫(kù)克隆到 SKLearnProcessor 實(shí)例中。因錯(cuò)誤而失敗fatal: could not read Username for 'https://git-codecommit.eu-west-1.amazonaws.com': No such device or address。我嘗試將存儲(chǔ)庫(kù)克隆到 sagemaker 筆記本實(shí)例中并且它可以工作，所以這不是我的腳本的問題。使用 bash 腳本通過 CLI 從 s3 復(fù)制包。我使用的 bash 腳本基于這篇文章。但包永遠(yuǎn)不會(huì)被復(fù)制，并且不會(huì)拋出錯(cuò)誤消息。還研究了使用該包s3fs，但似乎不適合復(fù)制輪文件。備擇方案我的客戶對(duì)于是否從自定義 Docker 鏡像啟動(dòng)容器猶豫不決。還有其他選擇嗎？

查看完整描述

2 回答

慕森王

TA貢獻(xiàn)1777條經(jīng)驗(yàn) 獲得超3個(gè)贊

2. Use a bash script to copy the packages from s3 using the CLI. The bash script I used is based off this post. But the packages never get copied, and an error message is not thrown.

這種方法似乎很合理。

您最好覆蓋tocommand上的字段，運(yùn)行 bash 腳本，就像安裝包含 python 依賴項(xiàng)的wheel，然后運(yùn)行主 python 入口點(diǎn)腳本。SKLearnProcessor/bin/bashinstall_and_run_my_python_code.sh

此外，您可以使用ProcessingInput來下載代碼，而不是使用AWS S3調(diào)用來下載腳本中的代碼，而不是使用bash腳本中的AWS CLI調(diào)用來下載代碼，這就是SKLearnProcessor下載入口點(diǎn)script.py代碼的方法。所有實(shí)例。

反對(duì) 回復(fù) 2023-10-06

弒天下

TA貢獻(xiàn)1818條經(jīng)驗(yàn) 獲得超8個(gè)贊

還有其他一些選擇。這是我能想到的所有選項(xiàng)（有些已經(jīng)提到了）

使用sagemaker.processing.*Processor.run(code=<bash script>)bash 腳本從存儲(chǔ)庫(kù)中提?。禾峤坏?Codecommit/Github/Bitbucket 存儲(chǔ)庫(kù)，并使用您的運(yùn)行 bash 腳本通過從同一存儲(chǔ)庫(kù)克隆來進(jìn)行設(shè)置
Hijack ProcessingInput：指向ProcessingInput本地目錄，或者通過將文件上傳到 S3 并指向ProcessingInput同一個(gè) S3 來進(jìn)行預(yù)先設(shè)置。
將您的庫(kù)打包并推送到本地存儲(chǔ)庫(kù)（Nexus、EC2、CodArtifact，支持此），然后像任何帶有 bash 運(yùn)行文件的 python 包一樣安裝它們。
劫持sagemaker.sklearn.estimator并用于source_dir指定您的整個(gè)源目錄
從包中編譯一個(gè)輪子并推送到容器并ProcessingInput安裝。

這些都不是很好。我沒有做1，因?yàn)槲也幌朊看味纪扑妥钚碌拇a來測(cè)試，不想構(gòu)建一個(gè)包（3）或編譯一個(gè)輪子（5），并使用估計(jì)器來運(yùn)行處理作業(yè)似乎是錯(cuò)誤的。使用 2，在我的情況下，有必要將單個(gè)文件放在正確的位置（ProcessingInput不支持單個(gè)文件，并且我在更高的目錄中有 pyproject.toml），因此運(yùn)行該作業(yè)的作業(yè)腳本通過訂購(gòu)進(jìn)行預(yù)先設(shè)置并將文件上傳到 S3，我在ProcessingInput.

反對(duì) 回復(fù) 2023-10-06