我在使用 golang 客戶端從 AWS S3 存儲桶下載大文件時(shí)遇到問題，我不是 golang 方面的專家，因此我非常感謝任何幫助。我正在創(chuàng)建一個(gè)簡單的 API，該 API 使用 gin-gonic 框架公開一個(gè)終端節(jié)點(diǎn)，當(dāng)有人向該終端節(jié)點(diǎn)發(fā)送請求時(shí)，應(yīng)用程序會(huì)從 AWS S3 存儲桶下載一個(gè)巨大的 CSV 文件，并將文件的內(nèi)容保存在本地?cái)?shù)據(jù)庫中。當(dāng)文件大小為200 mb時(shí)，它可以正常工作，但是對于較大的文件，例如500 mb，我開始出現(xiàn)內(nèi)存錯(cuò)誤。我正在使用這部分代碼來創(chuàng)建會(huì)話并卸載文件：sess, _ := session.NewSession(&aws.Config{ Region: aws.String("us-west-2")},)downloader := s3manager.NewDownloader(sess)getInput := &s3.GetObjectInput{ Bucket: aws.String("the bucket name"), Key: aws.String("the file path"),}buff := new(aws.WriteAtBuffer)_, err := downloader.Download(buff, getInput)if err != nil { return nil, errors.New(err, "error downloading file")}return buff.Bytes(), nil在這部分之后，我有一個(gè)服務(wù)，它接收字節(jié)并使用golang CSV閱讀器迭代文件內(nèi)容：csv.NewReader(bytes.NewReader(theBytes))在讀取器接收字節(jié)之前下載文件內(nèi)容時(shí)，會(huì)出現(xiàn)此問題。我的問題是，是否有任何方法可以使用不同的方法來下載代碼中的文件（也許在下載器上具有不同的設(shè)置）來解決此問題，或者...相反，如果我需要拆分存儲桶中的文件內(nèi)容以減小大小并按部分下載文件。另一種選擇可能是增加golang在應(yīng)用程序運(yùn)行時(shí)使用的內(nèi)存。我不知道在我的情況下哪個(gè)可能是最好的解決方案，你有什么建議？我感謝任何建議或推薦，非常感謝你提前！
1 回答
一只名叫tom的貓
TA貢獻(xiàn)1906條經(jīng)驗(yàn) 獲得超3個(gè)贊
通過使用，您無法在下載文件時(shí)處理文件：它同時(shí)下載不同的塊，因此您不會(huì)按順序接收字節(jié)。downloader
如果要在下載字節(jié)時(shí)對其進(jìn)行處理，可以嘗試改用。這將按順序下載對象，但僅使用單個(gè) goroutine，因此速度會(huì)變慢。s3.S3
像這樣：
sess, _ := session.NewSession(&aws.Config{
Region: aws.String("us-west-2")},
)
s3Client := s3.New(sess)
getInput := &s3.GetObjectInput{
Bucket: aws.String("the bucket name"),
Key: aws.String("the file path"),
}
resp, err := s3Client.GetObjectWithContext(context.TODO(), getInput)
if err != nil {
return nil, fmt.Errorf("error downloading file: %v", err)
}
defer resp.Body.Close()
rd := csv.NewReader(resp.Body)
- 1 回答
- 0 關(guān)注
- 156 瀏覽
添加回答
舉報(bào)
0/150
提交
取消