首頁猿問將...

將 confluence-kafka python 庫與 AWS lambda 一起使用時出錯

Python

MM們 2023-07-18 10:40:39

我嘗試使用confluence-kafka?python 庫通過 lambda 函數(shù)管理我的集群，但該函數(shù)失敗并出現(xiàn)錯誤："Unable to import module 'Test': No module named 'confluent_kafka.cimpl'"我的要求.txtrequestsconfluent-kafka為了創(chuàng)建 zip 文件，我將代碼移動到虛擬環(huán)境的 site-packages 位置并壓縮所有內(nèi)容。Python代碼：import confluent_kafka.adminimport requestsdef lambda_handler(event, context):? ? print("Hello World")我使用的是 macOS 10.X。在 Linux 上，我注意到 pip install 創(chuàng)建了一個單獨的 confluence_kafka.libs，它不會在 mac 上創(chuàng)建

查看完整描述

2 回答

幕布斯6054654

TA貢獻1876條經(jīng)驗獲得超7個贊

我創(chuàng)建了所需的圖層并可以驗證它是否有效。

使用的技術(shù)包括最近的AWS 博客中描述的docker 工具：

如何使用 Docker 模擬 Lambda 環(huán)境創(chuàng)建 Lambda 層？

于是針對這個問題，我驗證如下：

創(chuàng)建空文件夾，例如mylayer.
轉(zhuǎn)到該文件夾并創(chuàng)建requirements.txt包含以下內(nèi)容的文件

echo?requests?>?requirements.txt
echo?confluent-kafka?>>?requirements.txt

運行以下 Docker 命令：

docker?run?-v?"$PWD":/var/task?"lambci/lambda:build-python3.8"?/bin/sh?-c?"pip?install?-r?requirements.txt?-t?python/lib/python3.8/site-packages/;?exit"

創(chuàng)建圖層為 zip：

zip?-r?mylayer.zip?python?>?/dev/null

mylayer.zip在AWS控制臺中創(chuàng)建基于的lambda層。不要忘記指定Compatible runtimes為python3.8.
使用以下 lambda 函數(shù)測試 lambda 中的層：

import confluent_kafka.admin

import requests

def lambda_handler(event, context):

? ? print(dir(confluent_kafka.admin))

? ? print(dir(requests))

? ? print("Hello World")

該函數(shù)正確執(zhí)行：

['AdminClient', 'BrokerMetadata', 'CONFIG_SOURCE_DEFAULT_CONFIG', 'CONFIG_SOURCE_DYNAMIC_BROKER_CONFIG', 'CONFIG_SOURCE_DYNAMIC_DEFAULT_BROKER_CONFIG', 'CONFIG_SOURCE_DYNAMIC_TOPIC_CONFIG', 'CONFIG_SOURCE_STATIC_BROKER_CONFIG', 'CONFIG_SOURCE_UNKNOWN_CONFIG', 'ClusterMetadata', 'ConfigEntry', 'ConfigResource', 'ConfigSource', 'Enum', 'KafkaException', 'NewPartitions', 'NewTopic', 'PartitionMetadata', 'RESOURCE_ANY', 'RESOURCE_BROKER', 'RESOURCE_GROUP', 'RESOURCE_TOPIC', 'RESOURCE_UNKNOWN', 'TopicMetadata', '_AdminClientImpl', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__path__', '__spec__', 'concurrent', 'functools']

['ConnectTimeout', 'ConnectionError', 'DependencyWarning', 'FileModeWarning', 'HTTPError', 'NullHandler', 'PreparedRequest', 'ReadTimeout', 'Request', 'RequestException', 'RequestsDependencyWarning', 'Response', 'Session', 'Timeout', 'TooManyRedirects', 'URLRequired', '__author__', '__author_email__', '__build__', '__builtins__', '__cached__', '__cake__', '__copyright__', '__description__', '__doc__', '__file__', '__license__', '__loader__', '__name__', '__package__', '__path__', '__spec__', '__title__', '__url__', '__version__', '_check_cryptography', '_internal_utils', 'adapters', 'api', 'auth', 'certs', 'chardet', 'check_compatibility', 'codes', 'compat', 'cookies', 'delete', 'exceptions', 'get', 'head', 'hooks', 'logging', 'models', 'options', 'packages', 'patch', 'post', 'put', 'request', 'session', 'sessions', 'ssl', 'status_codes', 'structures', 'urllib3', 'utils', 'warnings']

Hello World

反對回復(fù) 2023-07-18