我主要在這里重現(xiàn)我在forum.aws上看到的一個問題，希望 stackoverflow 社區(qū)的答案/解釋比論壇上的討論更徹底、更有啟發(fā)性。這是我對這個問題的經(jīng)驗(yàn)：我使用 pandas 從 python 中的數(shù)據(jù)幀制作了一個鑲木地板文件，并將一個字段/列說生日作為datetime64[ns]使用pandas.to_datetime. 這部分過程似乎完美無缺，因?yàn)槲铱梢允褂米x取鑲木地板文件pandas.read_parquet并獲得我期望的結(jié)果，即在日期時間中輸入的日期。但是，當(dāng)我將所述鑲木地板文件加載到 AWS 并在athena其上放置一個表格時，讀取相同的生日列會產(chǎn)生與鑲木地板文件中的日期完全不匹配的垃圾日期。例如t = pandas.DataFrame([['Haiti',pandas.to_datetime('1804-01-01')]],columns=['Country','Independence'])t.to_parquet("s3://<mybucket>/tmp/t.parquet")|Country | Independence||--------|-------------||Haiti | 1804-01-01 |CREATE EXTERNAL TABLE IF NOT EXISTS default.mytable ( `Country` string, `Independence` timestamp )ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'WITH SERDEPROPERTIES ( 'serialization.format' = '1') LOCATION 's3://<mybucket>/tmp/'TBLPROPERTIES ('has_encrypted_data'='false');SELECT * FROM "default"."mytable" limit 10;|Country | Independence ||--------|--------------------------||Haiti |-164033-12-18 00:00:00.000|
1 回答
翻過高山走不出你
TA貢獻(xiàn)1875條經(jīng)驗(yàn) 獲得超3個贊
您可以使用“coerce_timestamps”強(qiáng)制 to_parquet 以 Athena 可以理解的格式寫入：
t = pandas.DataFrame([['Haiti',pandas.to_datetime('1804-01-01')]],columns=['Country','Independence'])
t.to_parquet("s3://<mybucket>/tmp/t.parquet", coerce_timestamps='ms')
|Country | Independence|
|--------|-------------|
|Haiti | 1804-01-01 |
CREATE EXTERNAL TABLE IF NOT EXISTS default.mytable (
`Country` string,
`Independence` timestamp
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1'
) LOCATION 's3://<mybucket>/tmp/'
TBLPROPERTIES ('has_encrypted_data'='false');
SELECT * FROM "default"."mytable" limit 10;
|Country | Independence |
|--------|-----------------------|
|Haiti |1804-01-01 00:00:00.000|
添加回答
舉報
0/150
提交
取消