1 回答

TA貢獻1802條經(jīng)驗 獲得超6個贊
觀察調(diào)用b_filter.value.items()內(nèi)部返回的值filter與以下內(nèi)容相同:
nested_filter.items()
#[('user1', '2018-02-15')]
那么你的比較就變成了:
("user1","2018-02-05") < [('user1', '2018-02-15')]
#False
這是False。假設(shè)這nested_filter是一個只有 1 項的字典(如此處所示),您可能打算做的是與列表的第一個元素進行比較:
("user1","2018-02-05") < nested_filter.items()[0]
#True
因此,要“修復(fù)”您的代碼,您可以執(zhí)行以下操作:
rdd_set.filter(lambda fields: fields <= b_filter.value.items()[0]).collect()
#[('user1', '2018-02-05')]
但相反,我認為你真正想要的是以下內(nèi)容:
rdd_set.filter(lambda fields: fields[1] <= b_filter.value.get(fields[0])).collect()
#[('user1', '2018-02-05')]
這用于fields[0]從 獲取日期nested_filter(None如果不存在則返回)并將值與fields[1].
正如您所指出的,這種比較將在字符串上按字典順序進行。如果您的日期保持格式不變,這對您來說不是問題YYYY-MM-DD,但對于其他日期格式,您可能需要轉(zhuǎn)換為datetime對象。
添加回答
舉報