第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題,去搜搜看,總會(huì)有你想問(wèn)的

PySpark:按其他表中的子字符串過(guò)濾數(shù)據(jù)幀

PySpark:按其他表中的子字符串過(guò)濾數(shù)據(jù)幀

阿波羅的戰(zhàn)車 2023-10-26 15:35:36
我有兩個(gè)數(shù)據(jù)框,a 和 b:A:+-----+---------+| word|frequency|+-----+---------+|  git|        5||stack|       10||match|       15||other|        3|+-----+---------+乙:+-------------+---------+|         word|frequency|+-------------+---------+|       github|        5||       match |        2||stackoverflow|       10||      b_entry|        7|+-------------+---------+我想過(guò)濾掉數(shù)據(jù)幀 a 中單詞列等于或 b 中任何行的子字符串的所有行,因此所需的輸出是:+-----+---------+| word|frequency|+-----+---------+|other|        3|+-----+---------+我知道有一些函數(shù) a.word.contains()、a.word.like()、a.word.rlike() 等可以幫助我測(cè)試 a.word 是否有子字符串的條件。這些問(wèn)題是我最終會(huì)得到包含 a.word 值的 b 行,而不是 b.word 包含的 a 行。是否有任何函數(shù)可以幫助測(cè)試 a.word 是否是另一個(gè)表的子字符串?理想情況下,解決方案能夠同時(shí)對(duì)兩個(gè)表進(jìn)行操作,而不是直接迭代值,例如 SQL Join。
查看完整描述

1 回答

?
千巷貓影

TA貢獻(xiàn)1829條經(jīng)驗(yàn) 獲得超7個(gè)贊

contains()在連接條件中使用withleft_anti作為連接類型。

左反連接返回第一個(gè)表中與第二個(gè)表中不匹配的所有行。


df_a.show()

+-----+---------+                                                               

| word|frequency|

+-----+---------+

|  git|        5|

|stack|       10|

|match|       15|

|other|        3|

+-----+---------+

df_b.show()

+-------------+-----------+

|       word_1|frequency_1|

+-------------+-----------+

|       github|          5|

|        match|          2|

|stackoverflow|         10|

|      b_entry|          7|

+-------------+-----------+

from pyspark.sql.functions import *


df_a.join(df_b, (df_b.word_1.contains(df_a.word)), "left_anti").show()

+-----+---------+

| word|frequency|

+-----+---------+

|other|        3|

+-----+---------+



查看完整回答
反對(duì) 回復(fù) 2023-10-26
  • 1 回答
  • 0 關(guān)注
  • 112 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)