這可能是最容易通過(guò)示例解釋的。假設(shè)我有一個(gè)用戶(hù)登錄網(wǎng)站的DataFrame，例如：scala> df.show(5)+----------------+----------+|       user_name|login_date|+----------------+----------+|SirChillingtonIV|2012-01-04||Booooooo99900098|2012-01-04||Booooooo99900098|2012-01-06||  OprahWinfreyJr|2012-01-10||SirChillingtonIV|2012-01-11|+----------------+----------+only showing top 5 rows我想在此列添加一個(gè)列，指示他們何時(shí)成為網(wǎng)站上的活躍用戶(hù)。但有一點(diǎn)需要注意：有一段時(shí)間用戶(hù)被認(rèn)為是活動(dòng)的，在此期間之后，如果他們?cè)俅蔚卿?，他們的became_active日期會(huì)重置。假設(shè)這段時(shí)間是5天。然后從上表派生的所需表將是這樣的：+----------------+----------+-------------+|       user_name|login_date|became_active|+----------------+----------+-------------+|SirChillingtonIV|2012-01-04|   2012-01-04||Booooooo99900098|2012-01-04|   2012-01-04||Booooooo99900098|2012-01-06|   2012-01-04||  OprahWinfreyJr|2012-01-10|   2012-01-10||SirChillingtonIV|2012-01-11|   2012-01-11|+----------------+----------+-------------+因此，特別是，SirChillingtonIV的became_active日期被重置，因?yàn)樗麄兊牡诙蔚卿浭窃诨顒?dòng)期過(guò)期之后，但是Booooooo99900098的became_active日期沒(méi)有在他/她登錄的第二次重置，因?yàn)樗湓诨顒?dòng)期間。我最初的想法是使用窗口函數(shù)lag，然后使用lagged值填充became_active列; 例如，大致類(lèi)似于：import org.apache.spark.sql.expressions.Windowimport org.apache.spark.sql.functions._val window = Window.partitionBy("user_name").orderBy("login_date")val df2 = df.withColumn("tmp", lag("login_date", 1).over(window))然后，規(guī)則填寫(xiě)became_active日期會(huì)是這樣，如果tmp是null（即，如果它是第一次登錄），或者如果login_date - tmp >= 5再became_active = login_date; 否則，轉(zhuǎn)到下一個(gè)最近的值tmp并應(yīng)用相同的規(guī)則。這表明了一種遞歸方法，我無(wú)法想象實(shí)現(xiàn)的方法。我的問(wèn)題：這是一種可行的方法，如果是這樣的話，我怎么能“回頭”看看早期的價(jià)值觀，tmp直到我找到一個(gè)停止的地方？據(jù)我所知，我無(wú)法迭代Spark SQL的值Column。還有另一種方法來(lái)實(shí)現(xiàn)這個(gè)結(jié)果嗎？