第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題,去搜搜看,總會(huì)有你想問(wèn)的

如何以編程方式檢測(cè)Databricks環(huán)境

如何以編程方式檢測(cè)Databricks環(huán)境

慕田峪9158850 2021-05-14 18:17:50
我正在寫(xiě)一個(gè)火花作業(yè),它需要在本地以及在Databricks上都可以運(yùn)行。在每個(gè)環(huán)境(文件路徑)中,代碼必須略有不同,因此我試圖找到一種方法來(lái)檢測(cè)作業(yè)是否在Databricks中運(yùn)行。到目前為止,我發(fā)現(xiàn)的最好方法是在根目錄中查找“ dbfs”目錄,如果存在,則假定它在Databricks上運(yùn)行。這感覺(jué)不像是正確的解決方案。有誰(shuí)有更好的主意嗎?
查看完整描述

3 回答

?
森欄

TA貢獻(xiàn)1810條經(jīng)驗(yàn) 獲得超5個(gè)贊

您可以簡(jiǎn)單地檢查是否存在環(huán)境變量,例如:

def isRunningInDatabricks(): Boolean = 
  sys.env.contains("DATABRICKS_RUNTIME_VERSION")


查看完整回答
反對(duì) 回復(fù) 2021-05-26
?
蕪湖不蕪

TA貢獻(xiàn)1796條經(jīng)驗(yàn) 獲得超7個(gè)贊

這個(gè)怎么樣:


Python:


def isLocal():

    setting = spark.conf.get("spark.master")

    return ("local" in setting)

Scala:


def isLocal(): Boolean = {

    val setting = spark.conf.get("spark.master")

    return ("local" contains setting)

}


查看完整回答
反對(duì) 回復(fù) 2021-05-26
  • 3 回答
  • 0 關(guān)注
  • 150 瀏覽
慕課專(zhuān)欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢(xún)優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)