這是我使用大量 StackOverflow 后的第一個(gè)問(wèn)題,如果我提供的信息不準(zhǔn)確或不完整,請(qǐng)糾正我直到本周,我按照我在整個(gè)互聯(lián)網(wǎng)上找到的眾多指南之一設(shè)置了一個(gè) colab notebook 來(lái)與 pyspark 一起運(yùn)行,但本周它開始出現(xiàn)一些不同的錯(cuò)誤。使用的代碼幾乎就是這個(gè):!apt-get install openjdk-8-jdk-headless -qq > /dev/null!wget -q https://downloads.apache.org/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz!tar -xvf spark-3.0.0-preview2-bin-hadoop2.7.tgz!pip install -q findsparkimport osos.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"os.environ["SPARK_HOME"] = "/content/spark-3.0.0-preview2-bin-hadoop2.7"import findsparkfindspark.init()我嘗試將 Java 版本從 8 更改為 11,并使用https://downloads.apache.org/spark/上所有可用的 Spark 構(gòu)建并相應(yīng)地更改 HOME 路徑。我按照pip freeze在一個(gè)指南中看到的那樣使用來(lái)檢查 colab 中使用的 Spark 版本,它說(shuō) pyspark 3.0.0 所以我嘗試了版本 3.0.0 上的所有版本,但我一直得到的是錯(cuò)誤:Exception: Unable to find py4j, your SPARK_HOME may not be configured correctly我不太了解為此使用 Java 的必要性,但我也嘗試安裝 pyj4,!pip install py4j它說(shuō)我安裝時(shí)它已經(jīng)安裝了,我嘗試了互聯(lián)網(wǎng)上的每個(gè)不同指南,但我無(wú)法運(yùn)行我的 Spark代碼了。有誰(shuí)知道如何解決這一問(wèn)題?我只將 colab 用于大學(xué)目的,因?yàn)槲业?PC 已經(jīng)過(guò)時(shí)而且我對(duì)此了解不多,但我真的需要讓這個(gè)筆記本可靠地運(yùn)行,所以我怎么知道是時(shí)候更新導(dǎo)入的版本了?
添加回答
舉報(bào)
0/150
提交
取消