由于缺乏在pyspark / python中編寫代碼的知識，我決定在spark.sql中編寫查詢。我用兩種格式編寫了查詢。第一種格式允許EOL中斷。但是，以這種格式我會遇到錯誤，請參見下文：results5 = spark.sql("SELECT\ appl_stock.Open\ ,appl_stock.Close\FROM appl_stock\WHERE appl_stock.Close < 500")上面的格式產(chǎn)生以下錯誤：---------------------------------------------------------------------------Py4JJavaError Traceback (most recent call last)~/spark-2.1.0-bin-hadoop2.7/python/pyspark/sql/utils.py in deco(*a, **kw) 62 try:---> 63 return f(*a, **kw) 64 except py4j.protocol.Py4JJavaError as e:~/spark-2.1.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name) 318 "An error occurred while calling {0}{1}{2}.\n".--> 319 format(target_id, ".", name), value) 320 else:Py4JJavaError: An error occurred while calling o19.sql.: org.apache.spark.sql.catalyst.parser.ParseException: mismatched input '.' expecting {<EOF>, ',', 'FROM', 'WHERE', 'GROUP', 'ORDER', 'HAVING', 'LIMIT', 'LATERAL', 'WINDOW', 'UNION', 'EXCEPT', 'MINUS', 'INTERSECT', 'SORT', 'CLUSTER', 'DISTRIBUTE'}(line 1, pos 35) 而以下代碼可產(chǎn)生成功的結(jié)果，請參見下文：results6 = spark.sql("SELECT appl_stock.Open ,appl_stock.Close FROM appl_stock WHERE appl_stock.Close < 500")有人可以讓我知道為什么第一個代碼不起作用，而第二個代碼卻不起作用嗎？
3 回答
繁星點(diǎn)點(diǎn)滴滴
TA貢獻(xiàn)1803條經(jīng)驗(yàn) 獲得超3個贊
因?yàn)槟鶿在第一個中使用，并且將其作為奇數(shù)語法傳遞給spark。如果要編寫多行SQL語句，請使用三引號：
results5 = spark.sql("""SELECT
appl_stock.Open
,appl_stock.Close
FROM appl_stock
WHERE appl_stock.Close < 500""")
料青山看我應(yīng)如是
TA貢獻(xiàn)1772條經(jīng)驗(yàn) 獲得超8個贊
就我而言，我遇到了錯誤mismatched input '*' expecting <EOF>。然后我意識到我正在使用spark.table(而不是spark.sql(。我認(rèn)為這可能對某人有用...
慕村225694
TA貢獻(xiàn)1880條經(jīng)驗(yàn) 獲得超4個贊
奇怪的是，如果我使用終止我的SQL語句，這對我來說是拋出的;。只需將其修復(fù)即可。
IE
spark.sql("""
SELECT * FROM foo WHERE bar = 3;
""")
休息。
spark.sql("""
SELECT * FROM foo WHERE bar = 3
""")
才不是。
添加回答
舉報
0/150
提交
取消