熱門Ptt文章

[爆卦]Pyspark 安裝是什麼？優點缺點精華區懶人包

為什麼這篇Pyspark 安裝鄉民發文收入到精華區：因為在Pyspark 安裝這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者dream3531 (Uncle Dan)看板Python標題[問題] pyspark安裝時間F...

作者dream3531 (Uncle Dan)
看板Python
標題[問題] pyspark安裝
時間Fri Mar 31 13:50:23 2017

對於python 對於spark我都是新手 請多多見諒
最近想要開始學習spark 用python寫
照著網路上的操作 想說只是簡單的幾個步驟
但遇上了一個嚴重的問題
安裝結果：
http://imgur.com/a/TgCGz

看別人安裝好都會有這一行
SparkContext available as sc.
可是我沒有這部分

導致於我在跑範例程式碼的時候
都會跑出
cannot import name SparkContext

請問 是我安裝的部分沒搞好嗎？
還是 我需要去哪裡改哪個東西呢？

謝謝你/妳

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 68.181.206.76
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1490939425.A.E4E.html
→ hsnusonic: from pyspark import SparkContext 會跑出什麼 03/31 18:39
會跑出ImportError: cannot import name 'SparkContext'
如果from pyspark import SparkConf 就是跑出 cannot import name 'SparkConf'
確認一下 跑程式碼 是用terminal打./bin/spark-submit xxx.py 對嗎？
補充一下 python version:3.5.2 spark version:2.1.0
謝謝
※ 編輯: dream3531 (68.181.88.116), 03/31/2017 22:36:51
→ hsnusonic: 你貼的shell看起來很正常呀，所以在shell直接import沒 04/01 12:00
→ hsnusonic: 問題嗎 04/01 12:00
請問在shell直接import的意思是？
正在學 一直發問 哈哈哈
※ 編輯: dream3531 (68.181.88.116), 04/01/2017 13:26:55
→ hsnusonic: 就是用pyspark 一行一行輸入 不是用spark-submit 04/01 13:36
可以耶！ 不過用shell 要怎麼直接跑一個project呢？
※ 編輯: dream3531 (68.181.88.116), 04/02/2017 00:48:38

你可能也想看看

搜尋相關網站