學習最新的大數據技術 – Spark！ 並學習使用最流行的程式語言之一 Python 來實踐 Spark！

分析大量數據的能力是當今最有價值的技術技能之一，本課程特別設計來幫助你快速掌握完成此任務的這最佳技術之一 Apache Spark ！ Googleı、Facebook、Netflix、Airbnb、Amazon、NASA 等頂尖技術公司/組織都在使用 Spark 來解決他們的大數據問題！

從這 10.5 小時的課程，你會學到

1. 一起用 Python 和 Spark 來分析大數據

2. 學習如何使用新的 Spark 2.0 DataFrame 語法

3. 實踐模擬真實世界情況的諮詢專案！

4. 以邏輯迴歸來歸類客戶流失

5. 以隨機森林 ( Random Forests ) 使用 Spark 進行分類
學習如何使用 Spark 的梯度提升決策樹 ( Gradient Boosted Trees )

6. 使用 Spark 的 MLlib 創建強大的機器學習模型
了解 DataBricks 平台！

7. 在 Amazon Web Services EC2 上設置大數據分析

8. 了解如何使用 AWS Elastic MapReduce服務！

9. 了解如何利用 Spark 環境中的 Linux 功能！

10. 使用 Spark 和自然語言處理創建垃圾郵件過濾器！

11. 使用 Spark Streaming 實時分析推文 ( Tweets )！

https://softnshare.com/spark-python-big-data-pyspark/

什麼！？Gmail 也有導入TensorFlow和機器學習！

Google 企業雲端工作系統 「G Suite」(舊名 Google Apps for Work)，2014年開始Google開始導入Tensorflow和機器學習工具，訓練「垃圾郵件過濾器」讓系統自動預測哪些可能是垃圾郵件，目前準確率已達99%！

大家有發現還有哪些功能也利用機器學習去訓練了呢？

聯絡我們了解更多有關G Suite: service@mile.cloud

#GSuite #GoogleCloudPlatform #Tensorflow #MachineLearning #機器學習 #Gmail

Facebook機器人要把「釣魚標題黨」洗出場 其實是強制改變活人的文法


大家大概都注意到Facebook又宣布調整演算法了。這次他們講的很明確，是要把專門用小編文騙點擊導流的「釣魚標題黨」洗出場。

幹過小編的冰友們（包括我），都知道社群文章要能導流的第一件事情就是「標題殺人法」。這招在過去兩年來，真是超超超管用。而且箇中路數與撇步，連Coursera的Social Media Strategy裡面也找老師來教過一些專門課。由此可見，這一招對於吸睛，導流，賺ROI，有多重要。但有趣的是，這種方式盛行將近兩年之後，現在Facebook說，他們要運用演算法調降這種欺騙觀眾的導流標題黨。而且說它們手上證據確鑿。

先簡單講一下，Facebook機器要把哪些可疑標的洗出場：
1. 一些從FB上點出去但很快又點回來的網路行為。
2. 經過系統分析認為文句刻意不完整或有誤導之嫌的標題

Facebook說，這是一個團隊在經過分析並且驗證了大量大量大量（貌似很大量所以說三次~）的釣魚黨標題之後所得出的結論。
文中還提到，「我們（FB）已經建立了一個系統，可以看出釣魚黨標題，然後來判別這些句子到底是不是經常出現在釣魚黨標題內，或者是在正常的標題內所運用到的。這個作用模式很像是垃圾郵件過濾器的原理」。

Facebook接著還說到，「我們的系統會分辨哪些貼文是釣魚黨，然後它們又是從哪些網域與臉書頁來的。轉貼連結或分享這些釣魚黨標題的臉書頁，我們就會調降它的演算。」臉書還說，「動態牆還是會持續學習。如果誰的臉書頁經常轉貼釣魚黨標題的內容，就會因此受到衝擊（懲罰）。我們也會持續優化我們的系統，更精準的辨識出釣魚黨標題。」

文章還說，如果你的臉書頁曾經發生過「釣魚標題黨」的問題，但後來的確改善了，那麼，該臉書頁也會不再受到影響。

最後，文章提到，臉書頁必須避免刻意隱藏重要資訊的釣魚標題，或者是誇大資訊的標題寫作，導致讀者出現期待落差的不滿。

讀完整篇臉書聲明，在這裡我大膽推測：
臉書的演算加重加權依序是：1, 字詞語意（最高）2. IP網域（次高）。而且演算邏輯是先掃字詞鎖定，再鎖定IP。

這件事情，雖然只是一個「又一次調整演算法」事件。但倒是有一蛛絲馬跡，是可以推測的：

1. 在英語世界裡，臉書的演算法已經有了長足的進步。「分析標題」必須要能非常掌握完整的語意，才能知道或分辨哪些是「釣魚標題」而哪些又不是。如果臉書開始做了這樣的宣布，表示他們的語意分析已經到了某個不可忽視的階段。
中文的部分，就很難說。因為中文的語意分析比英文更困難的多。但很難說這一天什麼時候會來。

2. 臉書在分析語意演算的時候，同時也結合了「實際發生的行為」。例如：它提到「被釣魚標題吸引」，「從動態牆點出去又點回來」。所以它能夠把「行為」與「語意」兩者做結合運算。

3. 線下客訴做為驗證（如果有的話）。這篇宣布開頭就說，做出這樣的改變，是基於「處理客訴」的結果（滿足人客的要求）。所以，這個教訓告訴我們的是，從表證上來看，臉書要改變一個演算法，至少包括了三個元素：活人客訴，機器人分析，使用者行為。

但最值得注意的是，臉書同時也告訴我們，哪些好貼文是會受到演算法鼓勵的，像是「資訊必須完整，好讓使用者自己決定要不要進去看」。這句話看起來好像沒什麼問題。但我們可能忘記了，書寫創作本來就是言論自由的一部分。接受臉書的「標題規範」，就是等同接受被臉書約束的「文法規範」。

寫作的人，為了表達自己的看法，會使用各種行文模式，並在文法通則上，發展出一套自由創作的風格。如果說，我不把標題寫完，就是一種創作的方法，那麼，在某種程度上，我們可以解釋成：臉書並不接受這樣的自由創作風格。所以，我甚至可以說，它使用演算法控制了書寫文法的規範。

控制書寫文法的規範，某種程度上就是控制了「書寫自由」，而且還是逼著活人，跟著機器人的規則走。先前釣魚標題黨就是一例。現在臉書為了打擊標題黨，逼著大家依照它的規範寫字。

影響所及，我可以想像，到最後，在臉書板子上被鼓勵的貼文，會越來越像穿上ㄧ套制服，大家都會長的越來越像，說的是臉書的語言，用的是臉書的文法。內容製造者在不知不覺中，為臉書量身打造臉書所喜愛（需要）的特色內容。

釣魚標題黨當然不可取。它們就是「內容農場」百分之百的延伸。但是，難道我們要接受機器人教我們怎麼寫文章嗎？

我並不這麼認為。