熱門Ptt文章

[爆卦]信息熵是什麼？優點缺點精華區懶人包

雖然這篇信息熵鄉民發文沒有被收入到精華區：在信息熵這個話題中，我們另外找到其它相關的精選爆讚文章

在 信息熵產品中有2篇Facebook貼文，粉絲數超過1萬的網紅大詩人的寂寞投資筆記，也在其Facebook貼文中提到， 「假如你是一個做電商的，你會怎麼利用互聯網來打廣告呢？那麼多種互聯網廣告，哪種效果最好呢？具體到哪家媒體或者網站上去做呢？ 我們先說一下結論， Google的搜索廣告優於Facebook的個性化展示廣告，後者優於一般的展示廣告。接下來我們就用之前學到的信息論知識，量化計算一下各種廣告形式的效率...

　同時也有1部Youtube影片，追蹤數超過0的網紅Mr & Mrs Gao，也在其Youtube影片中提到，【加入會員按鈕】https://www.youtube.com/channel/UCMUnInmOkrWN4gof9KlhNmQ/join 【出賣靈魂按鈕】https://goo.gl/VhzZeS ------------------------------------------------ 相...

「信息熵」的推薦目錄

信息熵 在 BusinessFocus | 商業、投資、創科平台 Instagram 的精選貼文

2020-05-11 10:31:47

立即Follow @businessfocus.presslogic 【如何成功？】馬斯克與「鱷王」達里奧都愛用，鍛鍊大腦最有效方法！⠀ ·⠀ 大腦由稱為神經元的神經細胞組成，通過突觸將信息由一個神經元傳遞到下一個神經元，就像其他肌肉和器官一樣，大腦會隨著年齡漸長而衰退，除了突觸傳導速度變慢之外，細...

  • 大詩人的寂寞投資筆記

    信息熵 在 大詩人的寂寞投資筆記 Facebook 的最佳解答

    2019-07-01 07:26:16
    有 61 人按讚


    「假如你是一個做電商的，你會怎麼利用互聯網來打廣告呢？那麼多種互聯網廣告，哪種效果最好呢？具體到哪家媒體或者網站上去做呢？

    我們先說一下結論， Google的搜索廣告優於Facebook的個性化展示廣告，後者優於一般的展示廣告。接下來我們就用之前學到的信息論知識，量化計算一下各種廣告形式的效率。

    先說Google的搜索廣告，它是和Google的引擎相伴隨的。Google的搜索引擎中收錄了大約幾十億個常用的網頁和上千億個其它網頁，當然它還有近千萬的廣告主以及幾千萬種廣告。為了聚焦，我們只關注它幾十億個（我們假定為40億）常用網頁和幾千萬種廣告。

    如果我們要從40億個網頁中找出自己最需要的那一個網頁來，需要多少信息呢？如果每一個網頁大家查找的頻率相同，那麼從40億中選1，需要log（40億）=32比特的信息。

    但實際上，有些網頁大家查找得越頻繁，是你想要的那個網頁的概率越大，所以根據這個頻率計算信息熵，其實不需要32比特。我們假設，需要大約一半信息，即16比特就夠了。
    另外，我們還考慮到用戶的瀏覽器所使用的語言，比如英語最廣泛，那麼划定範圍又小了一些，又可以節約一些所需信息，這時候我們估計大約需要12比特信息。

    好，這時候，你在搜索框里輸入的關鍵詞，能減少這12比特的信息熵嗎？要知道，在英語里，一個表達意思的英語單詞，（即排除the，a，is等使用太頻繁，但沒有鑒別力的單詞）平均大約只有6～8比特信息。

    因此，你如果用兩個關鍵詞，通常可以保證你所要找的內容排在第一位。當然，這幾個關鍵詞所提供的信息最好是正交的，那樣效果最好，這個原理我們在第13講已經講過了，你可以回去復習一下。

    對於中文，情況也是差不多。一個漢語的兩字詞，大約有8～10比特的信息，於是你用兩個兩字詞，在Google上基本上可以確定那個你唯一要找到的網頁。

    理解了搜索的信息論原理之後，我們現在轉換一下身份，假定自己是廣告主，要投放廣告了，看看怎樣利用用戶在搜索時提供的信息找到廣告的受眾。要知道，廣告是一種商業信息，雖然它和錢相關，但是如果我們不考慮內容，只看信息量，它和網頁搜索沒什麼差別。

    在中國，Google和百度廣告主的數量在幾十萬到百萬這個量級，但實際上，很多廣告主把預算花光了後，就不再及時續費了，此外還有一些廣告主的廣告質量很差，點擊率不高，我們也暫時不考慮。

    於是，我們假設有12萬廣告主要做廣告，要想讓用戶從中把你這一家商店選出來，信息熵（不確定性）是17比特。

    如果你不清楚任何用戶的需求，那麼只好隨機做展示廣告。在歷史上，展示廣告效果從來都不好，原因就在於它無法消除不確定性，在這裡就是17比特的信息熵沒法消除。因為展示的廣告和讀者的意圖無關，讀者偶爾的點擊也只是好奇和不小心。

    據京東主管廣告的負責人顏偉鵬先生介紹，在門戶網站上做展示廣告，獲得一個用戶的成本可以高達10000元以上，做那種廣告完全得不償失。

    當然了，展示廣告的收費也就不可能太高，通常每一千次展示的收費，也被稱為RPM，不會超過0.5美元。但你不是為了省錢，而是為了效果，為了更便宜地獲得客戶。

    那麼搜索廣告的效果怎麼樣呢？由於用戶在搜索時提供了信息，表達了他這一次搜索的目的，因此，廣告就好做了。

    如果我們還是假設用戶搜索的關鍵詞是兩個詞，每個詞平均兩個漢字，通常這兩個詞提供的信息是正交的，根據漢字詞平均的信息量，這兩個詞大約提供了16～20比特的信息，基本可以消除17比特的信息熵。

    對Google來說，已經可以確定該顯示哪一個廣告了。也就是說廣告和用戶的需求其實完全匹配了。

    這樣，廣告的效果就好很多，當然搜索廣告也因此收費高很多。Google通常可以做到30美元，甚至50美元以上的RPM，百度也能做到100人民幣左右的RPM。

    這比之前傳統的展示廣告高出了大約兩個數量級。雖然廣告的收入並非和不確定性的減少呈指數相關，但是，如果你作為廣告主知道用戶的意圖再進行服務，效果也要好得多。

    那麼，你可能還會說，我能不能做一些個性化廣告以及和內容相關的廣告？很遺憾，個性化服務會帶來的好處並沒有人們想象的多，這裡面根本的原因是，人的差異遠沒有我們想象的大。關於個性化，我們可以理解成我們自身的喜好，和大眾平均值的差別。」

  • 大詩人的寂寞投資筆記

    信息熵 在 大詩人的寂寞投資筆記 Facebook 的最佳貼文

    2019-05-31 21:04:45
    有 60 人按讚


    「大家都知道賭球的莊家總是穩賺不賠，就覺得裡面貓膩很多，這次我帶你從信息論的角度來看清這個問題。你會發現其實很多類似的複雜難題都是信息熵的計算問題。

    假如，我們能提前確定各個球隊獲得世界杯冠軍的概率，設定它們分別是P1，P2，……，P32。那麼我們套用上面的公式，就可以算出這件事需要多少信息，或者說這個問題的信息熵。

    我們假定為3.4比特，或者說對應於3.4塊錢。如果有一個人提一次問題支付一塊錢，從理論上講，所有參加賭局的人只要平均支付3.4塊錢就能得到誰是冠軍這個信息。

    但是如果設定賭局的人將收費標準略微提高，提高到一個人平均4元。這裡面的盈餘就被設賭局的人拿走了。
    那你會說，我們不可能提前知道概率，那每個球隊得冠軍的概率是如何預估的？其實這是我們這些下注的人告訴設賭局的人的。

    如果大家都往德國隊身上下注，結果預測德國獲冠軍的概率就很高，所以押注的多少其實就是大家給出的概率。

    而開賭局的，只要收費比信息實際的價值高，都是穩賺不賠的。這裡面的細節大家不用太在意，總之記住一點，就是開賭局的從來不是拿自家的錢和你對賭，而是讓你們彼此互相賭，他通過變相多收費盈利。

    很多人會講，我不參加賭局，不會被開賭局的人賺走錢。其實上述這類賭局在金融市場更多。

    你可能聽說過「結構化的投資證券」（Structured Notes），比如說石油的價格上漲到100美元以上，每1美元高盛就付給你1.5美元。但是，如果沒有到100美元，你需要每個月付給高盛1美元。這種投資工具，就被做成一種結構化的投資證券。

    像航空公司或者運輸公司因為害怕油價浮動太高，會購買這樣的投資產品。那麼你以為是高盛在和石油公司，或者其他人對賭麼？不是的，因為高盛轉手就將和它完全相反的投資產品，賣給了希望油價波動的人。當然，高盛會包裝得很好，讓兩邊都感謝它，其實它才是真正掙錢的一方。

    你可能聽說過金融數學這個專業，那裡面的人天天做的事情就是設計這種不容易為人所看懂的，自己永遠不賠錢的金融產品。而所謂的基金經理，很多就是把這樣的產品賣給你的人。

    因此，多瞭解信息論和基本的數學常識，可以在生活中省下不少冤枉錢。這是今天我想告訴你的第二個知識點，希望你知道，很多交易和產品都是利用了信息的可度量性，知道了這點，就可以看清很多複雜交易背後的原理。」

你可能也想看看

搜尋相關網站