[爆卦]資訊熵計算是什麼?優點缺點精華區懶人包

雖然這篇資訊熵計算鄉民發文沒有被收入到精華區:在資訊熵計算這個話題中,我們另外找到其它相關的精選爆讚文章

在 資訊熵計算產品中有2篇Facebook貼文,粉絲數超過44萬的網紅李開復 Kai-Fu Lee,也在其Facebook貼文中提到, 分享亞勤的精彩演講。這是他上周在哥倫比亞大學工學院2020畢業典禮演講。他稱為是絕對是最大的“熵”的一屆畢業生。 本文來自人工智能學家微信公眾號 …………………………………… 張亞勤2020寄語哥倫比亞大學畢業生:引領未知時代 2020年5月18日,人工智慧和數位視訊的世界級科學家和企業家,美...

資訊熵計算 在 BusinessFocus | 商業、投資、創科平台 Instagram 的最讚貼文

2020-05-11 10:31:47

立即Follow @businessfocus.presslogic 【如何成功?】馬斯克與「鱷王」達里奧都愛用,鍛鍊大腦最有效方法!⠀ ·⠀ 大腦由稱為神經元的神經細胞組成,通過突觸將信息由一個神經元傳遞到下一個神經元,就像其他肌肉和器官一樣,大腦會隨著年齡漸長而衰退,除了突觸傳導速度變慢之外,細...

  • 資訊熵計算 在 李開復 Kai-Fu Lee Facebook 的最讚貼文

    2020-05-21 11:11:13
    有 527 人按讚

    分享亞勤的精彩演講。這是他上周在哥倫比亞大學工學院2020畢業典禮演講。他稱為是絕對是最大的“熵”的一屆畢業生。

    本文來自人工智能學家微信公眾號
    ……………………………………

    張亞勤2020寄語哥倫比亞大學畢業生:引領未知時代

    2020年5月18日,人工智慧和數位視訊的世界級科學家和企業家,美國藝術與科學院院士、百度前總裁、清華大學智慧科學講席教授張亞勤博士,在哥倫比亞大學工程學院的畢業典禮上發表了主題演講。

    張亞勤說:“面對全球疫情,技術成為最關鍵的變革力量,高速網路、軟體和人工智慧等基礎技術塑造我們生活、學習、工作和娛樂方式。”他提到:“隨著世界進入一個充滿挑戰和不確定性的新階段,年輕工程師迎來了回應歷史使命的決定性時刻,不僅要以技術創新,還要以同理心、勇氣和人文主義精神來迎接使命。”

    哥倫比亞大學工程學院院長瑪麗·博伊斯(MaryC. Boyce)表示:“我們很高興能請到張亞勤博士(Dr.Ya-Qin Zhang)給我們的畢業生做演講,以此來紀念這一重要的里程碑。”她談到:“我們的畢業生將進入一個變化的世界,他們也將成為時代變化的締造者。學生們將受益張亞勤博士的觀點,其非凡職業道路也將鼓舞學生們。”(引用哥倫比亞大學新聞報導)

    以下為百度前總裁、清華大學智慧科學講席教授張亞勤在2020年哥倫比亞大學工程學院畢業典禮上的致辭全文:

    尊敬的Bollinger校長, Boyce院長,家長們,同學們,大家好。
    我很榮幸能夠在這個非常時期,以特殊的形式出席這次特別的典禮。首先,恭喜2020屆畢業生,對你們取得的傑出成就表示衷心祝賀。你們做到了!

    我也是一名哥倫比亞大學的學生家長。我的兒子現在哥大工學院二年級學生,我女兒是哥大商學院2020屆的畢業生。我想與所有家長分享這份難以言表的喜悅和驕傲,我們都做到了!

    這無疑是我們有生記憶以來最具挑戰性和不確定性的一個時期。

    我們不僅看到了科技創新的極速進步和第四次工業革命的巨大力量,人工智慧、納米技術、量子電腦和5G通信等等技術不斷突破。

    我們還目睹了百年一遇的流行疾病在全球範圍內帶來的突發性破壞和災難性影響,對我們的社會基礎、經濟結構和生活方式帶來挑戰。

    對於那些學習過熱力學第二定律的人來說,“熵”這個術語一定不陌生,它表示動態系統中的混沌程度(Chaos)。資訊理論的創始者Claud Shannon將這一概念擴展到了資訊的不確定性和隨機性。可以說,2020屆畢業生是被賦予“熵”值最高的一屆。未來的不可預測和混沌程度都是前所未有的。對你們如此,對我們所有人也是如此。

    與你們的交流令我回想起我的學生時代和年輕時的工程師工作經歷。1990年畢業後,我的第一份工作是開發演算法,壓縮圖像和視頻,完成遠端傳輸,對國際標準MPEG和H.26x做出一點小貢獻:MPEG和H.26x也是如今Netflix、YouTube、Skype和Zoom等流行視頻應用程式的重要基礎。在過去的三十年裡,我有幸一直在激動人心的創新技術中徜徉, HDTV、自動駕駛、人工智慧和雲計算等等。在這一路走來,收穫的不僅是無窮的樂趣,也有超凡的艱辛。我想跟同學們分享我的三個體會:

    1)在數據爆炸和不斷變化的世界中,成為具備強適應能力的學習者。在瞬息萬變的技術行業中,五年前學到的知識大多已無用處。你們在哥倫比亞大學中學習到最有價值的是學習新知的能力,是從繁雜噪音中分別信號的能力,是從眾多數據中提取“熵”的能力。我有一個行之有效的習慣,每天早上花10分鐘,找出對我而言最新的發現或最重要的3件事情,當天來學習。

    2) 要擁有獨特的觀點和視角。當你們進入現實世界,會自然而然的開始被“打磨”,去遵循已有的趨勢,融入他人。我懇請你們保持自己的尖銳、棱角和與眾不同。當我與年輕工程師面聊時,我期待他們的觀點、他們的“熵”、他們鮮活的想法,這些遠比圓滑、打磨、“正確”要重要得多。

    3) 無論做什麼事情,要秉承道德和人性。兩千多年前,偉大的希臘思想家蘇格拉底將道德作為追求真理的靈魂。大約同一時期,偉大的中國哲學家孔子把人性的“仁義”作為社會結構的基礎。在截然不同的文化下,兩位偉大思想家所見略同,並非巧合。今天,當我們面臨更多選擇、迷茫和誘惑時,這一點就變得更加重要。技術是中立的,但創新者是有使命的。技術是工具,但技術人員是為人類服務的。院長Mary Boyce對哥倫比亞工學院提出的願景“技術以人為本”是工程學的核心,也是我們工程師和技術人員的宗旨。

    年輕的朋友們,對你們而言,這是一個決定性的時刻,請盡情的用你們的才華、激情和創新,更用你們的同理心,勇氣和人性,去展現,去閃耀,回應使命的召喚!

    再次恭喜你們,2020屆畢業生!

    以下是哥倫比亞大學對張亞勤作為畢業生典禮發言人的報導和過往成就的介紹
    https://engineering.columbia.edu/news/class-day-2020-ya-qin-zhang

    人工智慧和數位視訊的世界級科學家和企業家,百度前總裁張亞勤於2020年5月18日,在哥倫比亞大學工程學院的畢業典禮上發表主題演講。因為疫情的緣故,演講和畢業典禮將採取提前錄製形式,發送給全球的畢業生及其家人。

    百度作為科技巨頭,向全球超過20億人提供包括移動互聯網和雲計算等服務,張亞勤曾負責智慧駕駛、雲計算、新興業務和公司的技術部門。是一位廣受讚譽的科學家和技術專家和創新領導者。他是聯合國、世界經濟論壇和許多公共論壇的領導人和發言人,積極討論新技術對社會變革性的影響以及如何縮小數位鴻溝。2018年,他帶領百度成為第一家加入國際人工智慧道德組織AI (PAI)的中國公司,目前也是全球最大自動駕駛開源平臺Apollo理事會的主席。

    張亞勤說:“面對全球疫情,技術成為最關鍵的變革力量,高速網路、軟體和人工智慧等基礎技術塑造我們生活、學習、工作和娛樂方式。”他提到:“隨著世界進入一個充滿挑戰和不確定性的新階段,年輕工程師迎來了回應歷史使命的決定性時刻,不僅要以技術創新,還要以同理心、勇氣和人文主義精神來迎接使命。”

    加入百度之前,張亞勤擔任了16年Microsoft的高管,任公司全球資深副總裁和微軟亞州研究院院長。2011年,他在中國創立了微軟風險投資加速器(Microsoft VentureAccelerator)。作為中國最有活力的創業引擎之一,該加速器已經幫助孵化了200多家公司。

    張亞勤將在7月加入清華大學,擔任AI科學講席教授,並創立智慧產業研究院(AIR),將專注於第四次工業革命中的技術,包括自動駕駛,人工智慧、物聯網以及神經網路計算。

    哥倫比亞大學工程學院院長瑪麗·博伊斯(MaryC. Boyce)表示:“我們很高興能請到張亞勤博士(Dr.Ya-Qin Zhang)給我們的畢業生做演講,以此來紀念這一重要的里程碑。”她談到:“在這個非凡的時代,沒有人能夠更好地講述技術在我們生活中扮演的角色,來描述技術在創造一個更緊密、更安全、更有創造力的人類社會中的潛力。無論工作還是社交,我們比以往任何時候都更加依賴技術來保持聯繫,我們的畢業生將進入一個變化的世界,他們也將成為時代變化的締造者。學生們將受益張亞勤博士的觀點,其非凡職業道路也將鼓舞學生們。”

    張亞勤在12歲進入中國科技大學少年班,並獲得電氣工程學士和碩士學位。之後前往美國獲得喬治華盛頓大學的理學博士學位。他畢業于哈佛大學高管商業課程,在職業生涯的早期,曾擔任新澤西州普林斯頓(現為SRI)的Sarnoff Corp多媒體實驗室總監,還曾是GTE Labs(現為Verizon)的高級技術人員。

    張亞勤是美國藝術與科學院院士和澳大利亞國家工程院院士。

    1997年,年僅31歲的他,成為有史以來最年輕的科學家,被任命為IEEE會士。他撰寫了550多篇論文、12本書,並獲得了62項美國專利,為視頻編碼、流媒體、互聯網服務等領域的演算法和理論制定了全球標準。被IT時報、CNBC、《商業週刊》和全球商務評為亞洲十大CEO、年度CEO、50位全球傑出人物和十大創新者。

    張亞勤博士是哥倫比亞工學院2022屆學生和2020屆商學院畢業生的家長,他同時還是哥倫比亞工學院訪問委員會的成員,也是哥倫比亞商學院的高級學者。

    張亞勤哥倫比亞大學畢業典禮演講英文原文:

    Leading in times ofuncertainty
    President Bollinger, Dean Boyce, Parentsand Students:
    I am honored to be here at this veryspecial occasion, at a very special time, in the most special form. First, abig congratulation to the class of 2020 for your remarkable accomplishments. Youmade it!
    I am also a proud parent of Columbia.My son is a rising junior at the engineering school, and my daughter is also aclass 2020 for the business school. I share the immense joy and incrediblepride with all the parents, we all made it too!
    This is undoubtedly the mostchallenging and uncertain time in our living memory.
    We see the staggering pace ofinnovation and the transformative power of the fourth industrial revolution,with technology breakthroughs such as artificial intelligence, nano-technology,quantum computing, and 5G advanced communications.
    We also see the sudden disruption andcatastrophic impact of the once-in-a-century pandemic at a global scale thatchallenges the very foundation of our social fabric, economic structure, andlife style.
    For those of you who have learned the 2ndlaw of thermodynamics, you know the term “entropy”, which represents degree of chaosin a dynamic system. Claud Shannon, the founding father of information theory,extended this notion to measure information uncertainty and randomness. It’s fair to say that the Class of 2020 is the one that is “given” the highest entropy. The level ofunpredictability and chaos is unprecedented for you -- and for all of us.
    Talking with you reminds me of my earlyyears as a student and young engineer. My first job after graduation in 1990was developing algorithms to compress imagery and video for remote transmission,essentially to extract the maximum entropy. The work eventuallycontributed in a small way to a set of international standards known as MPEGand H.26x, the base for today’s popular video applications used in Netflix, YouTube, Skype andZoom. Over last three decades, I had the distinct opportunity to work on someof the most exciting technologies such as HDTV, autonomous driving, AI, and cloudcomputing. I have had the wildest ride with not only a great deal of fun, butalso extraordinary hardship along the way. Let me share with you three of mypersonal learnings:
    1) Be an adaptive learner in the world of dataexplosion and constant change. In today’s fast changing technology industry, most of what you learned fiveyears ago is irrelevant. The most valuable skill you’vegained at Columbia is the ability to learn new things, to discern the signalfrom the noise, and to extract entropy from the ocean of data. One routine Ifind particularly helpful is to commit just 10 minutes each morning and prioritize3 things – anything new and important to me – to learn that day.
    2) Have a unique point of view and perspective. When you get into the realworld, there is a natural tendency to become “polished”, to follow existing trends, and toblend in with the rest.
    I ASK you tomaintain your sharpness, your edge, and your differences. When I interviewpeople, particularly young engineers, I look for their point of view, theirentropy, and their flash of ideas, which to me is far more important than beingsmooth, polished or “correct”.
    3) Hold Ethics and humanity at theheart of what you do. Over 2000 years ago, the great Greek thinker Sock-ruh-tease put ethics as the soul forthe pursuit of truth. Around the same time, the great Chinese philosopher Confuciusplaced “Renyi”, whichessentially means humanity, as the foundation for social structure. It is nocoincidence that two of the greatest minds from vastly different cultures hadthe same idea. This has become even more critical today as we all face morechoices, confusion, and temptations. Technology is neutral, but innovatorshave purpose. Engineering is a tool, but engineers serve humanity. “Engineering for Humanity”, the vision set byDean Mary Boyce for Columbia engineering is the very core of engineering andwhat engineers are all about.
    My youngfriends, this is the defining moment for you, for you to rise, to shine andanswer the historic call of duty, with not only your talent, spark andinnovations, but also compassion, courage and humanity.
    Congratulations again, Class 2020 !

  • 資訊熵計算 在 余海峯 David . 物理喵 phycat Facebook 的最佳貼文

    2019-03-14 13:00:01
    有 125 人按讚


    【3月14】一些關於霍金的文字

    霍金是繼愛因斯坦後,另一位名字深入大眾文化的物理學家。

    霍金的宇宙誕生、時間開端理論,認為宇宙誕生一刻並非時間的「開端」。這理論聽起來非常奇怪難懂,而且似乎違反直覺。你會說:「宇宙」所指當然就是時間和空間,因此於宇宙誕生瞬間,時間當然才「開始」存在啦!故此,討論宇宙誕生「之前」發生了什麼事是沒有意義的,因為在那「時候」,連時間都尚未誕生。

    大家可能會覺得很古怪,宇宙誕生一刻要是並非時間的開端,那麼時間的開端在哪𥚃?原來在霍金的理論中,時間並非只有一個「維度」;我們日常經歷的時間叫做「實時間」,但宇宙誕生「之前」的時間是「虛時間」。在這裡,「實」和「虛」是數學描述,是數學中的「實數」和「虛數」(即開方負一)的意思。

    這個非常前衛的理論,引起了不少包括專業物理學家在內的人熱烈討論。當然,霍金的理論有堅實的數學支持。但是無論一個理論的數學構造如何合理、美麗、引人入勝,若然沒有實驗數據或觀測證據支持,就永遠不能證實。霍金的虛時間理論當然仍未有任何數據或觀測支持,因此物理學家和宇宙學家,仍只把它看待成一個不錯的、有可能是正確的、有待驗證的理論。

    然而,霍金卻在他的暢銷科普書籍《時間簡史》中把虛時間概念寫得如像已經被證實了一樣,引起了不少物理學家的迴響。身為理論物理學家,霍金的工作就是要建構出一個合理的宇宙模型。可是,合理並不保證與現實相符。檢驗各種合理的宇宙模型,並不在霍金的工作範圍之內。因此,有人認為他此舉是誤導大眾,也有人認為他只是以理論物理學家的角度出發去做科普,無傷大雅。

    我在大學物理系的一位老師就曾經說過,霍金寫的是科普「毒物」。這個評論或許有些太過重了,但卻不無道理。如果霍金寫的書籍首要對象是專業的物理學家,那並無不可。然而,更多讀者是業餘因興趣而讀霍金著作的,未必有足夠知識下判斷。更甚者,對於有意進入物理系、以研究為目標的學生們,更可能造成先入為主誤導的反效果,限制了他們的想像力。

    那麼,究竟理論物理學家是否不應寫科普?我認為這並非職業問題、也不是內容的問題,而是在於表達方式。霍金的書籍,的確沒有明確表示哪些理論是已經證實的內容、哪些是未經證實的猜測。以我自己來說,最初讀《時間簡史》的時候,我亦曾誤會,以為所有內容在科學界都是已有共識的。當然,從著書的角度看,寫書推廣自己的理論亦為無可厚非。

    霍金的另一個著名研究範疇,是黑洞。黑洞的愛因斯坦於 1915 年發表的廣義相對論的一個結論,質量極高的天體產生的重力強得光也無法脫離。一直以來,物理學家都認為在黑洞中心,時空會被重力扭曲至極致,成為一個密度無限大的點,稱為奇點。然而,由於光速是宇宙極速,沒有任何東西或資訊能夠從黑洞裡面跑出來,因此我們無從觀察黑洞裡面究竟是否如物理學家所預期的一樣。

    霍金與彭羅斯關於黑洞奇點的數學研究,指出符合廣義相對論的宇宙模型之中,黑洞和宇宙誕生一刻都必定存在奇點。換句話說,虛時間亦可能在黑洞中心的奇點「之後」延續下去。關於虛時間的這些理論,以現時人類科技水平,根本沒有任何辦法檢驗這個理論。所以,很多物理學家對於霍金的奇點理論抱持懷疑態度。

    然而,霍金研究黑洞的並非只有奇點。黑洞吸引大量物質,物理學家認為這些關於這些物質的資訊會永遠消失於我們的宇宙——黑洞的事件視界之外。霍金推導出了一道方程式,把黑洞的表面積與其「儲存」的資訊量——熵——拉上關係,資訊量越多,表面積就越大。物理學界被霍金這個發現震驚了,原來黑洞裡的資訊狀態竟能以某種方式表現在黑洞表面之上!對比起霍金關於奇點的理論,這個黑洞熵理論並沒有涉及無限大。雖然這個理論仍未被天文觀測所證實,物理學界普遍接受這個理論。

    量子力學和廣義相對論是現代物理學的兩大支柱,可是兩者卻水火不容。量子力學以機率描述微觀粒子世界,廣義相對論以絕對的因果關係描述巨觀的宇宙結構。若要數霍金最了不起的成就,就是他在黑洞表面的時空結合兩者,發現了所謂的霍金輻射。霍已輻射理論指出,黑洞會不斷放出粒子,而這些粒子竟然帶有過往被黑洞吞噬的資訊!黑洞的熵因而下跌,因此黑洞的表面積,即黑洞的尺寸亦同昨會縮小。霍金更計算出霍金輻射的速率,發現黑洞尺寸越小,霍金輻射速率就越高。因此,黑洞非但會「蒸發」,而且這個過程會隨黑洞越縮越小而變得越來越快。

    天文學家一直希望直接觀察黑洞,以證實(或證偽)這個霍金輻射理論。這亦是霍金一生發表過的眾多理論之中,最有望被現代科學家檢驗的一個。很多理論物理學家更在接受了霍金輻射存在的前提下,繼續這個研究方向。最近研究方向普遍認為,如果霍金輻射的確存在,那麼黑洞表面就會形成一道由極高能量粒子構成的「火牆」,沒有任何物件能安然無恙地跨越黑洞的事件視界,顛覆了物理學界一直以來對黑洞的認識。霍金輻射告訴我們:黑洞並不黑!

    霍金過世,很多人(包括科學家在內)都為霍金未能親眼目睹霍金輻射被天文觀測所證實而感到惋惜。霍金的理論物理研究雖然未有為他贏得諾貝爾獎,然而很多現代物理學理論都是建築在他的研究之上,就好像那個黑洞火牆理論一樣。就如同愛因斯坦沒有因相對論獲獎、卻造就了往後眾多研究者因他的相對論而得到這科學桂冠一般,不難想像,往後想必亦會有研究者因證實霍金某理論而獲獎。

    牛頓:「如果說我看得比較遠,那是因為我站在巨人肩膀上。」對比他的身驅,這或許是對霍金的科學貢獻和意志的最高稱頌。