【#贈書活動】

#東京大學資料科學家養成全書 https://bit.ly/3hjqQjm

「大數據會消失，資料科學不會」
「所有的科學都是資料科學」
―――資訊科學時代最需要閱讀的一本書―――

東京大學資料科學人氣講座全收錄————
★傳說中的東大松尾研究室超熱門課程，第一手內容完整公開！
★用Python學習基本的程式撰寫，邊做邊學，鍛鍊最強資料科學技能！
★收錄大量練習題和綜合題演練，打好理論基本功，具體應用於實務現場！
★體驗資料科學的魅力，培養整合跨領域課題的創造力！

所謂科學，是從世界上混沌的現象裡找出本質，逐步解決各式各樣的問題。在日漸龐大的各種資料當中，運用科學的力量解決各種問題，便可說是資料科學。

資料科學不僅只是數學（統計、機率、機器學習等），更是借用IT等各種力量，不斷挑戰世界上的難題與背後課題的綜合領域。運用這樣資料科學和人工智慧的力量，減少浪費與沒有效率的事物，進一步創造出新價值，可以讓這個世界更加美好。

本書廣泛說明資料科學不可不知的基礎事項，蒐羅豐富的重要關鍵知識和好用的參考資料，成為學習資料科學的地圖與羅盤。書中主要使用Python來學習基本的程式撰寫技巧，以及資料的取得、讀取、操作等，含括各式各樣Python函式庫的使用方式、機率統計的手法、機器學習（監督式學習、非監督式學習、性能調校），還有讓Python高速化的方法和Spark的簡單操作等。

書中說明如何實際將現場的資料進行加工與分析，如何具體運用於市場行銷或金融等，使用何種手法來撰寫程式比較好，以及組合程式的技巧和流程。除了理論解說，也介紹實務性的使用方法，可立即上手應用。
收錄各種類型的實作練習題和綜合問題，以實際的問題為前提來思考，一邊動手實踐。

📙看更多 #臉譜出版《東京大學資料科學家養成全書：使用Python動手學習資料分析》https://bit.ly/3hjqQjm
===========================================================現在只要在2020/06/18(四)下午15:00前，按讚「城邦讀書花園」，公開分享本文，並在本文下方留言：@_____ 「我想看《東京大學資料科學家養成全書》東京大學資料科學人氣講座全收錄————使用Python動手學習資料分析。」

🎁就有1位朋友可獲得《東京大學資料科學家養成全書：使用Python動手學習資料分析》1本哦！

※得獎名單將於2020/06/18(四)晚上20:00前公布於粉絲團：）
※得獎名單會直接在原贈書活動貼文上，以「留言」方式公布。
※贈書寄送限台澎金馬地區。
※城邦讀書花園粉絲團擁有變更活動內容的權利。

你可以在本課程中通過 MATLAB 和 Python 的方式深入學習傅立葉轉換，及其在數位訊號處理和影象處理中的應用。

傅立葉轉換是現代人類文明中最重要的技術之一。大到引力波的發現（引力波的主結果就是基於傅立葉轉換的時頻分析結果），神經科學研究的最前沿，小到修圖演算法（PS，濾鏡）、修音演算法，甚至到現代生活的最基本需求：WiFi或者4G訊號，你都能從其中看到傅立葉轉換的身影。但是它的機制又是什麼呢？除去那些複雜的數學公式，我們能簡單的從概念上理解它，然後再輕而易舉的利用它麼？

在本課程中，你會學到：

傅立葉轉換的理論和計算基礎，特別是如何將傅立葉轉換應用到訊號處理、資料分析和影像濾波中去。本課程不僅僅包含基礎內容，而且也包含傅立葉轉換的高階技巧，如非平穩性的作用，頻譜解析度，標準化，濾波等。所有的影片都包含MATLAB 和 Python 的程式碼，你可以通過學習和使用它們來更好的理解傅立葉轉換，也可以使用相關的程式碼來解決你當前遇到的問題。

本課程著重在如何通過電腦實現傅立葉轉換，並深入剖析其在數位訊號處理（一維資料）和影像處理（二維資料）上的應用。我們在這裡並非要推導關於傅立葉轉換的數學，而更多的是關於其在電腦科學、資料科學、工程學上的應用。

本課程十分適合想要成為以下人群的（或已經是以下人群的）人學習：

✅資料科學家
✅統計學家
✅電腦科學家（MATLAB或Python方向）
✅訊號處理或影像處理專家
✅生物學家
✅工程師
✅學生

https://softnshare.com/fourier_transform/

GitHub 最強 AI 數學解題神器！拍照上傳秒給答案，連微積分都難不倒他

Posted on2019/05/27
TO 精選觀點

【為什麼我們要挑選這篇文章】AI 應用越發奇葩，過去寫數學一支筆、一顆腦，現在連腦都不用，帶個 AI 就行。
中國 GitHub 大神研發數學 AI，透過深度學習與影像識別，打造最強解題神器。每個學生都夢寐以求的數學 AI 究竟怎麼下載？怎麼用？接著看下去。（責任編輯：陳伯安）

作者：量子位／ 曉查 銅靈

一位叫 Roger 的中國學霸小哥的拍照做題程式 mathAI 一下子火了，這個 AI，堪稱數學解題神器。

輸入一張包含手寫數學題的圖片，AI 就能辨識出輸入的數學公式，然後給出計算結果。

不僅加減乘除基本運算，就連高等數學中的微積分都不在話下。

就像下面這樣：

還在苦苦糾結高數作業如何求解？還在東奔西走的找學霸借作業？手握 mathAI，不就是手握了新時代的解題利器嗎？

此項目程式碼已半開源

短短幾天時間，這個項目在微博就收穫了上百次轉發。看到畫風如此新奇，似乎還能開啓無限可能應用，網友們紛紛召喚自己的印象筆記（中國版 Evernote）小助手收藏，大呼：以後教數學就是它了。

作者表示，這個專案已經是半開源狀態了，目前開源的部分可以辨識計算加減乘除簡單運算。

如果想要辨識更加複雜的運算式，可以參考數學公式辨識的論文自己進行擴展。

具體來看看這個解題神器。

深度學習辨識數學題，正確率逼近 80%

全能型選手 mathAI 是怎麼實現這個功能的？

作者在 Github 中介紹說，整個程式使用 python 實現，具體處理流程包括：圖像預處理 → 字元辨識 → 數學公式辨識 → 數學公式語義理解 → 結果輸出。

整個系統的處理流程如下：

圖片預處理主要以 OpenCV 作為主要工具，將圖片中的字元單獨切割出來，避免無關變數對字元辨識的影響。

隨後，國際數學公式辨識比賽資料集（CROHME）對通過卷積神經網路進行訓練。

此外，還進行結構分析，對字元的空間關係進行判定。比如一個字元的上標和下標，含義自然不一樣。

在語義分析階段，就需要匯集上面得到的資訊，判斷運算該如何進行了。節點屬性傳遞過程如下圖所示：

作者在用 160 道手寫測試題進行了測試：

結果表明，平均字元辨識率達到了 96.23%，且系統做題的平均正確率達到了 79.38%。

手把手教學怎麼用

來，實際上手操作下。

作者給出兩種使用模式：網頁模式和介面模式（Interface）。介面模式比較直觀，只需打開網頁上傳圖片即可自動給出解題結果。

下面以介面模式為例介紹一下 mathAI 的安裝使用方法。
首先需要安裝 flask、虛擬環境、科學資料庫 numpy、sympy 等，它們都可以用 pip 安裝。

pip install flask
pip install virtualenv

將項目的 lib.zip 檔解壓到系統目錄的 venv 資料夾下。（lib.zip 可以回覆 lib 獲取）

配置置好運行環境後，用 PyCharm 打開下載好的專案，在載入過程中，PyCharm 會自動安裝好專案依賴的軟體資料庫。

使用命令列進入專案所在目錄，並啓動虛擬環境：

. venv/bin/activate

將 FLASK_ENV 環境變數設置為啓用開發模式：

export FLASK_ENV=development

然後使用指令運行 flask 網站框架 :

export FLASK_APP=welcome.py
flask run

打開流覽器，在位址中輸入 127.0.0.1:5000，即可打開項目網頁。在網頁中輸入一張包含數學公式的圖片，就好返回運算結果。

目前 GitHub 專案頁上的程式碼只支持加減乘除這樣的簡單運算。

中國神人 Roger 的其他 GitHub 發明

做出這個自動求解系統的，還是一位元中國少年。

這位 GitHub ID 為 Roger，本名羅文傑，是中山大學資料科學與電腦學院的研一在讀碩士生，主要攻讀電腦視覺方向。

不僅這個解題神器，在 Roger 的 GitHub 主頁上還能看到其此前參與的很多有趣研究。

比如這個基於帖子的校園互助交友平臺 LiBond。用戶可以在裡面發佈任務，然後使用虛擬幣荔枝進行交易。

羅同學的設想是，有閒置時間的同學可以在此平臺上幫助他人，然後結交好朋友，荔枝幣還能用來兌換喜歡的物品。

再比如，一個基於 C++ 的無禁手五子棋 AI，可以通過 openGL 實現圖形介面。

在這個項目中，羅同學使用了最經典的極大極小博弈樹、alpha-beta 剪枝、置換表等演算法，還附上了核心程式碼。

確認過眼神，是學霸無疑了。

資料來源：https://buzzorange.com/techorange/2019/05/27/math-ai/…

## 影片觀看說明

由於問題較多，大家的問題也可能是你的問題，建議可以先閱讀下方的「問題總匯」區，找到時間碼 Time code 之後跳轉到自己想聽的部分，會比較有效率哦

本影片 Q&A 留言是抓取
【2020 年度回顧! 成為 Team leader? 業外收入增加? 技術能力成長? (第一次蒐集 Q&A)】https://youtu.be/BGaDN9wxbKE

## 影片中提到的專案

簡單用 React 撰寫的留言爬取篩選功能，可以自己抓去玩
https://github.com/niclin/youtube-comment-filter

## 問題總匯

00:00 開場
01:26 QA-1 - 林天寸

一直很喜歡妳的頻道，不單單是因為工程師，當然也有部分原因是自己也是走工程師這條路的。
前一年2020年開始，其實是我剛轉職工程師的第一年，在滿多地方都遇到不小的問題，在troubleshooting上面也是有許多瓶頸的。
後來除了白天上班，下班看書跟休息，偶然間看到你的影片[工程師如何自我進修]，才開始慢慢用計畫的方式取代橫衝猛幹。
不得不說，規劃時間真的是比起技術性的功力還更有成效。因為它讓你適時的放鬆跟加強，然後在工作上面才更有長進，雖然很幹話，但我2020的下半年是這樣做的。
目前在準備考取網路管理的證照CCNA，計畫是走network這一塊，還有很多要磨練的。希望也能多看你產出跟network的影片，這是私心話啦，哈哈。

02:57 QA-2 - 仔仔

1.學程式會建議從前端或是後端哪個開始學會比較好?
2.一開始投履歷如何判斷一家公司是可以成長的，而不是進去3，5年後還是那個跟剛進去程度相差不遠的自己差不多
3.跟程式相關的產業有很多(像是製造業到博弈)，可以請Nic分析一下各產業的狀況嗎?以及進去各產業前須要具備哪些程式語言或能力?
4.投履歷時看到一些公司列出所需程式語言和工具一大堆，是不是代表你沒完全具備就不要投履歷了，還是可以請Nic給個意見哪些部分還是可以投看看
5.都說工程師又宅又不會說話，為什麼Nic可以交到女朋友?

10:40 QA-3 - ANDREW NG KAR EARN

如果当写编程语言遇到瓶颈，有什么方法可以有效地避免自己陷入钻牛角尖的情况？

11:46 QA-4 - JS Lin

如果NIC現在選擇能馬上精通一項語言會是哪個？會想用來做什麼PJ？

13:13 QA-5 - Rick0

成為 team leader 後無法直接在技術上有更深入的研究和突破，這樣的變化是否值得?
是否會擔心這樣在技術上跟不上其他人，甚至被下屬看輕呢?

14:39 QA-6 - Henry蔡

因為最近是寒假期間，
我開始考慮下學期的修課，
想請教nic大大，
應該在有什麼樣的基礎上，
開始學design patterns？
我目前是碩士生，
大學非資工本科，
學過Python，
也跟過一些網路影片實作過Flask+PostgreSQL，
大學學過資料結構演算法，
但不到得心應手的程度...

16:07 QA-7 - 黃柏瑋

如何同時Handle好好幾件事
我怎麼覺得上班，然後下班假日寫寫side project後就沒啥時間了🤔🤔🤔

17:24 QA-8 - 乾太

我想問一下這年頭轉行斜槓 VTuber 還有沒有搞頭A？

18:10 QA-9 - uuu06222

之前開始關注你有知道你有面試過人的經驗, 想問一下站在面試官的角度...
面試官會不會比較注重作品需要呈現那些東西, 或是有沒有什麼禁忌是不能碰的嗎?

20:07 QA-10 - Joery Lin

想請教您對於對於給你很多成長和照顧的公司，倘若您有一個更好的機會，無論薪水或未知挑戰都大於現在公司。
您將如何做選擇，或許現在公司會給你加薪留下你。

因為自己曾放棄了許多機會

21:37 QA-11 - YangTing Zheng

Q1: 想問通常一個產品開發的週期都多長呢？負責維運和開發的工作內容是否會差很多？
Q2: 想請您簡單介紹一下資工系學生的出路/工作內容？(如PM.SA.DBA.PG.RD.MIS…或是還有其他的？）

24:16 QA-12 - RTB

Hello World

24:18 QA-13 - Barry

目前是公司MIS 很想轉職成後端工程師，但在面試上面都都時常失敗
常常在問技術關卡時就被問倒了，總覺得 要準備的東西非常的龐大
毫無準備的頭緒，總覺得一直寫side project也不是辦法

26:49 QA-14 - 因地制夷

想請教Nic 有在做投資嗎? ex 股票 想聽一些投資心得

27:13 QA-15 - 比歐

想請教 Nic 大，
在之後的工程師生涯中之後有甚麼規劃或想法嗎?
例如:開發產品創業，或是開班授課、轉做顧問之類的。

28:14 QA-16 - yongming jia

请问新手如何学编程，学完去做什么？怎么自己创业？谢谢🙏

29:33 QA-17 - Minghao Chang

是否能請您推薦用來開發的筆電？（正好最近要汰換電腦），想從今年開始養成寫side project的習慣，謝謝。

30:31 QA-18 - Guan Jun Chen

想知道像Nic這麼厲害的工程師，年薪大概落在哪裡

30:46 QA-19 - Sheng Jiang

想請問Nic，如果非資工背景但是對寫程式有熱情，想轉職當軟體工程師，會建議如何起步?

補充：像是什麼樣的人適合自學，什麼樣的人適合去補習，或者補習跟自學的情況各有哪些優劣?

謝謝Nic

## 結尾

31:49 感想

喜歡影片的話！可以幫忙點個喜歡以及分享、訂閱唷！😘

━━━━━━━━━━━━━━━━
🎬 觀看我的生活廢片頻道: https://bit.ly/2Ldfp1B
⭐ instagram (生活日常): https://www.instagram.com/niclin_tw/
⭐ Facebook (資訊分享): https://www.facebook.com/niclin.dev
⭐ Blog (技術筆記): https://blog.niclin.tw
⭐ Linkedin (個人履歷): https://www.linkedin.com/in/nic-lin
⭐ 蝦皮賣場: https://shopee.tw/bboyceo
⭐ Github: https://github.com/niclin
⭐ Podcast: https://anchor.fm/niclin
━━━━━━━━━━━━━━━━
✉️ 合作邀約信箱: niclin0226@gmail.com

#QA #工程師 #在地上滾的工程師 #前端 #後端 #轉職