課程特價中

什麼是網頁爬蟲？

假設你的老闆給了你一個任務，他希望你從一個網站上提取大約 1000 個產品，將資料結構化並儲存到資料庫中，你會手動複製貼上所有的產品細節，包括產品名稱、網址和價格？我可以想像你會工作幾天幾夜，但你不會完成這個任務，所以這就是網頁爬蟲的優勢。因此，網頁爬蟲，或網頁採集或網頁資料提取就像寫一個指令碼，可以在幾分鐘內自動從網站上提取資料！。

為什麼是 LXML 而不是 BeautifulSoup？

LXML 是一個輕量級的 HTML 解析器，即使是最流行的網頁抓取框架（Scrapy）也是建立在LXML之上的，BeautifulSoup 在開放給我們的功能數量上有點過剩，它有更多的功能可以使用，是的，沒錯 然而，在Web Scraping中，大多數時候我們使用 XPath 和 CSS 選擇器來瀏覽和選擇要從HTML網頁（樹）中爬取的內容，所以沒有必要學習新的功能，也沒有必要浪費那麼多時間來熟悉 BeautifulSoup 的 API 和內部架構，此外，LXML在效能方面也比BeautifulSoup好得多。

https://softnshare.com/web-scraping-with-python-using-requests-lxml-splash/

課程特價中

什麼是網頁爬蟲？

假設你的老闆給了你一個任務，他希望你從一個網站上提取大約 1000 個產品，將資料結構化並儲存到資料庫中，你會手動複製貼上所有的產品細節，包括產品名稱、網址和價格？我可以想像你會工作幾天幾夜，但你不會完成這個任務，所以這就是網頁爬蟲的優勢。因此，網頁爬蟲，或網頁採集或網頁資料提取就像寫一個指令碼，可以在幾分鐘內自動從網站上提取資料！。

為什麼是 LXML 而不是 BeautifulSoup？

LXML 是一個輕量級的 HTML 解析器，即使是最流行的網頁抓取框架（Scrapy）也是建立在LXML之上的，BeautifulSoup 在開放給我們的功能數量上有點過剩，它有更多的功能可以使用，是的，沒錯 然而，在Web Scraping中，大多數時候我們使用 XPath 和 CSS 選擇器來瀏覽和選擇要從HTML網頁（樹）中爬取的內容，所以沒有必要學習新的功能，也沒有必要浪費那麼多時間來熟悉 BeautifulSoup 的 API 和內部架構，此外，LXML在效能方面也比BeautifulSoup好得多。

https://softnshare.com/web-scraping-with-python-using-requests-lxml-splash/

htmlq 功能類似 jq，是用來處理 html 內容，可使用 CSS 選擇器從 HTML 檔案中提取一些內容。所以可以使用這個命令列工具搭配 shell script 來做一個簡單的網頁爬蟲

https://softnshare.com/htmlq/

現在學習知識的渠道越來越多，無論對於零基礎或是有經驗的工程師，想要持續成長應該看書還是看影片來的更有效率呢？

主要會和你分享我過去從新手到資深的過程中，如何持續保持進步及學習的經驗

也許這個經驗可以幫助到你，也歡迎留言和我分享你的看法

相信彼此分享不同的學習見解，能讓對於想要更精進自己程式開發功力的人有很大的幫助

===章節===
00:00 哪一個有效律?
00:36 寫程式如同寫作
05:14 書是最便宜的資源
10:14 折扣碼操作示範

===蝦皮購書折扣碼===
折扣碼：FLAGNIC36
時間：2021-03-29 ~ 2021-06-29

折扣碼：FLAGNIC79
時間：2021-06-30 ~ 2021-09-30

折扣碼： FLAGNIC11
時間：2021-10-01~ 2021-12-31

===前陣子在看的推薦書單===
（零基礎）
- 白話演算法！培養程式設計的邏輯思考
- Python 刷提鍛鍊班

（中高階）
- 設計模式之禪(第2版)
- 無瑕的程式碼－整潔的軟體設計與架構篇
- 單元測試的藝術
- 演算法之美：隱藏在資料結構背後的原理(C++版)
- Kent Beck的實作模式

（Ruby）
- Writing Efficient Ruby Code

（成長思考）
- 圖解．實戰 麥肯錫式的思考框架：讓大腦置入邏輯，就能讓90%的困難都有解！
- 師父：那些我在課堂外學會的本事
- 高勝算決策：如何在面對決定時，降低失誤，每次出手成功率都比對手高?
- 窮查理的普通常識
- 懶人圖解簡報術：把複雜知識變成一看就秒懂的圖解懶人包
- 寫作，是最好的自我投資

喜歡影片的話！可以幫忙點個喜歡以及分享、訂閱唷！😘

━━━━━━━━━━━━━━━━
🎬 觀看我的生活廢片頻道: https://bit.ly/2Ldfp1B
⭐ instagram (生活日常): https://www.instagram.com/niclin_tw/
⭐ Facebook (資訊分享): https://www.facebook.com/niclin.dev
⭐ Blog (技術筆記): https://blog.niclin.tw
⭐ Linkedin (個人履歷): https://www.linkedin.com/in/nic-lin
⭐ 蝦皮賣場: https://shopee.tw/bboyceo
⭐ Github: https://github.com/niclin
⭐ Podcast: https://anchor.fm/niclin
━━━━━━━━━━━━━━━━
✉️ 合作邀約信箱: niclin0226@gmail.com

#寫程式 #前端 #後端

## 影片觀看說明

由於問題較多，大家的問題也可能是你的問題，建議可以先閱讀下方的「問題總匯」區，找到時間碼 Time code 之後跳轉到自己想聽的部分，會比較有效率哦

本影片 Q&A 留言是抓取
【2020 年度回顧! 成為 Team leader? 業外收入增加? 技術能力成長? (第一次蒐集 Q&A)】https://youtu.be/BGaDN9wxbKE

## 影片中提到的專案

簡單用 React 撰寫的留言爬取篩選功能，可以自己抓去玩
https://github.com/niclin/youtube-comment-filter

## 問題總匯

00:00 開場
01:26 QA-1 - 林天寸

一直很喜歡妳的頻道，不單單是因為工程師，當然也有部分原因是自己也是走工程師這條路的。
前一年2020年開始，其實是我剛轉職工程師的第一年，在滿多地方都遇到不小的問題，在troubleshooting上面也是有許多瓶頸的。
後來除了白天上班，下班看書跟休息，偶然間看到你的影片[工程師如何自我進修]，才開始慢慢用計畫的方式取代橫衝猛幹。
不得不說，規劃時間真的是比起技術性的功力還更有成效。因為它讓你適時的放鬆跟加強，然後在工作上面才更有長進，雖然很幹話，但我2020的下半年是這樣做的。
目前在準備考取網路管理的證照CCNA，計畫是走network這一塊，還有很多要磨練的。希望也能多看你產出跟network的影片，這是私心話啦，哈哈。

02:57 QA-2 - 仔仔

1.學程式會建議從前端或是後端哪個開始學會比較好?
2.一開始投履歷如何判斷一家公司是可以成長的，而不是進去3，5年後還是那個跟剛進去程度相差不遠的自己差不多
3.跟程式相關的產業有很多(像是製造業到博弈)，可以請Nic分析一下各產業的狀況嗎?以及進去各產業前須要具備哪些程式語言或能力?
4.投履歷時看到一些公司列出所需程式語言和工具一大堆，是不是代表你沒完全具備就不要投履歷了，還是可以請Nic給個意見哪些部分還是可以投看看
5.都說工程師又宅又不會說話，為什麼Nic可以交到女朋友?

10:40 QA-3 - ANDREW NG KAR EARN

如果当写编程语言遇到瓶颈，有什么方法可以有效地避免自己陷入钻牛角尖的情况？

11:46 QA-4 - JS Lin

如果NIC現在選擇能馬上精通一項語言會是哪個？會想用來做什麼PJ？

13:13 QA-5 - Rick0

成為 team leader 後無法直接在技術上有更深入的研究和突破，這樣的變化是否值得?
是否會擔心這樣在技術上跟不上其他人，甚至被下屬看輕呢?

14:39 QA-6 - Henry蔡

因為最近是寒假期間，
我開始考慮下學期的修課，
想請教nic大大，
應該在有什麼樣的基礎上，
開始學design patterns？
我目前是碩士生，
大學非資工本科，
學過Python，
也跟過一些網路影片實作過Flask+PostgreSQL，
大學學過資料結構演算法，
但不到得心應手的程度...

16:07 QA-7 - 黃柏瑋

如何同時Handle好好幾件事
我怎麼覺得上班，然後下班假日寫寫side project後就沒啥時間了🤔🤔🤔

17:24 QA-8 - 乾太

我想問一下這年頭轉行斜槓 VTuber 還有沒有搞頭A？

18:10 QA-9 - uuu06222

之前開始關注你有知道你有面試過人的經驗, 想問一下站在面試官的角度...
面試官會不會比較注重作品需要呈現那些東西, 或是有沒有什麼禁忌是不能碰的嗎?

20:07 QA-10 - Joery Lin

想請教您對於對於給你很多成長和照顧的公司，倘若您有一個更好的機會，無論薪水或未知挑戰都大於現在公司。
您將如何做選擇，或許現在公司會給你加薪留下你。

因為自己曾放棄了許多機會

21:37 QA-11 - YangTing Zheng

Q1: 想問通常一個產品開發的週期都多長呢？負責維運和開發的工作內容是否會差很多？
Q2: 想請您簡單介紹一下資工系學生的出路/工作內容？(如PM.SA.DBA.PG.RD.MIS…或是還有其他的？）

24:16 QA-12 - RTB

Hello World

24:18 QA-13 - Barry

目前是公司MIS 很想轉職成後端工程師，但在面試上面都都時常失敗
常常在問技術關卡時就被問倒了，總覺得 要準備的東西非常的龐大
毫無準備的頭緒，總覺得一直寫side project也不是辦法

26:49 QA-14 - 因地制夷

想請教Nic 有在做投資嗎? ex 股票 想聽一些投資心得

27:13 QA-15 - 比歐

想請教 Nic 大，
在之後的工程師生涯中之後有甚麼規劃或想法嗎?
例如:開發產品創業，或是開班授課、轉做顧問之類的。

28:14 QA-16 - yongming jia

请问新手如何学编程，学完去做什么？怎么自己创业？谢谢🙏

29:33 QA-17 - Minghao Chang

是否能請您推薦用來開發的筆電？（正好最近要汰換電腦），想從今年開始養成寫side project的習慣，謝謝。

30:31 QA-18 - Guan Jun Chen

想知道像Nic這麼厲害的工程師，年薪大概落在哪裡

30:46 QA-19 - Sheng Jiang

想請問Nic，如果非資工背景但是對寫程式有熱情，想轉職當軟體工程師，會建議如何起步?

補充：像是什麼樣的人適合自學，什麼樣的人適合去補習，或者補習跟自學的情況各有哪些優劣?

謝謝Nic

## 結尾

31:49 感想

喜歡影片的話！可以幫忙點個喜歡以及分享、訂閱唷！😘

━━━━━━━━━━━━━━━━
🎬 觀看我的生活廢片頻道: https://bit.ly/2Ldfp1B
⭐ instagram (生活日常): https://www.instagram.com/niclin_tw/
⭐ Facebook (資訊分享): https://www.facebook.com/niclin.dev
⭐ Blog (技術筆記): https://blog.niclin.tw
⭐ Linkedin (個人履歷): https://www.linkedin.com/in/nic-lin
⭐ 蝦皮賣場: https://shopee.tw/bboyceo
⭐ Github: https://github.com/niclin
⭐ Podcast: https://anchor.fm/niclin
━━━━━━━━━━━━━━━━
✉️ 合作邀約信箱: niclin0226@gmail.com

#QA #工程師 #在地上滾的工程師 #前端 #後端 #轉職

從EXCEL VBA到Python開發第8次上課(抓取開放資料CSV檔&將SQL改寫為查詢蔬菜名稱關鍵字&HTML與CSS基礎與擷取JSON格式&json轉存為CSV檔&xml與用ElementTree解析)

01_重點回顧與HTML網頁概說
02_BeautifulSoup安裝與爬蟲基礎
03_用id與class抓取網頁資料
04_範例三練習抓取網頁資料
05_爬取TQCPLUS官網的證照名稱
06_TQCPLUS資料存CSV與爬取YAHOO新聞
07_分兩次爬取ETTODAY新聞
08_下載台銀外匯與存為CSV檔
09_爬蟲其他與ending

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/scu_python111


課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 109/8/31

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境