課程特價中

什麼是網頁爬蟲？

假設你的老闆給了你一個任務，他希望你從一個網站上提取大約 1000 個產品，將資料結構化並儲存到資料庫中，你會手動複製貼上所有的產品細節，包括產品名稱、網址和價格？我可以想像你會工作幾天幾夜，但你不會完成這個任務，所以這就是網頁爬蟲的優勢。因此，網頁爬蟲，或網頁採集或網頁資料提取就像寫一個指令碼，可以在幾分鐘內自動從網站上提取資料！。

為什麼是 LXML 而不是 BeautifulSoup？

LXML 是一個輕量級的 HTML 解析器，即使是最流行的網頁抓取框架（Scrapy）也是建立在LXML之上的，BeautifulSoup 在開放給我們的功能數量上有點過剩，它有更多的功能可以使用，是的，沒錯 然而，在Web Scraping中，大多數時候我們使用 XPath 和 CSS 選擇器來瀏覽和選擇要從HTML網頁（樹）中爬取的內容，所以沒有必要學習新的功能，也沒有必要浪費那麼多時間來熟悉 BeautifulSoup 的 API 和內部架構，此外，LXML在效能方面也比BeautifulSoup好得多。

https://softnshare.com/web-scraping-with-python-using-requests-lxml-splash/

課程特價中

什麼是網頁爬蟲？

假設你的老闆給了你一個任務，他希望你從一個網站上提取大約 1000 個產品，將資料結構化並儲存到資料庫中，你會手動複製貼上所有的產品細節，包括產品名稱、網址和價格？我可以想像你會工作幾天幾夜，但你不會完成這個任務，所以這就是網頁爬蟲的優勢。因此，網頁爬蟲，或網頁採集或網頁資料提取就像寫一個指令碼，可以在幾分鐘內自動從網站上提取資料！。

為什麼是 LXML 而不是 BeautifulSoup？

LXML 是一個輕量級的 HTML 解析器，即使是最流行的網頁抓取框架（Scrapy）也是建立在LXML之上的，BeautifulSoup 在開放給我們的功能數量上有點過剩，它有更多的功能可以使用，是的，沒錯 然而，在Web Scraping中，大多數時候我們使用 XPath 和 CSS 選擇器來瀏覽和選擇要從HTML網頁（樹）中爬取的內容，所以沒有必要學習新的功能，也沒有必要浪費那麼多時間來熟悉 BeautifulSoup 的 API 和內部架構，此外，LXML在效能方面也比BeautifulSoup好得多。

https://softnshare.com/web-scraping-with-python-using-requests-lxml-splash/

NT370 特價中

課程已於 2021 年 7 月更新

從這 3 小時的課程，你會學到

瞭解網頁爬蟲最重要的組成部分
建立自己的網頁爬蟲專案
學習兩個最強大的scraping庫的核心元件。Scrapy和BeautifulSoup

https://softnshare.com/modern-web-scraping-in-python/

VBA到Python程式開發202002第9次上課(安裝BeautifulSoup與find方法&id與class 抓取資料&抓取屬性資料(超連結與圖檔)&爬取TQCPLUS官網&YAHOO新聞&ETTODAY新聞&台銀外匯&加上headers爬蟲與反爬蟲)

01_重點複習與安裝BeautifulSoup與find方法
02_範例二用id與class 抓取資料
03_範例三抓取屬性資料(超連結與圖檔)
04_爬取TQCPLUS官網的證照名稱
05_結果存為CSV與下載YAHOO新聞
06_下載YAHOO與ETTODAY新聞
07_下載台銀外匯與輸出CSV檔
08_加上headers爬蟲與反爬蟲

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2020_4

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 109/9/23

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

VBA到Python程式開發202002第9次上課(安裝BeautifulSoup與find方法&id與class 抓取資料&抓取屬性資料(超連結與圖檔)&爬取TQCPLUS官網&YAHOO新聞&ETTODAY新聞&台銀外匯&加上headers爬蟲與反爬蟲)

01_重點複習與安裝BeautifulSoup與find方法
02_範例二用id與class 抓取資料
03_範例三抓取屬性資料(超連結與圖檔)
04_爬取TQCPLUS官網的證照名稱
05_結果存為CSV與下載YAHOO新聞
06_下載YAHOO與ETTODAY新聞
07_下載台銀外匯與輸出CSV檔
08_加上headers爬蟲與反爬蟲

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2020_4

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 109/9/23

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

VBA到Python程式開發202002第9次上課(安裝BeautifulSoup與find方法&id與class 抓取資料&抓取屬性資料(超連結與圖檔)&爬取TQCPLUS官網&YAHOO新聞&ETTODAY新聞&台銀外匯&加上headers爬蟲與反爬蟲)

01_重點複習與安裝BeautifulSoup與find方法
02_範例二用id與class 抓取資料
03_範例三抓取屬性資料(超連結與圖檔)
04_爬取TQCPLUS官網的證照名稱
05_結果存為CSV與下載YAHOO新聞
06_下載YAHOO與ETTODAY新聞
07_下載台銀外匯與輸出CSV檔
08_加上headers爬蟲與反爬蟲

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2020_4

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 109/9/23

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境