本篇文章是 Netflix 的內部架構技術分享文，本篇文章要探討的是當 Netflix 內部大量採用 Google Drives(Sheets, DDocs, Slides...etc)進行檔案分享時所遇到的問題，以及 Netflix 是如何解決這些問題的。

問題: 對 Netflix 來說，由於下列兩個理由，導致目前 Google Drive 上大概有兩千萬的檔案
1. Netflix Studio 的合作夥伴大量使用 Google Service 來傳輸資料
2. 資料科學家需要將資料複製回本地的 Data 倉庫進行分析。

Netflix 內部為了方便存取這些資料，透過程式化的方式透過 Google API 來存取這些大量成長的資料，然而這樣的方式卻導致了兩個很麻煩的問題

1. 應用程式開發者與資料科學家必須要各自維護存取 Google 服務的帳號密碼，同時很多程式碼會大量的被重複開發。
2. 從可觀測性系統來說，到底有哪些檔案資料從 Google Drive 與 Data 倉庫移動是很不清楚的。

Netflix 為了解決這些問題，決定自行打造一個 Service Proxy 來處理所有流向 Google Services 的請求。透過這個中介層的服務，Google 服務認證的部分就可以有效率的於 Proxy 這層來處理掉，同時也能夠透過 Log 的方式來記錄到底哪些檔案目前正在移動，彌補了過往可觀性系統的缺失。

文中先介紹了關於 Google API 的架構，Netflix 內部原先大部分都透過 Python 或 Java 等程式語言來撰寫 Client 端的應用程式。為了讓整個 Proxy 能夠更有效的處理 Credential 的部分，Netflix 這邊還導入的內部工具(Metatron) 來管理這些資訊。
其他相關資訊還有
1. Proxy 基於 Java 開發
2. 使用 gRPC 來產生不同語言的 endpoints，統一由 Proxy 將請求轉為 HTTP 送往 Google 處理

此外，為了讓 Netflix 內部的所有人都可以很輕鬆的於 Google Drive 與 Data 倉庫間來更動資料， Netflix 為此打造一個可排程的 Job 來默默執行。文章後半段主要在介紹這個 Job 的架構與用法

對於全文有興趣的都歡迎閱讀~
https://netflixtechblog.medium.com/data-movement-for-google-services-at-netflix-9a77ca69f7c4

㊗️👏 給營養師用的食物資料庫 0.2 版上線了～
　
嗯？怎麼一出現就是 0.2 版？ 0.1 去哪了？
　
其實呀，這幾天我有先讓幾位朋友使用 0.1 版，根據大家的回饋，做了三個主要的變動：
　
1. 專案名稱：Meal Checker!
有天程式寫著寫著，突然發現...
這個企劃沒有專案名稱呀～
於是隨意起了這個名字啦。
（PS：自己念的時候，有點咬舌頭 Orz）
　
　
2. 增加俗名欄位
雖然衛福部的線上查詢版有「俗名」可以查，但如果你有抓下官方提供的 excel，應該會發現沒有俗名跟英文名的欄位。
　
為了解決這個問題呢...
我花點時間惡補 python 爬蟲的方法，
從官網把這些資料給爬回來，
並整合到我的資料庫裡
　
　
3. 查詢結果的訊息通知
原本輸入完關鍵字，按下 Enter 後，
沒查到的話，食物表會消失，接著沒有任何提示，朋友說以為壞掉了；因此在標題下面新增「資訊欄」，會反應查詢的關鍵字與查到的筆數。
　
新增這兩個內容後，就更版啦～
接下來...
1. 會先寫發炎飲食的文章（之前答應要寫的）
2. 研究開發使用食物資料庫開菜單的功能（這個複雜多，得要花多點時間）
　
　
然後！
⚡️ 目前架設的主機是免費等級的，所以人多的話可能會變得有點慢，或是直接就一片白...，還請多擔待呀。
　
　
【簡單使用說明】
1. 連結點進去後，會看到附圖的畫面，直接按「登入食物資料庫」
　
2. 進入登入畫面
帳號密碼都填好了，直接按「sign in」就可
　
3. 進入系統
　
a. 查食物：
上方搜尋欄輸入關鍵字，直接按「Enter」即可，會用關鍵字去撈「食物名稱」和「俗名」
　
b. 食物詳細營養成分：
　
點「詳細」後，畫面會倒到該食物的詳細營養資料表；在這裡我用自己使用習慣做了分類，並另外計算了 n-3/PUFA 的比例。
　
c. 許願表單：左側有一個「新功能許願樹」，我做了一個 typeform，如果你有什麼相法的話可以留在那邊。未來，如果我能力所及，就會....
　
　
點連結去用用：
https://phsidney.pythonanywhere.com/

自強_EXCEL VBA與Python程式入門04(Python網頁資料擷取與處理Excel試算表&List(串列)計算成績&程式除錯與用字典輸入成績&開啟檔案與編碼方式&讀取外部檔案變為List&將檔案寫入為文字檔&List再轉為檔案輸出&安裝外部套件&EXCEL檔轉為CSV&帳號密碼管理系統(檔案版)&SQLite資料庫新增資料庫資料表)

上課內容：
01_課程回顧與Python網頁資料擷取與處理Excel試算表
02_List(串列)計算成績範例說明
03_程式除錯與用字典輸入成績範例
04_開啟檔案與編碼方式
05_將MonthCAI改為讀檔方式
06_讀取外部檔案變為List過程說明
07_將檔案寫入為文字檔
08_修改List範例寫出檔案與讀入成績
09_將List再轉為檔案輸出(以Month為例)
10_後面課程預告與安裝外部套件
11_將EXCEL檔轉為CSV與讀取CSV檔
12_帳號密碼管理系統(檔案版)說明
13_SQLite資料庫新增資料庫資料表與多筆紀錄

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/?hl=zh-TW#!forum/tcfst_python_2017

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰?出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 106/9/15

EXCEL,VBA,Python,新北市勞工大學,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

自強_EXCEL VBA與Python程式入門04(Python網頁資料擷取與處理Excel試算表&List(串列)計算成績&程式除錯與用字典輸入成績&開啟檔案與編碼方式&讀取外部檔案變為List&將檔案寫入為文字檔&List再轉為檔案輸出&安裝外部套件&EXCEL檔轉為CSV&帳號密碼管理系統(檔案版)&SQLite資料庫新增資料庫資料表)

上課內容：
01_課程回顧與Python網頁資料擷取與處理Excel試算表
02_List(串列)計算成績範例說明
03_程式除錯與用字典輸入成績範例
04_開啟檔案與編碼方式
05_將MonthCAI改為讀檔方式
06_讀取外部檔案變為List過程說明
07_將檔案寫入為文字檔
08_修改List範例寫出檔案與讀入成績
09_將List再轉為檔案輸出(以Month為例)
10_後面課程預告與安裝外部套件
11_將EXCEL檔轉為CSV與讀取CSV檔
12_帳號密碼管理系統(檔案版)說明
13_SQLite資料庫新增資料庫資料表與多筆紀錄

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/?hl=zh-TW#!forum/tcfst_python_2017

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰?出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 106/9/15

EXCEL,VBA,Python,新北市勞工大學,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

自強_EXCEL VBA與Python程式入門04(Python網頁資料擷取與處理Excel試算表&List(串列)計算成績&程式除錯與用字典輸入成績&開啟檔案與編碼方式&讀取外部檔案變為List&將檔案寫入為文字檔&List再轉為檔案輸出&安裝外部套件&EXCEL檔轉為CSV&帳號密碼管理系統(檔案版)&SQLite資料庫新增資料庫資料表)

上課內容：
01_課程回顧與Python網頁資料擷取與處理Excel試算表
02_List(串列)計算成績範例說明
03_程式除錯與用字典輸入成績範例
04_開啟檔案與編碼方式
05_將MonthCAI改為讀檔方式
06_讀取外部檔案變為List過程說明
07_將檔案寫入為文字檔
08_修改List範例寫出檔案與讀入成績
09_將List再轉為檔案輸出(以Month為例)
10_後面課程預告與安裝外部套件
11_將EXCEL檔轉為CSV與讀取CSV檔
12_帳號密碼管理系統(檔案版)說明
13_SQLite資料庫新增資料庫資料表與多筆紀錄

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/?hl=zh-TW#!forum/tcfst_python_2017

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰?出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 106/9/15

EXCEL,VBA,Python,新北市勞工大學,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境