What Are Snowflake IDs?

Credit by: Wei-Yu Chen (感謝分享)

本文介紹了 Universal Unique Identifiers（UUIDs）的用途及其重要性，UUID 以固定且標準的方式為每個物件產生出獨立的 ID，且 產生出來的 ID 幾乎不可能會重複導致發生碰撞。

通常 UUID 由幾個部分組合而成，像是以時間、執行節點的 MAC address，或以 MD5 hash 來生成。UUID 以 128 bits 的數字組成，為了更方便識別及操作，通常都會以十六進制來表示，總長度為 36 個字（加上連字符號 -）。也因用來產生 UUID 的亂數種子包含了時間、節點資訊等參數，所以 UUID 也具有獨特性，在分散式系統執行也不容易發生碰撞。

而為了避免在你的 apps 裡實作 UUID 的產生機制，常見會使用兩種作法，分別是：Persistence Layer Generated ID 和 ID Servers。一種使用 Database 自動產生出來的序號來作為識別物件的 ID（如 MongoDB 的 ObjectID、MySQL 的 AUTO_INCREMENT ... 等），另一種是使用獨立的 ID server 來產生物件的 ID。

以 Database 來作為序號產生器會碰到一個問題，當你在每次建立新物件時，都會需要向資料庫讀取這個物件的「自動產生 ID」，假設應用程式的規模一大，效能勢必會大受影響。

而使用 ID server（也就是本文主要介紹的 Snowflake IDs）去產生 UUID 的話，就可利用架構於 app 以外的第三方序號產生器。以 Twitter 來說，平均每秒鐘有九千個推文，在高峰期間更甚至會出現一秒 143199 則推文的流量，他們所需要的 UUID 不僅要能夠支援龐大的架構，也需要在以非常快的速度產生出 ID，這也是 Snowflake 專案的由來。

因此，Twitter 以這幾個參數來組成 UUID：
- 保留不使用的位元，固定為 0 - 共 1 位
- Timestamp（以毫秒為單位） - 共 41 位
- 機器 ID - 共 10 位
- 序列號 - 從 0 ~ 4095 依序重複使用 - 共 12 位

雖然說以 ID servers 來產生 UUID 之後，效能還是會被這種架構拖累（必須在建立物件就去向 ID server 發送請求，並等待產生出來的 ID），但這種作法和資料庫系統相比起來已經讓效能降低的問題變得更輕微。

在本文當中介紹了三種常見的 ID 產生方式：在 local app 端產生 ID、在資料庫產生 ID、集中式的 ID server 產生 ID，這些策略的選擇也根據你的使用情境而定，畢竟沒有一種一套打天下的解決方案，在選擇時仍須衡量每個專案的需求。

https://betterprogramming.pub/uuid-generation-snowflake-identifiers-unique-2aed8b1771bc

打造智慧數據湖，Google Cloud 今天推出三項新服務讓資料在雲更聰明

2021/05/27 INSIDE 硬塞的網路趨勢觀察

Google Cloud 在今天舉辦的 Google Data Cloud Summit 上，發布三項全新解決方案：Dataplex、Datastream 和 Analytics Hub Beta 版，將涵蓋旗下的資料庫和資料分析產品組合，為企業提供一個整合式資料平台，協助企業打破資料孤島。

評論

Google Cloud 在今天舉辦的 Google Data Cloud Summit 上，發布三項全新解決方案：Dataplex、Datastream 和 Analytics Hub Beta 版，將涵蓋旗下的資料庫和資料分析產品組合，為企業提供一個整合式資料平台，協助企業打破資料孤島，安全地預測業務成果並賦予使用者能力，在現今不斷變化的數位環境中即時制定明智的決策。

「Gartner 近期的問卷調查結果顯示，企業預估每年在品質不甚理想的資料上平均花費 $1,280 萬美元。」 因為資料散布在多個雲端和地端部署環境中的資料庫、資料湖泊、資料倉儲和資料市集內，企業除了要設法集中控管及管理應用程式，更需要即時整合資料來改善決策，加快創新腳步及提升客戶體驗。

Google Cloud 資料庫、資料分析及 Looker 商業智慧平台總經理暨副總裁 Gerrit Kazmaier 說明，企業須把資料視為具備將所有相關業務面向整合為一的能力。如今所有產業紛紛轉換為以數位化為主的業務型態，因為他們明白資料不但是創造價值的要素，同時也是推動數位轉型的關鍵。

透過運用 Google Cloud 的資料平台，客戶現在將能採用全方位且涵蓋完整資料生命週期的資料雲端方案，從業務執行系統到可進行未來預測和自動化作業的 AI 與機器學習工具等均包含在內。

Datastream-為客戶提供即時資料複製功能：目前提供 Beta 版體驗的 Datastream 提供全新的無伺服器異動資料擷取 (CDC) 和複製服務，讓客戶可以從 Oracle 和 MySQL 資料庫將資料串流即時擷取至 Google Cloud 服務，例如 BigQuery、可於 PostgreSQL 上執行的 Cloud SQL、Google Cloud Storage 和 Cloud Spanner。

企業可運用這項解決方案強化即時性數據分析功能、資料庫的複製速度以及事件驅動架構等。率先採用此方案的客戶 Schnuck Markets, Inc.運用 Datastream 簡化了架構，而將 Oracle 資料複製到 BigQuery 和 Cloud SQL 也不再會延遲數小時之久。

Analytics Hub-提高資料共用安全與易用性：Analytics Hub 可為企業創造安全且即時的資料交換服務，借助 Analytics Hub，企業可以在不論組織的內外部，安全地共享數據和洞察，包括動態儀表板和機器學習模型。

Analytics Hub 協助企業整合其數據資產，如將 Google 獨有數據、產業數據和公開數據整合一起。Analytics Hub 建立於 BigQuery 現行且普及的共享功能基礎上，目前已經使數千家企業透過數據分析進行革新，並透過不僅是單純共享數據的方法，來加快洞察的取得。

Dataplex-協助企業簡化資料管理作業：目前提供 Beta 版體驗的 Dataplex 是一種智慧資料網路架構，可提供單一整合式的分析體驗，能將 Google Cloud 和開放原始碼結合在一起，使企業能夠快速整理、保護、整合及分析其數據。

自動化的資料品質可讓數據資料學家和分析師利用自選工具確保資料的一致性，不須移動或複製資料即可統整並管理資料。Google 提供傑出的 AI 和機器學習功能，讓企業能夠利用內建的智慧資料來縮短處理繁複基礎架構的時間，並將更多心力轉而投入於發掘資料價值，以帶來更多業務成果。身為 Dataplex 早期客戶，Equifax 與 Google 合作致力將 Dataplex 納入自己的核心分析平台，不但簡化了工作負載，還建立了所有內部分析資料都適用的單一指令控管及管理平台。

在資料雲端高峰會舉辦期間，Google Cloud 也發表了資料庫和數據分析產品組合方面的其他最新消息：

基於對多雲端的策略性承諾，Google 陸續推出分別適用於 Microsoft Azure 的 BigQuery Omni Beta 版和 Looker 商業智慧平台正式版，藉此協助客戶取得跨雲端環境的關鍵資料深入分析結果。繼去年發表適用於 AWS 的 BigQuery Omni 後，這次發表的最新消息更延續了市場對此技術的展望。

BigQuery ML 異常偵測 可協助客戶透過使用 BigQuery 的內建機器學習功能，以更輕鬆的方式檢測異常資料模式。目前許多客戶將這項技術運用於多種用途，包括銀行詐欺偵測和生產製造不良原因分析。

Dataflow 為客戶提供了具備成本效益的快速串流分析解決方案。而預計於第三季推出的 Dataflow Prime 將提供業界領先的自動垂直擴充和數據管道正確配置技術，為客戶最大幅度地降低整體擁有成本。此外，Dataflow Prime 更內建了 AI 和機器學習技術，可以為客戶提供串流預測功能，例如時間序列分析、可主動識別瓶頸的智慧診斷功能，以及可提高使用率的自動微調功能。

Google 也將全代管關聯資料庫 Cloud Spanner 的入門價格降低 90%，連同即將推出的精細個體規模調整功能 (granular instance sizing) ，將同樣提供無限制的空間規模與99.999％的可用性，用以支援要求最苛刻的應用程式運作。BigQuery 與 Spanner 的整合功能也即將推出，可讓使用者透過 BigQuery 查詢 Spanner 中的交易資料，以便提供更豐富且即時的深入分析結果。而 Spanner 新增的 Key Visualizer 功能(目前為 Beta 版本)，可提供互動式監控功能，方便開發人員迅速識別使用模式。此外，Cloud Bigtable 更具備可達 99.999%(5 9s) SLA 的讀取和寫入可用性。

資料來源：https://www.inside.com.tw/article/23648-google-data-cloud-summit

--課程已於2020 年 5 月更新--

想要進入資料科學與資料分析領域，很難不會接觸到資料庫與 SQL 這個查詢語言，但你真的了解SQL 資料庫嗎? 看過一篇文章 – SQL is the perfect interface 裡面提到了

✅進行大量的選擇和更新，請選擇一個 OLTP 資料庫，例如 MySQL 或PostgreSQL
✅如果要分析大型數據集，請使用 OLAP 資料庫，例如 Vertica 或 Redshift

什麼是 OLTP / OLAP 資料庫？有什麼特性，這堂課不僅僅會教你 SQL 語法 ，還會解說不同資料庫( OLTP/OLAP ) 設計與用途的不同，資料庫正常化，Schema 等主題，想要打好資料分析的基礎，理解資料庫是必須的

https://softnshare.com/sqldatabases/