国产精品久久精品牛牛影视-国产精品久久精品视-国产精品久久九九-国产精品久久久-国产精品久久久99

Cloudera 地球上最大的數據湖由客戶運行。這些湖泊是大規模數據分析的關鍵任務 (BI) 與機器學習用例，包括企業數據倉庫，提供動力。近年來，數據湖倉據湖倉庫一詞來描述這種對數據湖中數據進行表分析的架構模式。在匆忙進入這個術語的過程中，許多制造商忽略了數據架構的開放性是其持久性和持久性的保證。

芯片采購網專注于整合國內外授權IC代理商現貨資源，芯片庫存實時查詢，行業價格合理，采購方便IC芯片，國內專業芯片采購平臺。

數據倉庫和數據湖

數據湖和數據倉庫將各種類型的海量數據統一到一個中心位置。但有一個完全不同的架構世界觀。數字倉庫是為了SQL 對垂直集成進行分析，優先考慮數據湖 SQL 其他分析方法的靈活性。

為了既有魚又有熊掌-數據湖分析的靈活性，又有簡單快捷的數倉 SQL，企業經常部署數據湖補充數據倉庫，提取、轉換和加載數據 (ETL) 或 ELT 管道的最后一步是讓數據湖為數字倉庫系統提供數據。在這樣做的過程中，他們接受了倉庫中數據的鎖定。

但是有一個更好的方法：使用它 Hive 元存儲是過去十年數據平臺上一個意想不到的好產品。隨著用例的成熟，我們可以看到高效的互動 BI 對數據的需求進行分析和事務語義修改。

數據湖倉的迭代

第一代 Hive元存儲試圖在數據湖上有效運行 SQL 性能考慮。它提供了描述數據湖結構的數據庫、模式和表的概念 BI 該工具可以有效地充分利用數據。它添加了描述Espressif代理支持基于成本的優化器、動態分區切割和數據邏輯和物理布局的元數據 SQL 一些關鍵性能分析改進。

第二代 Hive元存儲增加了正確的使用 Hive ACID 支持事務更新。雖然數據湖倉庫還沒有正式命名，但它已經開始活躍起來。事務啟用了持續攝入、插入/更新/刪除（或合并）的用例，從而打開了從其他數字倉庫系統到數據湖的查詢、功能和遷移。這對我們的許多客戶都很有價值。

Delta Lake該項目采用不同的方法來解決這個問題。Delta Lake為數據湖中的數據增加了事務支持。數據管理可以進行，這給數據湖帶來了運行數倉分析的可能性。

漸漸地，在某個時刻，數據湖倉庫這個詞架構模式而產生。我們相信湖倉庫是簡單定義這種模式的好方法，并很快在客戶和行業達成共識。

開放數據湖倉滿足互操作需求

近年來，隨著新數據類型的誕生和新數據處理引擎的出現，為了簡化分析，企業所期望的兩全其美確實需要分析引擎的靈活性。如果需要管理大量有價值的數據，企業必須能夠開放地選擇不同的分析引擎，甚至供應商。

湖倉模式在實施過程中存在嚴重矛盾：雖然數據湖是開放的，但湖倉不是。

在能夠添加 Impala、Spark 等發動機，Hive始終遵循元存儲 Hive先進化。Delta lake是Spark主要演變；如果客戶想自由選擇不同的引擎而不僅僅是表格式，他們的選擇是非常有限的。

客戶從一開始就要求更多。格式更多，引擎更多，互操作性更強。Hive 多個引擎和多個存儲選項使用元存儲。 Hive 和 Spark，還有 Presto、Impala 等等。Hive元存儲是支持這些用例的有機進化，因此集成通常非常復雜，容易出錯。

為滿足相互操作的需要而設計的開放數據湖倉庫從根本上解決了這一架構問題。它會讓所有被困在一個平臺上的人感到不安，但社區驅動的創新可以幫助解決現實世界的問題，幫助使用類似的最佳工具，并以務實的方式克服供應商的鎖定。

開放湖倉Apache Iceberg的誕生

Apache Iceberg 從一開始，其目標就是在云原生規模上輕松實現多個分析引擎的相互操作。這創新的誕生地 Netflix 需要將 100 PB 規模的 S3 數據湖建在數字倉庫中，這可能是最好的例子。云原生表格式從其創建者開源到 Apache Iceberg 中。

Apache Iceberg 真正的超級力量是它的社區。在過去的三年里，Apache Iceberg 社區蓬勃發展，增加了一系列令人驚嘆的優秀整合：

· 數據處理和 SQL 引擎 Hive、Impala、Spark、PrestoDB、Trino、Flink

· 各種文件格式：Parquet、AVRO、ORC

· 社區大型用戶：Apple、LinkedIn、Adobe、Netflix、Expedia 等

· AWS Athena、Cloudera、EMR、Snowflake、騰訊，阿里巴巴，Dremio、Starburst 的托管服務

這個多元化社區蓬勃發展的原因是數千家公司的集體需求，以確保數據湖能夠演變成包含數據的倉庫，并保持跨引擎分析的靈活性和開放性。這使得開放的湖泊倉庫成為可能：為未來提供無限的分析靈活性。

Cloudera擁抱Iceberg模式

在 Cloudera，我們為我們的開源基礎感到自豪，并致力于社區貢獻。自 2021 多年來，我們一直在成長 Iceberg 社區在 Impala、Hive、Spark 和 Iceberg 數百項貢獻。我們擴展了 Hive 元存儲將集成到我們的許多開源引擎中，以充分利用它 Iceberg 表。2022 年初，我們在 Cloudera Data Platform (CDP) 中提供了 Apache Iceberg 技術預覽，使 Cloudera 客戶可以在我們的數據倉庫、數據工程和機器學習服務中實現 Iceberg 模式和時間旅行能力。

我們的客戶總是告訴我們，無論是現代的 BI、AI/ML、數據科學更多，分析需求發展迅速。選擇是由 Apache Iceberg 湖倉提供支持，讓企業自由選擇分析。