2022年12月19日14:54:27 熱門 1851

Apache Ozone 是一種分佈式、可擴展和高性能的對象存儲，可與Cloudera 數據平台(CDP) 一起使用，可以擴展到數十億個不同大小的對象。它被設計為原生的對象存儲，可提供極高的規模、性能和可靠性，以使用 S3 API 或傳統的 Hadoop API 處理多個分析工作負載。

今天的平台所有者、企業所有者、數據開發人員、分析師和工程師在 Cloudera 數據平台CDP上創建新的應用程序，他們必須決定在哪裡以及如何存儲這些數據。結構化數據（例如姓名、日期、ID 等）將存儲在常規 SQL 數據庫中，如 Hive 或 Impala 數據庫。還有更新的 AI/ML 應用程序需要數據存儲，使用 Python Boto API 等開發人員友好的範例針對非結構化數據進行了優化。

Apache Ozone 滿足各種垂直行業的這兩種存儲用例，其中包括：

製造業，他們生成的數據除了提高運營效率外，還可以提供新的商機，例如預測性維護
零售，在零售流程的所有階段都使用大數據——從產品開發、定價、需求預測到商店的庫存優化。
醫療保健，大數據用於提高盈利能力、進行基因組研究、改善患者體驗和挽救生命。

類似的用例存在於所有其他垂直領域，如保險、金融和電信。

在這篇博文中，我們將討論具有 Hadoop 核心文件系統 (HCFS) 和對象存儲（如 Amazon S3）功能的單個 Ozone 集群。一種統一的存儲架構，可以同時存儲文件和對象，並提供靈活、可擴展和高性能的系統。此外，可以通過不同的協議為各種用例訪問存儲在 Ozone 中的數據，從而消除數據重複的需要，從而降低風險並優化資源利用率。

工作負載的多樣性

當今快速增長的數據密集型工作負載推動了分析、機器學習、人工智能和智能系統，需要一個既靈活又高效的存儲平台。Apache Ozone 原生提供與 Amazon S3 和 Hadoop 文件系統兼容的端點，旨在與企業級數據倉庫、批處理、機器學習和流式工作負載無縫協作。根據與存儲服務集成的性質，Ozone 支持各種工作負載，包括以下突出的存儲用例：

Ozone 作為純 S3 對象存儲語義
Ozone 作為 HDFS 的替代文件系統來解決可擴展性問題
Ozone 作為 Hadoop 兼容文件系統 (「HCFS」)，具有有限的 S3 兼容性。例如，對於其中帶有「/」的關鍵路徑，將創建中間目錄
多個工作負載的相同數據的互操作性：多協議訪問

以下是需要 HCFS 語義的大數據工作負載的主要方面。

Apache Hive：刪除表查詢、刪除託管的 Impala 表、遞歸目錄刪除和目錄移動操作更快且高度一致，在任何失敗的情況下都不會出現任何部分結果。有關 Ozone 的性能優勢和原子性保證的更多詳細信息，請參閱我們早期的Cloudera 博客。
這些操作也很有效，不需要 O(n) 對命名空間服務器的 RPC 調用，其中「n」是表的文件系統對象的數量。
Apache Hive、Apache Impala、Apache Spark 和傳統 MapReduce 等大數據分析工具的作業提交者經常在作業結束時將其臨時輸出文件重命名為最終輸出位置，以公開可見。作業的性能直接受到重命名操作完成速度的影響。

將文件和對象集中在一個屋檐下

統一設計表示存儲在單個系統中的文件、目錄和對象。Apache Ozone 通過在元數據命名空間服務器中引入存儲桶類型，通過使用一些新穎的架構選擇來實現這一重要功能。這允許單個 Ozone 集群通過有效地存儲文件、目錄、對象和存儲桶來同時具備 Hadoop 核心文件系統 (HCFS) 和對象存儲（如 Amazon S3）功能的功能。它消除了將數據從對象存儲移植到文件系統的需要，以便分析應用程序可以讀取它。相同的數據可以作為對象或文件讀取。

Bucket類型

Apache Ozone 對象存儲最近在HDDS-5672中實現了多協議感知存儲桶布局功能，可在 CDP-7.1.8 發佈版本中使用。這裡的想法是根據存儲用例對Ozone的Bucket進行分類。

FILE_SYSTEM_OPTIMIZED存儲桶（「FSO」）

具有類似於 HDFS 的目錄和文件的分層文件系統命名空間視圖。
提供類似於 HDFS 的高性能命名空間元數據操作。
提供使用 S3 API* 進行讀/寫的功能。

OBJECT_STORE存儲桶（「OBS」）

提供類似於 Amazon S3 的平面命名空間（鍵值）。

舊版的存儲桶

代表現有的預先創建的 Ozone 存儲桶，用於從以前的 Ozone 版本平滑升級到新的 Ozone 版本。

使用 Ozone shell 命令創建 FSO/OBS/LEGACY 存儲桶。用戶可以在布局參數中指定存儲桶類型。

$ozone sh bucket create --layout FILE_SYSTEM_OPTIMIZED /s3v/fso-bucket
$ozone sh bucket create --layout OBJECT_STORE /s3v/obs-bucket
$ozone sh bucket create --layout LEGACY /s3v/bucket

BucketLayout Feature Demo，介紹了Ozone shell、Ozone FS和aws cli操作。

Ozone的Namespace命名空間概述

以下是 Ozone 如何管理其元數據命名空間並根據存儲桶類型處理來自不同工作負載的客戶端請求的快速概述。此外，bucket 類型的概念在架構上以可擴展的方式設計，以支持未來的 NFS、CSI 等多協議。

Ranger策略

Ranger 策略啟用對 Ozone 資源（卷、存儲桶和密鑰）的授權訪問。Ranger 策略模型捕獲以下詳細信息：

資源類型、層次結構、支持遞歸操作、區分大小寫、支持通配符等
對特定資源執行的權限/操作，例如讀取、寫入、刪除和列表
允許、拒絕或例外授予用戶、組和角色的權限

與 HDFS 類似，使用 FSO 資源，Ranger 支持重命名和遞歸目錄刪除操作的授權，並提供性能優化的解決方案，而與其中包含的大量子路徑（目錄/文件）無關。

跨集群的工作負載遷移或複製

分層文件系統（「FILE_SYSTEM_OPTIMIZED」）功能可以輕鬆地將工作負載從 HDFS 遷移到 Apache Ozone，而無需顯着的性能變化。此外，Apache Ozone 與 Hive、Spark 和 Impala 等 Apache 數據分析工具無縫集成，同時保留了 Ranger 策略和性能特徵。

數據互通：多協議客戶端訪問

用戶可以將他們的數據存儲到 Apache Ozone 集群中，並通過不同的協議訪問相同的數據：Ozone S3 API*、Ozone FS、Ozone shell 命令等。

例如，用戶可以使用 Ozone S3 API* 將數據攝取到 Apache Ozone，並且可以使用 Apache Hadoop 兼容的文件系統接口訪問相同的數據，反之亦然。

基本上，這種多協議功能對於主要面向文件系統（如工作負載）但希望添加一些對象存儲功能支持的系統具有吸引力。這可以通過本地對象存儲提高用戶平台的效率。此外，存儲在 Ozone 中的數據可以在各種用例中共享，從而消除了數據複製的需要，從而降低了風險並優化了資源利用率。

總結

Apache Ozone 集群在 CDP 上提供了一個統一的架構，可以通過多協議訪問有效地存儲文件、目錄和對象。藉助此功能，用戶可以將其數據存儲到單個 Ozone 集群中，並使用不同的協議（Ozone S3 API*、Ozone FS）為各種用例訪問相同的數據，從而消除數據複製的需要，從而降低風險並優化資源利用率。

簡而言之，將文件和對象協議組合到一個 Ozone 存儲系統中可以帶來效率、規模和高性能的優勢。現在，用戶在如何存儲數據和如何設計應用程序方面擁有更大的靈活性。

S3 API* – 指的是 S3 API 協議的 Amazon S3 實施。

原文作者：Aryan Gupta, and Sailaja Polavarapu

原文鏈接：https://blog.cloudera.com/a-flexible-and-efficient-storage-system-for-diverse-workloads/