OSNexus社QuantaStorによるスケールアウト構成(Ceph)ファイル/ブロック/オブジェクトサービス【トゥモロー・ネット テックブログ】

今回は、2023年12月13日、 2024年8月27日のテックブログで紹介しましたOSNexus社QuantaStor製品に関するブログ第三弾となります。

前回のQuantaStorで構成できるスケールアップ構成 (OpenZFSベース)に続き、今回はもう一つの構成方式であるスケールアウト構成 (Cephベース)について、紹介します。
なお、ソフトウェアデファインドストレージ (SDS)製品で、スケールアップとスケールアウトの構成を一つの製品で提供できるのは、QuantaStorが持つ市場的にユニークな特長の１つです。

QuantaStorでのスケールアウト(Ceph)構成の利点

前回のブログでも紹介しましたように、Quantastorは、ソフトウェアデファインドストレージ(Software Defined Storage, SDS)に分類されるソフトウェア製品です。業界標準のx86サーバーとそのサーバー内蔵もしくは外部接続されたJBOD/JBOF (Just a Bunch Of Disks/Flash, ただのディスク/フラッシュの束)と呼ばれるディスク装置で構成されたサーバー上に、そのディスクに対するボリューム管理機能を行うソフトウェアを稼働させることで、さまざまなストレージサービスを提供します。

スケールアウト構成では、同じ構成 (CPU、メモリ、ネットワーク、ディスク)のサーバーを最小4台からクラスタ構成することで、ファイル、ブロック、オブジェクトストレージの各種サービスを提供します。また、必要に応じて、サーバーを最大64台まで追加拡張することで、その処理性能とストレージ容量(100PB以上)を自在に拡張できるという利点があります。

また、データ保護の観点では、イレジャーコーディングまたは、レプリカ/ミラー構成により、サーバー間でデータを分散配置することで、データの可用性を実現しています。
　さらに、既存のクラスタ構成にサーバーを追加または削除することでデータ領域の拡張および縮小にも対応できます。当然ですが、クラスタ構成を縮小する場合、ストレージの空き容量が減少します。最適なパフォーマンスと耐障害性を確保するには、十分な空き容量 (サーバー台数) を維持することが大切になります。

次に、QuantaStorのスケールアウト構成における中核技術であるCephについて紹介します。

スケールアウト構成を支えるCeph技術について

Cephはオープンソースのクラスタ化された分散ストレージソフトウェアです。
オブジェクト (Reliable Autonomic Distributed Object Store, RADOS)、ブロック (RADOS Block Device, RBD)、ファイル (Ceph File System)の各アクセスインタフェースに対応し、単一障害点がなく、エクサバイトまでの拡張性を有しています。また、特別なハードウェアを要求することがなく、汎用的なサーバーとストレージデバイスで構成することが可能な技術です。

以降では、Cephの主要な動作とそれに関するQuantaStorでの実装を交えて、説明します。

Cephモニター：クラスタメンバーシップ、設定情報、および稼働状況を監視するプロセス

Cephモニターはサーバーの停止や不適切な動作、設定および状態情報がクラスタ全体で安全に更新されるようなフォールトトレラントな振る舞いを可能にします。QuantaStorでは最初の3つのシステム (サーバー)でアクティブなCephモニターを持つように設定します。16 ノードを超えるクラスタ構成では、モニターを2つ追加する必要があります。これは、QuantaStor 管理Web GUIの「スケールアウトストレージ設定」セクションで行うことができます。また、3つのCephモニターが稼働するCephクラスタでは、少なくとも 2つのCephモニターが常にオンライン状態である必要があります。モニターが 1つだけ (またはまったく実行されていない) 場合、モニター間のクォーラムが再確立されるまで、ストレージアクセスは自動的に無効になります。５台のCephモニターを備えた大規模なクラスタでは、クォーラムとストレージのアクセシビリティを維持するために、3つのCephモニターが常にオンライン状態である必要があります。

Ceph Object Storage Daemon (OSD): OSDと呼ばれるデータの読み書きデーモン

OSDはディスクデバイスに1対1でマップされるプロセスで、データの読み書きを実行します。QuantaStor (バージョン５以降)では、BlueStoreと呼ばれるCephストレージ処理方式を利用しています。これにより、前世代と比較しての性能向上 (write処理で2倍)やデータのチェックサム、データ圧縮機能が強化されています。

Cephでのランダムアクセス性能とレイテンシー削減・スループットの向上のためのSSD構成（ジャーナルグループとジャーナルデバイス）

HDDストレージで構成されたCephストレージにおけるデータアクセスの高速化は、少量のフラッシュデバイス (主にSSD)を搭載することで実現しています。
具体的には、OSDのパフォーマンスを向上させるために、ジャーナルグループをSSDで構成し使用されます。（図OSDに対する高速化機能を参照）
各ジャーナルグループは、特定のジャーナルグループの作成に使用されるストレージメディアの速度に応じて、5倍から30倍、OSDのパフォーマンスを向上させることができます。ジャーナルグループは通常、QuantaStor がソフトウェア RAID1 ミラーで構成されるSSDのペアを使用して作成されます。ジャーナルグループを作成すると、高パフォーマンス、低遅延のストレージが提供され、そこからCephジャーナルデバイスをプロビジョニングして新しいOSDに接続し、パフォーマンスを向上させることができます。ジャーナルグループは数年にわたって高い書き込み負荷を維持する必要があるため、耐久性の高いエンタープライズグレードのフラッシュメディアを使用して作成する必要があります。 ジャーナルグループは、NVMe、PMEM (永続メモリ、Persistent Memory)、SATA SSD、SAS SSDなど、あらゆるタイプのフラッシュストレージメディアを使用して作成できます。

ジャーナルデバイスは、ジャーナルグループからプロビジョニングされます。ジャーナルデバイスには、WAL (Write-Ahead-Log) デバイスと MDB (Meta-data DB) デバイスの 2つのタイプがあります。QuantaStor は、WALデバイスのサイズを2GBに自動的にプロビジョニングし、MDBデバイスのサイズは3 GB、30GB (デフォルト)、または 300GB にすることができます。

・WALデバイスは、データの整合性とパフォーマンスを向上させるために使用します。データがディスクに書き込まれる前に、まず、WALデバイスにログとして記録されます。これにより、システムがクラッシュした場合でも、ログを参照してデータの一貫性を保つことができます。

・MDBデバイスは、ファイルシステムやオブジェクトストレージのメタデータを保存します。メタデータには、ファイルやオブジェクトの位置情報、アクセス権、タイムスタンプなどが含まれます。MDBデバイスを利用することで、アクセスパフォーマンスが向上します。また、メタデータの一貫性を保つことでシステムの信頼性が向上します。

具体的なWALやMDBのためのSSD構成については、後述しますQuantaStorのデザインツール (コンフィギュレーションツール)を使うことで適切に構成することが可能です。

Ceph Placement Groups (PGs)

Ceph Placement Groupsは、CephストレージプールとOSDの間の抽象化レイヤーとして、各PGは複数のOSDを論理的にストライプしたものです。
例えば、Cephストレージプールをレプリカ＝２で作成した場合、ストレージレイアウトは、2xOSDを利用するPGを持つことになります。同様に、K8+2MのイレジャーコーディングでCephストレージプールを作成した場合は、10xOSDのPGを持つことになります。
また、QuantaStorでは、Cephによるファイルやブロック、オブジェクトストアを作成する場合に、各利用割合をスケーリングファクター（%指定）として設定することが可能です。データの利用割合の推移に合わせて、PG数を定期的に見直しことで、データの分散とバランス最適化のために利用することが可能です。

Ceph CRUSH Maps と Resource Domains

Cephは、データの可用性を維持するために、Ceph CRUSH map (Controlled Replication Under Scalable Hasing)と呼ばれるデータ配置の最適化マップ機能を有しています。QuantaStorでは、このCRUSH mapsの生成と構成を自動化することで、管理者タスクを軽減することが可能です。

ここまで紹介しましたように、Cephには高い信頼性や管理性を担保するためにさまざまな工夫が実装されています。
QuantaStorでは、Cephの実装に関する深い予備知識がなくても、Cephストレージクラスタを導入、構成するための管理GUI (Web) を利用することで、概ね6ステップで初期導入構成が可能です。

QuantaStorソリューションの適用領域

前回のブログで記載した内容と同様となりますが、SDS (Software Defined Storage) 製品であるQuantaStorは、x86サーバーとストレージ機器筐体(JBOD/JBOF)との構成に関する自由度が高く、1つのプラットフォームでさまざまな領域に適用が可能です。そのため、業種・業界には関係なく、利用用途に応じて導入頂けるソリューションです。
仮想化やデータベース利用、長期アーカイブ、メディア編集、医療系の画像保存、IoTから大量データを貯めるようなデータレイク、または、学術・研究分野での安定したデータの保存先としても利用可能です。

一方で、ストレージ容量が８PBを越えることが予想される場合や長期的な運用 (5年を超える) が想定されるシステムで、基盤として利用されるサーバーの世代交代を行いながらQuantaStorクラスタを運用し続けるような利用環境にはスケールアウト構成 (Cephベース) をご検討いただくことをお勧めします。

デザインツール (コンフィギュレーションツール)

QuantaStorの構成を作成するには、２つのWebベースのツール – スケールアップ(ZFSベース) 用、スケールアウト (Cephベース)用が用意されています。
ソリューション設計ツールhttp://www.osnexus.com/design

構成作成の主な流れは以下のようになります。

Step1）ソリューション設計ツールhttp://www.osnexus.com/design　ポータルへ

Step2)　スケールアップ構成 (https://www.osnexus.com/zfs-designer)かスケールアウト構成(https://www.osnexus.com/ceph-designer) かを選択して、ツールを起動

Step3) 必要なストレージ容量を指定（Usable）

Step4) ユースケースを選択 (ユースケースに応じて、推奨されるディスク構成などが事前定義されます)

Step5) サーバーモデルやディスク拡張ユニットのモデルを選択 (選択したメーカーに合わせて調整要)
ストレージ構成は、データの保護レベル (RAIDやイレジャーコーディング) は適宜、選択調整

Step6) 必要なライセンスとして、サポート期間 (1年、３年、５年) とサポートレベル (Gold, Silver,
Platinum) を選択

なお、デザインツールの使い方は、以下の動画を事前にご参照ください。

・スケールアウト構成 (ZFSベース) の場合：Designing Software Defined Storage Systems with QuantaStor 5 (youtube.com)
・スケールアップ構成 (Cephベース) の場合：Designing Ceph clusters with the QuantaStor solution design web app (youtube.com)

まとめ

今回は、OSNexus社のQuantaStor製品に関して、主にスケールアウト (Cephベース) 構成時のCephモニター機能やHDD構成時の高速化機能 (SSD利用) について、ご紹介しました。
前回のスケールアップ構成と今回のスケールアウト構成を１つの製品で提供可能なQuantaStorは、適材適所で構成選択が可能であり、また、管理運用のための管理機能 (ユーザインタフェース)が1つに統合されるため、運用者の利便性にも寄与できる製品です。

トゥモロー・ネットでは、SDSストレージの製品選定や構成検討から導入支援サービス、保守サポートまでご相談頂ける体制をご用意しています。是非お気軽にお問合せください。

お問合せについて

お問い合わせはこちら

関連ページ

OSNEXUS QuantaStorについて～ソフトウェア・デファインド・ストレージプラットフォームを実現
OSNEXUS社QuantaStorスケールアップ構成(OpenZFSベース)
最新ソフトウェアデファインドストレージストレージのご紹介 OSNexus+SeagateによるNAS・オブジェクトストレージシステム
OSNEXUS　QuantaStor製品ページ

この記事の筆者