株式会社サイバーエージェント様
事例詳細
◆サイバーエージェント社の重要サービスが稼働するプライベートクラウド「Cycloud」にSupermicro 製サーバーを採用
◆故障からの解放を目指し、ディスクレスで高密度のコンピュートノード、10 本のNVMeを搭載したストレージノードの組み合わせでCycloudを構築
◆CPUコア数、PCI-Expressレーン数が多く、パフォーマンスあたりの消費電力が低いAMD EPYCシリーズを積極採用
◆600 近いラインアップからの最適なサーバー選定にトゥモロー・ネットの知見を活用
◆サービス影響を最小限に抑える為に電源やファンの無停止交換などの要望にもトゥモロー・ネットが対応
◆トゥモロー・ネットによる出荷前検査により初期不良のリスクを低減
Supermicro GPUサーバー製品はこちら
「21世紀を代表する会社を作る」をビジョンに掲げて、インターネット広告、メディア、ゲームの３事業を柱としてさまざまなビジネスを展開しているサイバーエージェント。同社ではそれらの事業を提供するシステムに、パブリッククラウドとプライベートクラウドを併用し、目的や適性に応じて活用している。以前はプライベートクラウドを事業ごとに個別に運用していたが、組織横断的にプライベートクラウドを運用する部署である CIU を結成し集約化を進めた。
「CIUが目指しているのは、プライベートクラウドのデータセンターやサーバー、ネットワークなどのインフラを会社全体で有効活用できるよう一元管理すること。2021年にできたばかりの組織ですが、全社的な取り組みが進めやすくなると期待しています」とグループIT推進本部CIU PlatformDiv DCチームサブリーダーの知念洋樹氏は説明する。Cycloudでは、新しい未来のテレビ「ABEMA」、ブログサービス「Amebaブログ」、アメーバピグなどのシステムや関連システムが稼働している。
そしてそのCycloudの物理サーバーとして使われているのが、Supermicro製サーバーであり、導入支援およびサポートしているのが長年Supermicro製品の構築に関して実績を持つ代理店のトゥモロー・ネットである。
Cycloudでは、コンピュートノードとして2U4ノードの高密度、かつストレージを一切搭載しないディスクレス構成、ストレージノードには高速なNVMeを多く搭載する構成にしている。そのメリットを、グループIT推進本部 CIU PlatformDiv DCチームの平野智洋氏は「それぞれの用途に特化した構成にすることで、一本のラックに多く載せられ、コストを抑えて、かつ壊れにくいシステムにできます」と説明する。
この構成のポイントとして知念氏は次の3点を挙げた。「まずはディスクリソースの有効利用です。コンピュートノードにディスクを搭載しても、全てのノードで均等に使われることはなく差が出ます。使用量の多いほうに揃えると使われないディスクが無駄になります。その場合、コンピュートノードはディスクレスにして、データの保管にはストレージノードを使用するようにすれば、無駄を抑えて効率よく利用できます。更にディスクやRAIDコントローラを搭載しないため、コンピュートノードのコストも抑えられます」
２番目に挙げた利点が「故障からの解放」だ。「HDDのような稼働部品は故障率が高いもの。一番壊れやすいものを外してしまえばトラブル対応からは開放されます。実際ディスクレスにしてコン
ピューティングノードの故障頻度はだいぶ減りました」（知念氏）
ストレージノードは、NVMeが10本接続可能なサーバーを採用している。NVMeは、容量・性能・安定性・価格のバランスが取れた製品を採用している。
もうひとつ、CIUがこだわるポイントとして、2U4ノードサーバの電源とファンの無停止交換を可能にすることだ。トゥモロー・ネットは、電源もファンも、リダンダント（複数の構成）にして、故障しても電源を切らずに交換できるようにしてサーバーを納品している。ファンの無停止交換はメーカーサポートがないため、トゥモロー・ネットが独自に保証している。
これも「システムをなるべく止めたくないという理由」と知念氏は言う。2U4ノードという高密度サーバーでコンピュートノードを運用しており、１ノードあたりのVM数が10を超え、4ノード合わせ
て50以上に及ぶこともある。ファンが故障したとすると、通常であれば全てのVMをいったん別のコンピュートノードに退避させる作業が発生する。「その作業が発生すると私たちの部署だけでなく、ユーザーにも迷惑をかけるとになります。それを避けるために無停止交換が可能なシステムを採用しました」（知念氏）
近年CIUではサーバー用CPUにAMD EPYCを搭載するサーバーを採用し続けている。「EPYCシリーズには発表直後から注目していました。CPUコア数の多さとPCI-Expressレーン数の多さという利点があり、私たちの用途に適していると感じました」（知念氏）
CPUのコア数が多ければ多くのVMを稼働させるのに有利だ。またNVMeはPCI-Expressを使用して接続するためレーン数が多ければ、PCIeブリッジを使用すること無くダイレクトにCPUと多くのNVMeを接続することができる。低Latencyや帯域をフルに活用でき、NVMeのメリットを最大限引き出すことができるためだ。
平野氏が評価したEPYCの利点は「性能あたりの消費電力」だった。「GHzあたりの消費電力が非常に低く、それは１ラックに入る数が飛躍的に増えるという利点になります。私たちが同じ接地面積で比較テストしたところ、競合製品では1760コアだったのがEPYCでは3840コアが入るという大幅な高密度化を実現できました。つまり同じ電力で、倍以上のCPUコアが乗るということです」（平野氏）
Cycloudを構成する物理サーバーのうち、約3割を占めるのがSupermicro製サーバーだ。その理由について平野氏は「コンピュートノードと、ストレージノードでは重視するポイントが変わってきます。Supermicroは各種用途に特化したサーバーを豊富にラインアップしており、カスタマイズの自由度が高く、ちょうど良いものを選択し導入できる点が魅力です」と説明する。
Supermicroは最大600ものラインアップを揃えており、そこからCIUがCycloudに適した製品を検索しトゥモロー・ネットに指定。それを受けたトゥモロー・ネットは代理店としてSupermicroと交渉し、安定性やコスト、将来の供給体制などを確認した上で、CIUと相談しながら最適なサーバーを決定していった。
トゥモロー・ネットが事前に12時間のエージングテストを行い、クリアしたものだけを納品している点も安心感につながった。「納品された後に『初期不良で動きません。修理対応です』となると、構築スケジュールに遅れが生じます。トゥモロー・ネットから納品されたサーバーはその可能性が非常に低く、安心して利用できるのがポイントです」とグループIT推進本部 CIU PlatformDiv DCチームの西北尚史氏は言う。
このようなトゥモロー・ネットとの取引は2019年頃にさかのぼる。それ以前からサイバーエージェントではSupermicro製サーバーを利用していたが、「充実したサポートが受けられる形でSupermicro製サーバーを使いたい」と考えていたところ、社内にトゥモロー・ネットを知る社員がいたことからコンタクトをとった。打ち合わせを実施し、十分な導入実績と丁寧な提案、真摯なサポート体制に納得をしてSupermicro製サーバーの納品やサポートはトゥモロー・ネットに任せることになった。
実際製品の不具合があった際には、サイバーエージェントの事業に影響が出ないことを最優先として、トゥモロー・ネットが現地交換などの作業を全て実施したことがある。トラブル対応であっても、丁寧な報告と対応に信頼感が増したエピソードとなった。
Supermicro 保守サービスはこちら
変化の激しいインターネット業界のビジネスに対して、知念氏は「AIや5Gなどの技術がどんどん発展し普及していく段階に入り、サーバーとクライアントの間で大容量データが飛び交う時代になるで
しょう。そうなると、サーバーもより高密度になり高速演算できるものが求められるようになります」
と述べる。
平野氏も「パブリッククラウドもあるなかで、Cycloudのようなプライベートクラウドならではの意味、価値あるサービスを考えて展開していく必要があります。圧倒的に太いネットワーク帯域を用意したり、普及する前の新しい技術を積極的に採用したりするなど、差別化は可能です」と強みを挙げ、「新しい機能を積極的に採用してくれるSupermicro製品を安心して使えるサポートサービスを提供してくれるトゥモロー・ネットにはこれからも期待しています」と付け加えた。
1998年設立。創業当初から展開してきたインターネット広告事業に加え、新しい未来のテレビ「ABEMA」、ブログサービスなどのメディア事業や、著名なゲームタイトルの配信、AI開発など、さまざまな分野で高い評価を得ている。
所在地：〒150-0042 東京都渋谷区宇田川町40番1号
Abema Towers
設 立：1998年3月18日
事業内容：メディア事業、インターネット広告事業、ゲーム事業、投資育成事業
URL https://www.cyberagent.co.jp/
