100GBPS パケット・キャプチャSSDの性能

Posted by fmadio | 100G Ethernet

当社の100Gパケットキャプチャシステムについて、数多くのご意見・ご感想を頂いてまいりましたが、100Gbpsのキャプチャデータを当社が持続的に保存できるとは、ほとんどのお客様が考えておられない様です。最高の書き込み性能のピークを常に持続する為には多くの時間とリソースがかかるので、半信半疑になられるのも理解できます。  当社のSSDについて、これから順を追ってご説明したいと思います。


  • 100Gbps ssd performance

改めて、SSDについてまとめてみる。

SSDについての最大の問題はP/Eサイクル(プログラム/消去サイクル)の数が固定している事だ、と思われる方もいるでしょう。しかし当社の経験から実際に得たのは、むしろこれは一番ささいな問題だという事です。当社にとってまず第一の、そして最も重要な機能は、ドライブ全体を対象とした連続書き込みの性能です。残念ながら、SSDの連続書き込み性能は通常見られない用途であり、当社の10G、, 40G、,そして100Gのパケットキャプチャシステム以外、現実としては見られません。このため、この機能に向けて最適化しようとするSSDベンダーは多くありません。

ほとんどのSSDが最適化されているのは、ドライブ全体にわたる(ほぼ)ランダムな読み書きにおいて、IOPS(1秒間に読み込み・書き込みできる回数)を高めるためです。読み書き機能は、デスクトップ用途、一般サーバー用途、そして大規模データベースを始めとする用途で、その負荷の大半を占めています。このため、ほとんどのSSDベンダーは高速のランダムIOPS用に性能を最適化しており、通常、これによって連続書き込み性能に悪影響を与えているのです。

連続書き込み性能が軽視されている事に加え、ほとんどのSSDは「キャッシュモード」で動作しています。一般的な用途としてはSSDキャッシュアーキテクチャを使用し、データの小さめなサブセットを対象にして動作するという想定であり、これによって性能をより一層高める様になっています。しかし、100Gのパケットキャプチャで、作業データが合計キャッシュサイズをひとたび超えると、性能が大幅に低下してしまいます。これを具体的に説明するのが以下のとおりで、ドライブ全体での書き込み性能をグラフにしたものです。

amd radeon r7 256G

fmadio fist demo

toshiba q hd pro 256G

fmadio fist demo

Plexor m5 Pro 256G

fmadio fist demo

Samsung 850 pro 256G

fmadio fist demo

Samsung 850 Evo 256G

fmadio fist demo

Crucial mx100 256G

fmadio fist demo

Crucial MX200 256

fmadio fist demo

Corsair Neuton XTS SAFC 250G

fmadio fist demo

Kingston HyperX Savage 240G

fmadio fist demo

OCZ 100 256

fmadio fist demo

OCZ Vector 256G

fmadio fist demo

SanDisk Extreme II SSD 240G

fmadio fist demo

SanDisk Ultra II Pro SSD 240G

fmadio fist demo

Segate 600 240G

fmadio fist demo

.... そして、まだまだあります。上記のテストは、当社の100Gパケットキャプチャシステムの為に、持続的な連続書き込み性能を達成する為の一番基本的なベンチマークです。断片化と不要領域回収作業が始まると、機能はさらに複雑になります。こうして複雑になると、また違った問題や課題が生じます。つまり、当社が使うSSDは、データリカバリだけに特化した会社に求められるレベルを超えていると、当社もわかっているのです。こうしてみると、当社のSSDストレージとは、10G、20G、40G、80G、そして100Gのそれぞれのパケットキャプチャシステムをバックエンドから動かす、さながら石炭炉の様なものと言えるでしょう。

エンタープライズ向けSSDを使えば良いとおっしゃるのはわかるのですが。。

これは残念な事実なのですが、「エンタープライズ」クラスのSSDは、高価でしかも遅いのです。このクラスのSSDは、小売用・一般消費者用のSSDとは違い、高速なHDDの置換え用として設計されています。この事は、合計ストレージ容量は少ない一方で、一般小売用SSDと較べてP/Eサイクルの数が非常に多く、2.5インチの15K SAS HDDよりも性能が格段に向上しているものの、値段は一般小売用の最高性能SSD、そしてx5 の価格からも程遠いという事を意味します。

当社のキャプチャシステムの原価の大半はストレージのコストで占められています。このため、当社では一般小売用のSSDの中でもコストパフォーマンスに優れたものを使っています。そのうえで、コスト効率の良いハードウェアの上で、優れたソフトウェアを走らせています。このやり方は、従来の「大型コンピューター」的なIBMの伝統的な手法、つまり、コスト高で信頼性が極端に高いハードウェアを設計し、基本的なソフトウェアを走らせるものとは異なります。IBMを、Amazon、Facebook、そしてGoogleといったハイテク産業のリーダー企業と比較してください。これらの新しい企業はすべてコスト効率の高いハードウェアを使い、ソフトウェアに冗長性と高度な機能を持たせています。当社も、コスト効果の高いハードウェア上で優れたソフトウェアを使用する事が正しいやり方だと考えており、お客様も当社の価格は素晴らしいと、これに同意頂いております。

100GBPS の書き込み性能

では、当社がどのようにして100Gbps の書き込み性能を持続可能にしているのか、ご説明します。当社のシステムは、最適化と性能を引き出すための手法を数多く採用していますが、これによって、最高の性能のみならず、最高の書き込み性能を、ドライブ全体にわたって常に実現する事が可能になっています。


FMADIO100 12TB ストレージの書き込み性能

fmadio 100Gbps of SSD write bandwidth

そして、最もローエンドなストレージ設定においても、12TB全体にわたり、RAW連続書き込み帯域で約160Gbpsを出しています。 ローエンドの設定だけではなく、FMAD100 100G キャプチャシステムの性能は24TBと48TBのモデルにおいても同様です。この帯域水準はまさに驚異的です。

サマリー


お客様と競合他社は、当社が本当に100Gbpsでキャプチャしストレージに書き込めるのか、疑問を持っている様です。その理由は、当社もわかります。100Gbpsの書き込み性能を維持するのは容易ではないからです。100Gbpsの連続書き込み性能を維持するために必要となるのは、高性能システムを構築してきた何十年にもわたる経験、システムアーキテクチャに対する深い理解、そして多くの血と汗と涙なのです。

まだ信じられないなら、当社にご連絡の上、ぜひ評価をしてください。