100Gパケットキャプチャが遂に完成

Posted by fmadio | 100G Ethernet

思いのほか時間が掛かってしまいましたが、この度、遂に100Gパケットキャプチャシステムが完成したことをお知らせします! FPGA、SSD、スタイリッシュな2U 48ベイシャシーを組み合わせた画期的なシステムで、価格は1千万円以下とお求めやすくなっています。


  • multicast join

100Gパケットキャプチャ

100GbEパケットキャプチャーが遂に実現しました! FMADIO100システムはスタイリッシュな2Uシャシーを採用し、前面にはホットスワップ可能な48基のSSD (7mm) を、背面にはホットスワップ可能な4基のOSドライブとホットスワップ可能な800Wデュアル電源を装備しています。1年365日、ノンストップでの運用に配慮した構成です。パケットキャプチャネットワークカードにはXilinxの最新式Virtex Ultrascale FPGAを採用し、デュアルソケットにIntelの2600v3CPUを装着したIntel製サーバー用マザーボードでこれを駆動します。

fmadio 100G architecture

100GBPSでのキャプチャ

100Gをフルキャプチャし、RAID5で作動しているディスクに記録していく技術は簡単には実現できません。現在使用されているDDR4とPCI Express Gen3の技術的限界にまで迫ります。100Gフルキャプチャ実現の鍵は、FPGAを利用して全面的なパケット処理を行わせることにあります。そして余ったCPU能力を、ストレージとIO処理へと振り向けるのです。現在はFPGAのリソースの30%までしか利用しておらず、新機能を盛り込む余地がふんだんに残っています。今後は、100Gのフルラインレートでプリキャプチャーを行うパケットフィルタリング、100Gbpsを維持したハードウェアによるパケット圧縮といった新機能の導入を予定しています。圧縮を行えばストレージ容量を最大限有効に活用できる上に、SSDの寿命も延ばせます。

fmadio 100G fpga

上図は現在のFPGAの使用状況を示しています (水色の部分が使用中のロジックセルです)。ご覧いただいたとおり、現在の使用率は30%にも達していません。

なぜFPGAを使うのでしょうか。FPGAは100Gbeパケットキャプチャで決定的に重要な役割を果たします。CPUを使って、毎秒148.88Mパケットというフルライン速度での持続的なパケット処理を行うことはまず不可能です。CPUでも実現可能だとする声は少なくありません。大規模な24コアシステムを使って驚異的なデータスループット速度を叩き出して見せるデモ機も存在します。しかし実際には、リアルタイムシステムのデッドラインを厳しく設定し、FIFOも浅くして実現したものなのです。L1/L2キャッシュのミスが数回起きただけでSWパイプラインに乱れが生じ、速度が低下します。こうしたキャッシュミスは連鎖的に、波紋が生じるようにソフトウェアスタック全体に広がって行き、ついにはパケットドロップが生じます。(メモリー階層の問題であって、CPUサイクルは無関係である点にご注意ください。) FMADIO 100Gbpsシステムでは、全てのパケット処理をFPGA上のRTLで行います。これにより、全てのネットワークトラフィックについて、100Gのフルライン速度による持続的なパケット処理が可能となります。

100GBPSパケットジェネレータ

しかし....まだ続きがあります。100Gシステムには全てFPGAを利用した100Gbpsパケットジェネレータが付属しています。レイヤ1、レイヤ2、レイヤ3に対応したパケットジェネレータで、高性能パケットブラスターが持つべき機能を全て備えています。ここには、100Gファイバーとトランシーバをテストするためのレイヤ1 PRBS7、PRBS15、PRBS31ビットジェネレータ/レシーバや、100Gbpsスイッチ及びサーキットの負荷テストを行うためのレイヤ2/レイヤ3 100Gパケットジェネレータといった機能が含まれます。パケットを生成しつつ同時にキャプチャできるという点が、最大の特長と言えるでしょう。実際、当社においてもこの機能を利用してキャプチャシステムの試験を行っています。


fmadio 100G packet generator

100GBPSイーサネット

現在100Gイーサネットの拡散は急速に進んでいます。500万円のトランシーバや深海ケーブルによる電気通信事業者のバックボーン用途以外にも、さまざまな場面で使われるようになってきています。2016年5月時点で、100G SR4 QSFP28トランシーバは20万円以下で購入可能です。そして、遂にFMAIDO100によって、フルパケットキャプチャが実現可能となりました。お求めになりやすい価格でありながら、ネットワークのトラブル解消、そして何よりも、100Gネットワークのセキュリティで決定的に重要な役割を果たします。


fmadio 100G packet capture front fmadio 100G packet capture rear

The Specs

Capture Speed
Sustained 100Gbps
Sustained 148.88Mpps

Capture To Disk
Sustained 100Gbps

Capture Interface
x1 100G QSFP28 Port

Generator Speed
Sustained 100Gbps
Sustained 148.88Mpps

Generator Protocol
Layer 1, 2, 3 Packets

Storage Size
24TB/48TB/96TB solid state

                                        Packet HW Time Stamp
3.2ns resolution

Packet Size
min 64B packets
max 9200B packets

Time Synchronization
PTPv2, NTP, PPS, GPS

External IO
x2 USB Ports
x1 DSub VGA
x1 Serial Port

Management
x1 10G SFP+
x1 1G RJ45
x1 IPMI RJ45

                                        Rack Profile
2U Chassis 650mm deep

Dimensions
432mm x 88mm x 650mm
19" x 3.5" x 25.5"

Weight
30.0Kg / 66.0lb

Rails
Tooless 31" Rails

Cooling
3x Hot Swap 60x60mm fans

Power
800W Dual Hotwap PSU
(DC48V on request)