RDMA (リモートダイレクトメモリアクセス) の概要

Introduction Rdma

RDMAとは何ですか?リモートダイレクトメモリアクセスの略です。詳細な情報を知りたい場合は、ここが正しい場所です。 MiniTool からのこの投稿では主に RDMA について説明します。

このページについて:

RDMAとは何ですか?
RDMA はどのように機能しますか?
RDMA をサポートするネットワークプロトコル
RDMA をサポートする製品とベンダー
RDMA over Fabric と今後の方向性
結論

RDMAとは何ですか?

そもそもRDMAとは何でしょうか？ RDMA はリモートダイレクトメモリアクセスの略称です。これは、ネットワーク内のコンピュータが、いずれかのコンピュータのプロセッサ、キャッシュ、オペレーティングシステムを介さずにメインメモリ内のデータを交換できるようにするテクノロジです。読み続けると、MiniTool のこの投稿が RDMA に関する完全な情報を提供していることがわかります。

ローカルベースのダイレクトメモリアクセス (DMA) と同様に、RDMA はリソースを解放して、スループットとパフォーマンスを向上させることができます。 RDMA は、データ転送速度と低遅延ネットワーキングの向上にも役立ちます。これは、大規模並列コンピュータークラスターで特に役立ちます。また、ネットワークやストレージのアプリケーションにも実装できます。

RDMA はどのように機能しますか?

では、RDMA はどのように機能するのでしょうか? RDMA は、アプリケーションメモリとオペレーティングシステムのデータバッファ間でデータをコピーせずに、ネットワークアダプタがワイヤからアプリケーションメモリに直接、またはアプリケーションメモリからワイヤにデータを直接転送できるようにすることで、ゼロコピーネットワークをサポートします。

このような転送では、CPU、キャッシュ、またはコンテキストスイッチによる作業は必要なく、転送は他のシステム操作と並行して行われます。これにより、メッセージ送信の待ち時間が短縮されます。さらに、送信デバイスと受信デバイスの両方が RDMA をサポートしている場合、両者間の対話は、同様の非 RDMA ネットワークシステムよりも速く完了します。

アプリケーションが高速かつ大規模な並列ハイパフォーマンスコンピューティング (HPC) クラスターとデータセンターネットワークを必要とする場合、RDMA が非常に役立つことがわかります。 RDMA は、ビッグデータの分析、アプリケーションを処理するスーパーコンピューティング環境、および絶対的に低いレイテンシーと最高の転送速度を必要とする機械学習にも役立ちます。

ただし、この戦略には、ターゲットノードが要求された完了の通知を受信しないという事実 (片面通信) に関連するいくつかの問題があります。

RDMA をサポートするネットワークプロトコル

コンバージドイーサネット上の RDMA。 RoCE は、このような環境における RDMA のパフォーマンスを定義することにより、RDMA over Ethernet をサポートするネットワークプロトコルです。インターネット広域 RDMA プロトコルIWARP は、伝送制御プロトコル (TCP) またはストリーム制御伝送プロトコル (SCTP) を使用してデータを送信します。これは、サーバー上のアプリケーションが、いずれかのサーバーのオペレーティングシステムのサポートなしで、別のサーバーで実行されるアプリケーションに直接読み書きできるようにするために、Internet Engineering Task Force によって開発されました。インフィニバンド。高速 InfiniBand ネットワーク接続では、RDMA が標準プロトコルです。この RDMA ネットワークプロトコルはシステム間通信に一般的に使用され、最初はハイパフォーマンスコンピューティング環境で普及しました。 InfiniBand は大規模なコンピュータークラスターに迅速に接続できるため、ビッグデータ環境、データベース、高度な仮想化設定、大規模なリソースを必要とする Web アプリケーションなどの追加のユースケースにも導入されています。

RDMA をサポートする製品とベンダー

2018年現在、RDMAは拡張機能の実装により一般のネットワークインフラよりも優れたパフォーマンスを実現することで広く受け入れられていますが、どの製品やメーカーがRDMAに対応しているのでしょうか？以下にいくつかの製品とベンダーを示します。

Apache Hadoop および Apache Spark のビッグデータ分析
Baidu Paddle (並列分散型深層学習) プラットフォーム
Broadcom および Emulex アダプター
Caffeディープラーニングフレームワーク
Cavium FastLinQ 45000/41000 シリーズイーサネット NIC
Ceph オブジェクトストレージプラットフォーム
ChainerMN Python ベースの深層学習オープンソースフレームワーク
Chelsio ターミネーター 5 & 6 iWARP アダプター
Dell EMC PowerEdge サーバー
FreeBSD オペレーティングシステム
GlusterFS インターネットワークファイルシステム
Intel Xeon スケーラブルプロセッサーとプラットフォームコントローラーハブ
Mellanox ConnectX ファミリのネットワークアダプターと InfiniBand スイッチ
SMB ダイレクト経由の Microsoft Windows Server (2012 以降) は、RDMA 対応ネットワークアダプター、Hyper-V 仮想スイッチ、および Cognitive Toolkit をサポートします。

これをクリックできますリンク RDMA をサポートする製品とベンダーをさらに入手します。

RDMA over Fabric と今後の方向性

RDMA on Fabric は、既存の共有ストレージアーキテクチャを論理的に進化させたもので、ソリッドステートとフラッシュメモリの利点を活用し、共有データへのアクセスのパフォーマンスを向上させます。 RDMA ネットワークは、RoCE、iWARP、または InfiniBand などのプロトコルを採用して、インターフェイスを介してメモリアドレス空間間でデータを送信します。これにより、操作が高速化され、アプリケーション、サーバー、およびストレージへの投資の価値が高まります。

第 6 世代のファイバーチャネルストレージネットワーク (32 ギガビット/秒) と PCI Express は、ファブリックインターフェイスに基づく RDMA をサポートします。