RDMA (リモート ダイレクト メモリ アクセス) の概要

Introduction Rdma

RDMAとは何ですか?リモート ダイレクト メモリ アクセスの略です。詳細な情報を知りたい場合は、ここが正しい場所です。 MiniTool からのこの投稿では主に RDMA について説明します。

• RDMAとは何ですか?
• RDMA はどのように機能しますか?
• RDMA をサポートするネットワーク プロトコル
• RDMA をサポートする製品とベンダー
• RDMA over Fabric と今後の方向性
• 結論

RDMAとは何ですか?

そもそもRDMAとは何でしょうか？ RDMA はリモート ダイレクト メモリ アクセスの略称です。これは、ネットワーク内のコンピュータが、いずれかのコンピュータのプロセッサ、キャッシュ、オペレーティング システムを介さずにメイン メモリ内のデータを交換できるようにするテクノロジです。読み続けると、MiniTool のこの投稿が RDMA に関する完全な情報を提供していることがわかります。

ローカルベースのダイレクト メモリ アクセス (DMA) と同様に、RDMA はリソースを解放して、スループットとパフォーマンスを向上させることができます。 RDMA は、データ転送速度と低遅延ネットワーキングの向上にも役立ちます。これは、大規模並列コンピューター クラスターで特に役立ちます。また、ネットワークやストレージのアプリケーションにも実装できます。

RDMA はどのように機能しますか?

では、RDMA はどのように機能するのでしょうか? RDMA は、アプリケーション メモリとオペレーティング システムのデータ バッファ間でデータをコピーせずに、ネットワーク アダプタがワイヤからアプリケーション メモリに直接、またはアプリケーション メモリからワイヤにデータを直接転送できるようにすることで、ゼロコピー ネットワークをサポートします。

このような転送では、CPU、キャッシュ、またはコンテキスト スイッチによる作業は必要なく、転送は他のシステム操作と並行して行われます。これにより、メッセージ送信の待ち時間が短縮されます。さらに、送信デバイスと受信デバイスの両方が RDMA をサポートしている場合、両者間の対話は、同様の非 RDMA ネットワーク システムよりも速く完了します。

アプリケーションが高速かつ大規模な並列ハイ パフォーマンス コンピューティング (HPC) クラスターとデータ センター ネットワークを必要とする場合、RDMA が非常に役立つことがわかります。 RDMA は、ビッグ データの分析、アプリケーションを処理するスーパーコンピューティング環境、および絶対的に低いレイテンシーと最高の転送速度を必要とする機械学習にも役立ちます。

ただし、この戦略には、ターゲット ノードが要求された完了の通知を受信しないという事実 (片面通信) に関連するいくつかの問題があります。

RDMA をサポートするネットワーク プロトコル

コンバージド イーサネット上の RDMA。 RoCE は、このような環境における RDMA のパフォーマンスを定義することにより、RDMA over Ethernet をサポートするネットワーク プロトコルです。インターネット広域 RDMA プロトコルIWARP は、伝送制御プロトコル (TCP) またはストリーム制御伝送プロトコル (SCTP) を使用してデータを送信します。これは、サーバー上のアプリケーションが、いずれかのサーバーのオペレーティング システムのサポートなしで、別のサーバーで実行されるアプリケーションに直接読み書きできるようにするために、Internet Engineering Task Force によって開発されました。インフィニバンド。高速 InfiniBand ネットワーク接続では、RDMA が標準プロトコルです。この RDMA ネットワーク プロトコルはシステム間通信に一般的に使用され、最初はハイ パフォーマンス コンピューティング環境で普及しました。 InfiniBand は大規模なコンピューター クラスターに迅速に接続できるため、ビッグ データ環境、データベース、高度な仮想化設定、大規模なリソースを必要とする Web アプリケーションなどの追加のユース ケースにも導入されています。

RDMA をサポートする製品とベンダー

2018年現在、RDMAは拡張機能の実装により一般のネットワークインフラよりも優れたパフォーマンスを実現することで広く受け入れられていますが、どの製品やメーカーがRDMAに対応しているのでしょうか？以下にいくつかの製品とベンダーを示します。

• Apache Hadoop および Apache Spark のビッグデータ分析
• Baidu Paddle (並列分散型深層学習) プラットフォーム
• Broadcom および Emulex アダプター
• Caffeディープラーニングフレームワーク
• Cavium FastLinQ 45000/41000 シリーズ イーサネット NIC
• Ceph オブジェクト ストレージ プラットフォーム
• ChainerMN Python ベースの深層学習オープンソース フレームワーク
• Chelsio ターミネーター 5 & 6 iWARP アダプター
• Dell EMC PowerEdge サーバー
• FreeBSD オペレーティング システム
• GlusterFS インターネットワーク ファイルシステム
• Intel Xeon スケーラブル プロセッサーとプラットフォーム コントローラー ハブ
• Mellanox ConnectX ファミリのネットワーク アダプターと InfiniBand スイッチ
• SMB ダイレクト経由の Microsoft Windows Server (2012 以降) は、RDMA 対応ネットワーク アダプター、Hyper-V 仮想スイッチ、および Cognitive Toolkit をサポートします。

これをクリックできます リンク RDMA をサポートする製品とベンダーをさらに入手します。

RDMA over Fabric と今後の方向性

RDMA on Fabric は、既存の共有ストレージ アーキテクチャを論理的に進化させたもので、ソリッド ステートとフラッシュ メモリの利点を活用し、共有データへのアクセスのパフォーマンスを向上させます。 RDMA ネットワークは、RoCE、iWARP、または InfiniBand などのプロトコルを採用して、インターフェイスを介してメモリ アドレス空間間でデータを送信します。これにより、操作が高速化され、アプリケーション、サーバー、およびストレージへの投資の価値が高まります。

第 6 世代のファイバー チャネル ストレージ ネットワーク (32 ギガビット/秒) と PCI Express は、ファブリック インターフェイスに基づく RDMA をサポートします。

結論

この投稿では、RDMA (リモート ダイレクト メモリ アクセス) について詳しく説明しました。さらに、RDMA をサポートする製品とベンダー、および RDMA をサポートするネットワーク プロトコルを知ることもできます。