在數(shù)據(jù)中心開始從硬盤驅動器過渡到固態(tài)驅動器 (SSD) 后不久，NVMe協(xié)議就開始支持高性能、直接連接的 PCIe SSD。NVMe 之后是 NVMe over Fabrics ( NVMe-oF )，它旨在有效地支持超大規(guī)模遠程 SSD 池，有效地取代直連存儲 (DAS)，成為云基礎架構中分解存儲的默認協(xié)議。

最近，NVMe over TCP 已經(jīng)到來，以提供更強大的 NVMe-oF 技術，承諾以更低的部署成本和更低的設計復雜性實現(xiàn)高性能。從本質上講，NVMe over TCP 使用簡單高效的 TCP/IP 結構將 NVMe 擴展到整個數(shù)據(jù)中心。

“能夠以低延遲進行高帶寬通信，同時獲得存儲陣列之間的物理分離，然后添加一個包含 TCP 協(xié)議的普通交換網(wǎng)絡進行傳輸，這將改變游戲規(guī)則，”業(yè)務和 IT 總監(jiān) Eric Killinger 說。技術咨詢公司Capgemini North America?！霸瞥笠?guī)模企業(yè)已經(jīng)在采用這項技術，取代以前使用了兩年和三年的新 SSD 技術，以實現(xiàn)對數(shù)據(jù)分析和物聯(lián)網(wǎng)的更大查詢訪問，”他說。

背景：NVMe 和 NVMe-oF 的出現(xiàn)

當使用 NVMe SSD 構建的第一批陣列問世時，存儲獲得了巨大的速度提升，但這些設備仍然通過基于 SCSI 的主機連接與服務器通信。NVMe-oF 部署可以支持跨交換結構的基于 NVMe 的塊存儲設備的遠程直接內(nèi)存訪問 (RDMA)。Modbus Rtu

技術研究基礎設施系統(tǒng)研究副總裁 Eric Burgener 表示：“這是一種高性能存儲網(wǎng)絡協(xié)議，專門針對固態(tài)存儲進行了優(yōu)化……并提供更低的延遲、更高的帶寬、并行性和更高的效率?！眻远ǖ腎DC。

NVMe-oF 可用于不同類型的網(wǎng)絡傳輸，包括光纖通道 (FC)、以太網(wǎng)和 InfiniBand。在以太網(wǎng)中，有不同的傳輸選項，包括 RDMA over Converged Ethernet (RoCE)、iWARP 以及 TCP。

缺點是 FC、InfiniBand、RoCE 和 iWARP 選項都需要自定義主機總線適配器和驅動程序，這使得它們的實施和維護具有挑戰(zhàn)性且成本高昂?！盎?TCP 的 NVMe 是真正的行業(yè)標準，可與幾乎每臺企業(yè)服務器上的標準融合以太網(wǎng)適配器配合使用，”Burgener 解釋說。此外，大多數(shù)主要的 Linux 變體現(xiàn)在都在其標準分發(fā)中包含 NVMe-over-TCP 驅動程序。

“這是一個已發(fā)布并被接受的標準，這意味著從長遠來看它將主導 NVMe-oF 部署，”Burgener 說?！八膶嵤┏杀疽哺?，并且不需要標準 Linux 或以太網(wǎng)適配器之外的升級計劃，但與 RoCE（迄今為止已廣泛部署的另一種以太網(wǎng)選項）相比，它的延遲要高一些?！?/p>

RoCE 和 iWARP 都支持 RDMA，而 FC 和 TCP 不支持。這種支持 RDMA 的能力允許稍低的延遲，但所有方法都設法比基于 SCSI 的普通存儲網(wǎng)絡技術（如光纖通道 (FC) 和 iSCSI）提供顯著的性能改進。 

NVMe/TCP部署和使用

采用 NVMe/TCP 的一個主要原因是提供低延遲的共享存儲解決方案。

“如果你有一個基于 NVMe 的全閃存陣列，但仍然通過基于 SCSI 的存儲網(wǎng)絡連接到服務器，那么你可能會在桌面上留下很多性能并且你沒有使用你的固態(tài)存儲資源幾乎同樣有效，”Burgener 說?！叭绻Ｍ麑⒒?NVMe 的全閃存陣列的性能一直交付給您的應用程序，您需要一個 NVMe-oF 存儲網(wǎng)絡?！?/p>

對于大多數(shù)組織而言，最終的傳輸選擇將由已部署的任何技術或大規(guī)模性能要求驅動。

“FC 是滿足后一種要求的最佳傳輸方式，但隨著更高帶寬以太網(wǎng)網(wǎng)絡的每個新版本的推出，差異化變得越來越小，因為以太網(wǎng)能夠以更高的帶寬處理更多……存儲工作負載，”Burgener 說?！坝幸恍π阅芊浅Ｃ舾械膽贸绦蛟谑褂?FC 作為 NVMe-oF 的傳輸層時會做得更好，但隨著時間的推移，它們會越來越少，”他補充道。

如果企業(yè)已經(jīng)擁有 FC 網(wǎng)絡，則在其上安裝 NVMe-oF 相對容易，許多組織已經(jīng)這樣做了。Burgener 說，大多數(shù)商業(yè)新建部署將選擇使用以太網(wǎng)，而 TCP 最終將在那里獲勝。

在應用方面，“我們可能會及時看到大量基于 TCP 的 NVMe 用于 AI/ML 驅動的大數(shù)據(jù)分析工作負載，特別是如果它們本質上是實時的，”Burgener 說?！癧采用] 有意義的另一個地方是在已將大量工作負載整合到單個存儲陣列上并且需要能夠以高工作負載密度大規(guī)模提供性能的環(huán)境中?！?/p>

雖然 AI/ML 驅動的大數(shù)據(jù)分析采用率正在增長，但該領域仍處于相對初期的階段。更直接的是，NVMe/TCP 在基于閃存的超大型存儲部署環(huán)境中獲得了吸引力，特別是當必須通過現(xiàn)有的高帶寬交換網(wǎng)絡投資快速訪問大量低延遲數(shù)據(jù)時。

“超大規(guī)模是這項技術的自然消費者，因為它支持閃電般快速的數(shù)據(jù)訪問，并允許將數(shù)據(jù)分布在多個數(shù)據(jù)中心 pod 中，提供電網(wǎng)、冷卻和本地化高可用性架構優(yōu)勢，而不會增加正常情況下產(chǎn)生的成本光纖網(wǎng)絡擴建，”Killinger 說。

NVMe/TCP 還可以讓采用者利用現(xiàn)有的對交換網(wǎng)絡技術的投資，這些技術已經(jīng)商品化并且可以從許多 OEM 獲得?！芭c單獨的 Infiniband 或光纖通道相比，連接多個綁定 10G 交換以太網(wǎng)端口的每端口成本使得可以利用 NVMe 的 TCP 堆棧實現(xiàn)，”Killinger 說。

 Burgener 指出，許多高端存儲采用者已經(jīng)致力于 FC 存儲網(wǎng)絡，并且已經(jīng)升級或目前正計劃升級到 RoCE 。然而，這種情況可能會在未來幾年內(nèi)發(fā)生變化。

Burgener 說，隨著存儲基礎設施越來越多地轉向固態(tài)存儲，并且客戶越來越關心基礎設施效率，NVMe over TCP 將明顯勝過 SCSI，而且成本低廉且易于實施。

NVMe-over-TCP 可用性

NVMe 及其規(guī)范由網(wǎng)絡、存儲和其他 IT 相關公司組成的聯(lián)盟 NVM Express, Inc. 擁有和維護。NVMe 規(guī)范于 2011 年發(fā)布，定義了主機軟件如何通過 PCI Express (PCIe) 總線與非易失性內(nèi)存通信，現(xiàn)在已成為所有外形規(guī)格的 PCIe SSD 的行業(yè)標準。NVMe/TCP 于 2018 年獲得 NVM Express 聯(lián)盟的批準。

按照目前的情況，NVMe/TCP 支持主要來自網(wǎng)絡供應商，例如 Mellanox Technologies（現(xiàn)在歸NVIDIA所有）以及少數(shù)存儲初創(chuàng)公司，包括 Lightbits Labs、  Excelero、Pavilion Data和Infinidat。SSD 芯片制造商Kioxia（以前是東芝的一部分）也支持 NVMe over TCP。

NVMe/TCP 的可用性預計將在未來幾年快速增長?！按蠖鄶?shù)主要的企業(yè)存儲供應商還沒有推出它，但可能會在未來 12 到 18 個月內(nèi)推出，”Burgener 預測。

目前短期、大規(guī)模 NVMe-over-TCP 采用的一個障礙也是它可能取得長期成功的一個原因。

“大多數(shù) IT 組織至少都在試驗公共云服務，估計超過 90% 的企業(yè)在一個或多個公共云中有一些存在，”Killinger 說。與此同時，IT 更新率呈下降趨勢，許多組織沒有預算足夠的資金來使用高端 NVMe 技術更新其老化的存儲基礎架構?！叭欢?，其中一些公司正在尋找公共云服務提供商來取代他們的企業(yè) IT 服務，而這正是 NVMe over TCP 將蓬勃發(fā)展的地方，其增長速度比企業(yè) IT 購買力的增長速度要高出許多倍，”他指出。

展望未來，Burgener 看到了 NVMe/TCP 的光明前景。“但 [采用率] 可能要到 2022 年底或 2023 年底才會真正開始增加，”他預測道。

Killinger 也樂觀地認為 NVMe/TCP 最終將成為主流技術。“我認為 NVMe over TCP 沒有理由不蓬勃發(fā)展，甚至在未來幾年加速 SSD 部署，”他說。

Killinger 預計 SSD 存儲 OEM 將很快進行大規(guī)模營銷，渴望展示他們的產(chǎn)品在 NVMe over TCP 上的性能?！皩τ诤线m的企業(yè) IT 副總裁來說，這足以影響他們的采購決策，”他說。