上周，因为工作中有很多事情，我没有在晚上写我的学习经历。调整了一周后，我突然发现很难再提起这支笔（因为懒惰），但今天，我决定恢复我原来的写作频率。我知道不是每个人都喜欢读我写的东西，我也不能照顾每个人的感受。因此，再一次，为了克服懒惰，为了迫使自己每天学习新东西，我只为自己写作。
今天，西瓜哥看到了demartek最近更新的存储网络接口比较数据，记得我经常向大家介绍FC/SAS、IB/PCIe等网络技术时，有些朋友还是有点困惑，所以，今天，我想借此机会总结一下主流高端存储制造商目前使用的一些存储网络技术（指西瓜哥定义的狭义高端存储，包括IBMds8870/XIVG3、EMCvmax3、HDSVSPG1000、HP3Par20000、富士通dx8000S3和华为oceanstor18000v3）。
目前，主流高端存储网络一般分为四个部分：
1.主机接口网络。基本上，每个高端存储都是相似的。必须支持FC接口。他们大多数人也支持FCoE。通常支持ISCSI。Infiniband（IB）的一些制造商公开表示支持。FICON是一个大型机接口，这里暂时不讨论它。
2.节点互联技术。在最新一代的高端存储中，只有PCIe和Infiniband两种类型。EMCvmax3、IBMXIV、infinidat、infinibox采用IB，其他厂商采用PCIe。
3.后端磁盘机架连接技术。除了IBMDS8700仍然采用FC-AL技术外，其他产品的后端是SAS。
4.磁盘接口技术。目前，高端存储的磁盘基本上都是SAS接口，因为FC磁盘已经停产，基本不可见。一些制造商也支持SATA接口磁盘，但它们基本上被切换到nlsas。实际上，它们也是SAS接口。SSD通常是SAS接口。目前，NVMe的SSD还没有出现在高端存储中。
对于以上四个部分，事实上，第1、2和4部分高端存储与其他存储相同，差别不大。高端存储的最大特点是第三部分，即节点互连技术。由于高端存储通常是一种多节点架构，整体上需要非常低延迟的高速网络互连，因此选择IB或PCIe。中端存储的集群架构大多数采用万兆互连，少数采用FC互连。
让我们来看看一些规范的各种存储网络接口技术，让我们有一个概念。
在上表中，我们可以看到SAS被动和active之间的区别。active的电缆需要通电，这样才能进一步传输。为什么世达会慢慢退出高端市场？除了速度慢之外，主要原因是可靠性不如SAS，因为它是单端口的，只能有一个连接。
此外，我们还需要注意接口的物理速度与实际传输速度之间的关系。因为为了可靠传输，需要编码，不同编码的开销不同。
低速接口一般采用8B/10B编码方式，编码开销为20%。目前的高速接口基本上采用64b/66b甚至更高的128B/130b编码模式，开销一般小于3%。
这是FC的各种编码速率之间的关系。高端存储目前最多支持16gFC。
至于Infiniband，高端存储目前支持的最高速率为56g。但在超级计算系统中，据说有四个系统采用了100g的速率。
让我们回顾一下各种存储网络技术的历史。
自1997年以来，FC技术一直是1g，现在已经是16g，被称为第五代FC。FC作为主机接口有望长期主导数据中心，但作为后端磁盘帧连接技术和磁盘接口，它已基本消失。西瓜哥预测，IBM的下一代DS8000后端也将放弃FC技术，转而使用SAS技术。从高端存储的发展历史来看，IBM的高端存储在网络技术方面一直是最慢的。
FCoE出现了10年，现在仍然是10Gbps。FCoE过去很热情，但现在她的热情正在慢慢消退。尽管许多高端存储产品支持FCoE，但它们的销量非常小。FCoE的未来趋势不得而知。西瓜哥（NicholasTse）预测这一数字将缓慢上升，但他希望取代FC。目前，他在存储端看不到这种能力。
Infiniband自1992年以来发展迅速，主流领域仍然是超级计算。据说，世界100强超级计算机中有一半以上使用IB技术。目前主流速率为56gbps，EMCvmax3是高端IB互连的代表。
ISCSI接口自2003年以来已经使用了十多年。目前，主流速率为10Gbps。HDSVSP似乎不支持高端存储，其他制造商也有这种iSCSI接口。通常，有许多iSCSI接口可用于远程复制，许多接口还支持1Gbps速率。毕竟，长途带宽非常昂贵。
至于SAS接口，距离2005年只有10年了。现在是SAS3.0的时代。2015年发布的新款高端存储基本上都是SAS3.0后端。EMCvmax3和HDSVSPG1000是在2014年发布的还是SAS2.0。
至于SATA接口，它出现在2003年，现在是6gbps。从高端存储来看，SATA接口缺乏开发能力，将逐渐淡出高端市场，被SAS取代。
至于未来各种接口的发展，速度基本上是翻倍的，也就是说速度越来越高。
以太网的速度很快达到400g，还有另一个分支，25g以太网（单通道）。目前，25g以太网受到业界青睐，其成本降低潜力大于单通道10G以太网。例如，你需要100克的剂量。如果你使用25g，你只需要4条通道，而如果你使用10g，你需要10条通道。以太网的发展速度将影响FCoE和iSCSI接口的未来发展，因为这两个接口都是基于以太网的。
随着SSD的广泛使用，NVMe将成为后端硬盘接口的一个方向。西瓜哥对sff-8639接口更为乐观，该接口兼容SAS和SATA，支持最新的NVMe。
还有电缆。目前，高速接口基本上使用光纤。一般来说，数据中心布线应考虑20年以上的使用寿命。如果使用多模光纤，最低标准应为OM3，建议使用OM4。
因为现在主流是16gFC，只有OM3支持100米的连接距离。
目前，光收发器（连接器）采用SFP+或qsfp+。Qsfp+支持4条车道。
除光缆外，部分网络接口也采用铜缆连接，成本较低。尤其是高端存储后端的SAS接口，所有制造商都支持铜缆连接。
但现在SAS也支持光缆连接。这个标准是迷你SASHD。使用光缆连接磁盘架的优点是，它可以跨机柜连接（因为距离更长），并且磁盘柜的布局更灵活。目前，HP3Par20000和华为oceanstor18000v3可以在高端存储中选择Mini-SAS高清光缆。据说HDSVSPG1000也在这样做，因为它计划支持分散式磁盘柜布局。
对于大多数高端存储采用的节点互联技术，估计除了ds8870或PCIe2.0之外，其他高端新产品还有PCIe3.0。
PCIe现在支持光缆连接，但传统PCIe接口连接器的尺寸相对较大。现在，业界正在开发一种新的PCIe接口连接器oculink，它具有更小的尺寸和更低的成本。据估计，PCIe未来将使用大量oculink连接器进行外部互连。
【西瓜哥观点】事实上，高端存储的存储网络技术与其他存储类似。关键的区别主要在于节点的互连。总的发展趋势仍然是更长的距离、更高的带宽和更好的成本。学习高端存储体系结构，了解一些存储网络技术的历史和发展趋势，有助于加深对体系结构的理解。
最新评论