什么是 vSphere Metro Storage Cluster?
什么是 Hitachi Virtual Storage Platform G1000 /G1500 /F1500 /Gx00 /Fx00?
Virtual Storage Platform G1000/G1500/F1500/Gx00/Fx00 支持始终开启的操作,包括自助服务、非中断迁移和主动-主动存储群集,从而实现零恢复时间的目标。通过自优化的策略驱动管理,可使您的操作自动化。
通过利用 Global-Active Device,可以在延伸城域群集配置上配置两个 VSP G1000/ G1500/F1500/Gx00/Fx00 存储系统。此延伸配置可以为相距 300 千米以内的两个数据中心提供服务。此延伸配置中的数据卷(包括 VMFS 数据存储)高度可用,两个站点上的 vSphere 主机可以同时访问。如果一个站点出现故障,其余数据中心 VSP G1000/ G1500/F1500/Gx00/Fx00 存储系统可以继续提供对数据卷的 I/O 访问。
在 vSphere Metro Storage Cluster 中使用 VSP G1000/ G1500/F1500/Gx00/Fx00 时,中型 Hitachi Unified Storage 系统(或可以连接到 VSP G1000/G1500/F1500/Gx00/Fx00 的任何受支持的第三方存储)可以用作仲裁存储。
什么是 Global-Active Device、Hitachi Dynamic Link Manager 和仲裁磁盘?
VSP G1000/ G1500/F1500/Gx00/Fx00 提供 Global-Active Device (GAD) 功能。作为 Hitachi Storage Virtualization Operating System (SVOS) 的一部分,它可以简化分布式系统的设计和操作。使用 Global-Active Device,您可以在两个位置同时拥有相同数据的读/写副本。
Global-Active Device 的主动-主动设计可在两个 Virtual Storage Platform G1000/G1500/F1500/Gx00/Fx00 系统之间实现交叉镜像存储卷,接受两端不断更新的读/写 I/O。如果一个站点上的磁盘控制器出现故障,则另一站点上的磁盘控制器会自动接管并接受读/写 I/O。
使用 Global-Active Device 可确保您的环境中最新存储卷的可用性。它在两个系统上均启用生产工作负载,从而保持完全数据一致性和保护。
VMware 本机多路径 (NMP) 或 Hitachi Dynamic Link Manager (HDLM) 是一个与 Global-Active Device 集成的多路径软件,可为 vSphere 主机提供负载平衡、路径优化、路径故障切换和路径故障恢复功能(HDLM SATP 和 HDLM PSP)。NMP 或 HDLM 将在来自 P-VOL 的所有可用首选路径(活动)之间保持 I/O 的负载平衡,并将指向 S-VOL 的所有路径保留为未优化(备用)路径。
系统会在外部存储阵列上创建 12 GB LUN,例如 VSP Gx00 或 Hitachi Unified Storage 150 (HUS 150) 或其他可用作仲裁磁盘的 supported external 3rd-party storage array。依靠 VSP G1000/G1500/F1500/Gx00/Fx00 虚拟化设备功能,将此 LUN 作为外部存储提供给站点 1 VSP G1000/G1500/F1500/Gx00/Fx00 和站点 2 VSP G1000/G1500/F1500/Gx00/Fx00。仲裁磁盘存储有关 Hitachi Global-Active Device P-VOL 和 S-VOL 中数据一致性的持续更新信息,用于在站点故障切换操作期间使用。如果发生故障,Global Active Device 使用此信息将主机操作指向成对的另一个卷。
图 1 - 使用 VSP G1000 的 vMSC 配置
配置要求
- 最低 ESXi 6.0 u2/6.5 vMSC 和带 VMware 本机多路径 (NMP)/ALUA 的 GAD
或
- 最低 ESXi 6.0u2/6.5 vMSC 和带 HDLM 的 GAD
注意:安装 VMware 修补程序 ESXi 6.0、ESXi 6.0 update2 上的修补程序版本 ESXi 600-201608001 后,仅在 6.0 上支持 PGR 群集客户机操作系统。
必须满足以下要求才能支持这些配置:
- 两个站点中的以太网网络之间的往返延迟时间必须小于 10 毫秒(一致的主机访问)。IP 网络支持 VMware ESXi 主机和 VSP/GAD 管理接口。
- 同步存储复制的往返滞后时间必须小于 5 毫秒。
- 两个站点之间可用的最小吞吐量应该为 622 Mbps,以便支持跨两个数据中心的 ESXi 主机上的虚拟机 vMotion。
- 两个数据中心中的 ESXi 主机必须在同一 IP 子网和广播域上具有一个专用网络。
- VMware vCenter 必须可从两个站点上的所有 vSphere 主机进行访问。
- 两个站点上的 ESXi 主机必须均可访问虚拟机所在的同一 IP 网络,以便发生任何 VMware HA 触发的虚拟机重新启动事件时,访问在两个站点上的 ESXi 主机中运行的虚拟机的客户端能够正常运行。
- 数据存储位置(包括虚拟机使用的引导设备)必须可从两个数据中心中的 ESXi 主机访问。
- HA 群集中的 vSphere 主机最大数量不得超过 32。对于 ESXi 6.0 和更高版本,主机的最大编号可能为 64。
- 可以使用 NMP 或 HDLM。
- ESXi 5.1 或 5.5 需要 Hitachi Dynamic Link Manager (HDLM) v8.0.1-00 或更高版本。对于 ESXi 6.0 Update 2,HDLM v8.2.0 是最低代码。对于 ESXi 6.5,所需的最低 HDLM 版本是 HDLM 8.5。
- 对于使用 PSP 作为 MRU 的 NMP/ALUA 配置,必须在 ESX 主机上针对 Hitachi LUN 设置以下规则:
- esxcli storage nmp satp rule add -V HITACHI -M "OPEN-V" -P VMW_PSP_MRU -s VMW_SATP_ALUA
- esxcli storage core claimrule load
- 对于使用 PSP 作为 RR 的 NMP/ALUA 配置,必须在 ESX 主机上针对 Hitachi LUN 设置以下规则:
- esxcli storage nmp satp rule add -V HITACHI -M "OPEN-V" -P VMW_PSP_RR -s VMW_SATP_ALUA
- esxcli storage core claimrule load
- 请注意,HDS 支持建议使用 RR 而不非 MRU。
- ESXi 5.1 或 ESXi 5.5 需要 Hitachi Virtual Storage Platform G1000 微码 v80-01-xx 或更高版本。对于 ESXi 6.0 Update 2,所需的最小微码是 80-03-32。对于 ESXi 6.5 G/F 1000/1500,所需的微码级别为 v80-05-xx。
- 需要 Hitachi HUS 150 microcode 0977/H 或更高版本(如果选择作为仲裁存储)。
注意:
- 尽管 Hitachi Storage Cluster 解决方案支持一致和非一致的主机访问拓扑,HDS 建议使用满足最高高可用性要求的一致主机访问部署
- 一致的主机访问配置 - 两个站点的 ESXi 主机都连接到所有站点的存储群集中的存储节点。提供给 ESXi 主机的路径会跨距离延伸。
- 非一致的主机访问配置 - 每一站点的 ESXi 主机仅连接到同一站点中的存储节点。从存储节点提供给 ESXi 主机的路径限制为本地站点。
- 将 Hitachi Dynamic Link Manager 与主机模式选项 (HMO) 78 结合使用,您可以指定指向某一存储阵列的非首选路径。其好处是可以防止从 ESXi 主机到非本地存储的长距离 IO 流量。这样可使响应时间和 WAN 流量成本达到最小。建议在站点距离大于 20 英里 (32 千米) 时打开此功能。
解决方案概述
在 Hitachi Virtual Storage Platform G1000/Gx00/Gx00/Fx00 上使用 Global-Active Device 实现的 VMware vSphere Metro Storage Cluster 架构可提供一种理想的解决方案,通过将城域距离内的两个物理数据中心进行群集,实现可用性和正常运行时间的最大化。来自 Hitachi Data Systems 的 Metro Storage Cluster 解决方案包括存储系统,该存储系统将分布在不同地理位置的站点的复制存储显示为单个 LUN。此设计允许在不停机的情况下进行站点之间的虚拟机迁移,因此实现了服务的高可用性。
Hitachi 软件和硬件的组合向 vSphere 基础架构提供以下关键功能:
- 主机多路径
- 内部和外部存储置备
- 跨城域群集距离的同步存储复制
- 存储故障切换
这些功能与 VMware vSphere vMotion、vSphere High Availability 和 vSphere Distributed Resource Scheduler 一起使用,构建适用于 VMware vSphere Metro Storage Cluster 的解决方案。Virtual Storage Platform 中提供的高级功能可满足虚拟基础架构的要求,并减少对传统 Metro Storage Cluster 解决方案中可能需要的额外硬件的需求。
以下组件可以创建 VMware vSphere Metro Storage Cluster 环境:
- vSphere 5.1、5.5 或 6.0 Update 2 ESXi 主机服务器 - 两个数据中心上运行虚拟机并由 vCenter Server 管理的物理主机
- Hitachi Virtual Storage Platform G1000/G1500/F1500/Gx00/Fx00 - 高度可扩展的高性能存储解决方案
- Hitachi Unified Storage (HUS) 或其他 supported 3rd-party storage systems - 中型存储平台,用于提供可靠、灵活、可扩展且具有成本效益的模块化存储,供 Hitachi Global-Active Device 仲裁磁盘使用
- Hitachi Dynamic Link Manager - 与 Hitachi High Availability Manager 集成的多路径软件,可为 ESXi 服务器提供负载平衡、路径优化、路径故障切换和路径故障恢复功能
- Hitachi Global-Active Device Synchronous Replication - 两个存储系统之间的同步存储复制
- Hitachi Global-Active Device - 借助 GAD,可以在两个位置同时提供相同数据的读/写副本。此主动-主动设计在所有系统上启用生产工作负载,从而保持所有数据一致性和保护
- 光纤通道交换机 - 与数据中心存储网络的 SAN 连接
- 网络交换机 - 与数据中心网络的 LAN 连接
表 1.城域群集软件组件
城域群集软件组件 | 版本 |
Hitachi Dynamic Link Manager | 8.0.1-00 或更高版本* |
VMware vSphere 命令行界面 | 5.1、5.5 或 6.0 Update 2 或 6.5
|
Hitachi 产品的命令控制界面 | 取决于微码 |
* 如果使用 HDLM,ESXi 6.0 Update 2 需要 v8.2.0 或更高版本的 HDLM,ESXi 6.5 需要 v8.5 版本的 HDLM。
测试的方案
表 2 概述了在 Hitachi Virtual Storage Platform G1000/G1500/F1500/Gx00/Fx00 和 Global-Active Device 上使用 Hitachi Storage Cluster for VMware vSphere 时测试的受支持故障方案。下表说明了基于一致主机访问的配置。基于非一致主机访问的配置具有相同的行为,但对本地存储故障使用站点故障方案这一点除外。
表 2.测试的方案
场景 | Global-Active Device/HDLM 行为 | 观察到的 VMware 行为 |
使用 VMware vMotion 或 VMware Distributed Resource Scheduler 在站点 1 和站点 2 之间迁移虚拟机 | 无影响 | 虚拟机迁移到站点 2 主机,I/O 定向到站点 2 中的本地存储 S-VOL |
使用 VMware High Availability (VMware HA) 在站点 1 和站点 2 之间对虚拟机进行故障切换 | 无影响 | 虚拟机故障切换到站点 2 主机,I/O 定向到站点 2 中的本地存储 S-VOL |
单个主机中的活动路径失败 | 主机 I/O 通过 HDLM PSP 重定向到可用的活动路径 | |
站点 1 存储系统故障 | 存储故障切换 - Global-Active Device 在故障切换前验证仲裁磁盘的数据完整性
- Global-Active Device 拆分对副本,S-VOL 转换为 SSWS(S 本地)
- 主机 I/O 通过 HDLM SATP 重定向到站点 2 存储系统上的备用 S-VOL 路径
| - 指向 P-VOL 的活动路径报告为不活动
- 指向 S-VOL 的备用路径变为活动状态
- 不会中断虚拟机
|
对于群集中的所有 ESXi 主机,指向本地存储系统的所有活动路径均失败 | 每个站点中的主机 I/O 通过 HDLM PSP 重定向到远程存储系统上的可用备用(非首选)路径 | - 指向本地存储系统的活动路径报告为不活动
- 指向远程存储系统的备用路径变为活动状态
- 不会中断虚拟机
|
群集中的所有 ESXi 主机出现全部路径异常 (APD) | 不会发生存储故障切换 | ESXi 主机必须手动关闭,VMware High Availability 才能重新启动其他主机上的虚拟机 |
仲裁磁盘失败或指向仲裁磁盘的所有路径被移除 | - PVOL 和 S-VOL 之间的复制继续进行,PVOL 和 S-VOL 处于对状态
- 站点 2 中的主机 I/O 重定向到站点 1 中远程存储上的 P-VOL 的备用路径
- 发生存储故障切换
| - 指向 S-VOL 的活动路径报告为不活动
- 指向 P-VOL 的备用路径变为活动状态
- 不会中断虚拟机
|
存储复制链路故障 | - Global-Active Device 验证仲裁磁盘的数据完整性,并且决定二者之一(P-VOL 和 S-VOL)作为本地 I/O 模式(另一个作为块 I/O)。决定取决于通知并写入仲裁磁盘的卷状态
- 选择卷(如 P-VOL)继续执行主机 I/O 时,对其他卷 (S-VOL) 的所有访问均被阻止,并且故障切换到 P-VOL(P 本地)
- 站点 2 中的主机 I/O 重定向到站点 1 中远程存储上的 P-VOL 的备用路径
| - 指向 S-VOL 的活动路径报告为不活动
- 指向 P-VOL 的备用路径变为活动状态
- 不会中断虚拟机
|
WAN 存储连接故障 | - 发生存储故障切换,除路径行为外,与存储复制链路故障相同
- 不会出现路径故障切换
- 选择将 P-VOL 转换为 P-Local 时,站点 1 中的主机 I/O 仍然使用指向站点 1 中本地存储的路径继续处理。由于本地站点访问仍然处于活动状态,站点 1 上的虚拟机可访问本地 P-VOL
| - 站点 1:存储故障切换后,由于本地站点访问仍然处于活动状态,P-VOL 将处理站点 1 主机的主机 I/O。站点 1 中的虚拟机可访问本地 P-VOL
- 站点 2 主机中的虚拟机无法访问其站点 1 上的虚拟磁盘。必须手动关闭站点 2 主机,VMware High Availability 才能重新启动站点 1 主机上的虚拟机。
|
站点 1 故障 | - 在存储行为方面与站点 1 存储系统故障相同
- P-VOL 和 S-VOL 之间的存储复制停止(取消成对),并且出现存储故障切换。S-VOL 转换为 SSWS(S 本地)
| VMware High Availability 将虚拟机故障切换到可用的站点 2 主机 |
站点 2 故障 | - P-VOL 和 S-VOL 之间的存储复制停止(取消成对),并且出现存储故障切换
- P-VOL 转换为 PSUE(P 本地)
| VMware High Availability 将虚拟机故障切换到可用的站点 1 主机 |