电子所云存储测试 报告
目
录 一、
概述 ................................................................................................................................... 5
1.1 编写目的 ........................................................................................................................... 5
二、
测试环境 .......................................................................................................................... 6
2.1 测试组网 ........................................................................................................................... 6
2.2 设备配置 ........................................................................................................................... 6
2.3 测试工具 ........................................................................................................................ 10
2.3.1
iozone ............................................................................................................. 10
2.3.2
nmon ............................................................................................................... 10
三、
性能测试结果 ............................................................................................................... 11
3.1.1
infiniband 网络下性能 ................................................................................ 11
3.1.2
单台存储服务器与盘阵性能比较 ................................................................ 12
3.1.3 盘阵作为 cStor 后端存储的性能 .................................................................. 13
四、
测试结论 ....................................................................................................................... 14
一、
概述 1.1 编写目的
本报告为电子所云存储测试报告,
目的在于测试系统的功能、性能、稳定性及可靠性是否符合客户需求。
二、
测试环境 2.1 测试组网
……存储系统存储节点1存储节点2存储节点3存储节点10主管理节点备管理节点Infiniband客户端4客户端3客户端2客户端1 2.2 设备配置 软件配置
软件名称 软件版本 数量（套）
说明 cStor 云存储系统 V2.1 1
存储硬件配置 序号 CPU 内存 磁盘 IP 地址 节点用途 1 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 500GB 192.168.1.11 主管理节点 2 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 500GB 192.168.1.12 备管理节点 3 Intel(R) Xeon(R) 32G 3TB*1192.168.1.13 存储节点 1
E5606
2.13GHz B 1 4 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 3TB*11 192.168.1.14 存储节点 2 5 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 3TB*11 192.168.1.15 存储节点 3 6 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 3TB*11 192.168.1.16 存储节点 4 7 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 3TB*11 192.168.1.17 存储节点 5 8 Intel(R) Xeon(R)
E5606
2.13GH32G 3TB*1192.168.1.18 存储节点 6
z B 1 9 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 3TB*11 192.168.1.19 存储节点 7 10 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 3TB*11 192.168.1.20 存储节点 8 11 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 3TB*11 192.168.1.21 存储节点 9 12 Intel(R) Xeon(R)
E5606
2.13GHz 32GB 3TB*11 192.168.1.22 存储节点 10 13 交换机 infiniband
2.3 测试工具 2.3.1
iozone 是一款基于文件系统测试的基准工具，可以在不同的操作系统下，对不同种类的文件系统的读写性能进行测试，主要用于查看某种文件系统下对于处理 IO 的吞吐量，以此反映该文件系统的整体性能表现。可以测试Read, write, re-read, re-write, read backwards, random read, random write 等不同的模式下的文件系统的性能。
2.3.2
nmon nmon是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具， nmon 所记录的信息是比较全面的，它能在系统运行过程中实时地捕捉系统资源的使用情况，并且能输出结果到文件中。nmon 工具可以帮助在一个屏幕上显示所有重要的性能优化信息，并动态地对其进行更新。
三、
性能测试结果 3.1.1
infiniband 网络下性能 存储节点 （台）
测试机 （台）
挂载客户端数 线程数 写性能(KB/s) 读性能(KB/s) 备注 10 1 1 16 836,352 1,303,832
10 1 1 24 889,467 1,278,148
10 1 1 32 924,279 1,193,776
10 1 4 16 1,119,249 1,289,307
10 1 4 32 1,317,559 1,296,068
10 4 16 32 2,804,232 3,486,461
10 4 16 64 2,826,197 4,568,278
10 4 4 16 1,646,455 1,931,279
10 4 4 32 2,504,631 3,257,145
10 4 4 48 2,736,487 3,252,099
10 4 4 64 2,680,968 3,571,259
10 4 8 16 1,631,369 1,848,557
10 4 8 32 2,741,175 3,332,315
10 4 8 48 2,621,135 4,038,705
10 4 8 64 2,890,674 4,865,938
10 4 16 64 4,187,461 4,611,048 单副本 10 1 1 16 95,602 165,311 samba 集群 10 4 4 32 358,417 482,420 samba 集群 10 1 1 2 85,720 67,048 单 samba 10 4 4 8 230,292 252,313 单 samba 3.1.2
单台存储服务器与盘阵性能比较 类型 磁盘数 写性能 读性能 测试脚本
云创服务器 11 1,866,050 1,789,780 iozone -i 0 -i 1 -r 1m -s 24g -t 11 -F
/data0/x /data1/x /data2/x /data3/x /data4/x
/data5/x /data6/x /data7/x /data8/x /data9/x
/data10/x 电子所盘阵 11 273,458 290,540 iozone -i 0 -i 1 -r 1m -s 2g -t 11 -F /data/test1 /data/test2 /data/test3 /data/test4 /data/test5 /data/test6 /data/test7 /data/test8 /data/test9 /data/test10 /data/test11 1 318,228 388,146 iozone -i 0 -i 1 -r 1m -s 16g -f /data/test1 3.1.3 盘阵作为 cStor 后端存储的性能 存储节点 （台）
测试机 （台）
客户端数 线程数 写性能 (KB/s) 读性能 (KB/s) 脚本 3 3 3 3 190,909 165,485 iozone -i 0 -i 1 -r 1m -s 16g -t 3 -+m iozoneNodeList
四、
测试结论 10 个存储节点情况下，使用 cstor 单个客户端写性能约 920MB/s，读性能约 1.2GB/s，该连接方式适用于高速传输应用场景。
10 个存储节点情况下，使用 cstor 四个客户端写总体性能约2.8GB/s，读总体性能约 4.8GB/s。
使用 samba 集群，单个 samba 客户端写性能约 95MB/s，读性能约 165MB/s，该连接方式适用于普通传输应用场景，并可用于与Windows 对接。
使用 samba 集群，4 个 samba 客户端写性能约 350MB/s，读性能约 480MB/s。可见在系统整体带宽下，随着 samba 客户端数目增加，总体性能也随之增长。
单台存储节点 11 块数据盘，在 11 个线程同时读写的情况下，写性能约 1.8GB/s，读性能约 1.8GB/s【每块盘 1 个线程】；磁阵在 11个线程同时读写的情况下，写性能约 270MB/s，读性能约290MB/s。由此可见在多并发情况下，磁阵读写性能仅为散盘读写性能的 1/6，从而出现 cstor 使用磁阵后性能不升反降低情况。