ESXi local raid performance

Интересный пост в одной из веток на официальном форуме VMware – Низкая производительность ESX на новых блейдах от HP на базе C3000 .

цитата:

Ну и в общем по теме, хочу поделитсья опытом, надеюсь кому-нибудь будет интересно.

Уже набралось энное количество опыта эксплуатации HP Smart Array контролеров для локальных датасторов на ESXi хостах. В основном это P410i и в 90% случаев там есть кэш (с батарейкой или флэшем)
За время эксплуатации на разных дисках регулярно вижу в событиях хоста и датастора (в vSphere клиенте) события двух видов:
1. Время отклика на датасторе "таком то" возросло с тысяч микросекунд до сотен тысяч.....
2. Хост временно потерял доступ к датастору (следом за этим событием обычно идет сообщение что хост восстановил доступ к датастору).
В большинстве случаев такие события наблюдались уже длительное время и не вызывали проблем.
А вот на двух более мощных серверах, где много памяти  (и соответственно виртуалок) начались были проблемы.  В рабочее время, в пик нагрузки, события о потере хостом доступа к датастору появлялись все чаще, вплоть до 2 раз в минуту... и потом начинались реальные проблемы... все виртуалки начинали тормозить, и все пользователи жаловаться.
Все графики производительности, доступные у вмваре, вместо плавно изменяющихся линий превратились в "расческу"( Все показатели, и сеть, и диск, и время отклика диска, и утилизация процессора).
После всех разбирательств пришел к такому выводу.
Перешивка контроллеров до последней версии ничего не дала, ошибки так и продолжали сыпаться. Обновления прошивок на всем сервере и обновление гипервизора тоже не решило проблемы.
Проведя ряд тестов (с помощью IOmeter генерировал нагрузку) я прошелся по всем вариантам настройки контроллеров.
Вывод у меня такой -  для высоконагруженных по дисковым операциям датасторов нельзя собирать Raid6 и Raid5 - эти варианты ожидаемо снижают производительность, а кроме того увеличивают потенциальную нагрузку (больше места - больше виртуалок)
По результатам тестов (я использовал прессеты от сюда:  http://vmktree.org/iometer/ , наиболее показательным считаю второй тест60% случайно,  60% чтения - , его результаты и приведу)
Например на HP SmartArray p410i (прошивка 5.06 и 5.14) массив собирал из 8x600GbSAS10k дисков.
raid6 - ~1300 IOps
raid5 - ~1800 IOps
raid10 - ~3000 IOps
Так вот по поводу неочевидного результата.
Во время проведения нагрузочных тестов я мониторил возникающие события на хостах\датасторах. И результат такой - у вариантов с Raid5  и особенно уRaid6 под нагрузкой возникают оба описанных выше события (повышение времени отклика и потеря доступа к датастору). А вот Raid10 держит нагрузку лучше, там под нагрузкой очень редко проскакивают события о повышении времени отклика, но потери доступа не происходит.
Я в итоге понял так, что контроллеру не хватает вычислительной мощности под высокой нагрузкой на Raid6, и в итоге сам контроллер перестает отвечать хосту (на доли секунды). А хот сразу считает что датастор пропал (один единственный путь к датастору сдал нерабочим). Свои выводы я "передал руководству".... сказали что создадут тикеты в обоих техподдержках... но что-то уже месяц тихо.
Ни подтвердить ни опровергнуть свою гипотезу не могу, так что я переделал все на Raid10 и теперь у меня  все ОК

thx mazday.