Нарузка на диск

Коллеги, меня интересует кое какая статистика, поэтому просьба:
если у кого есть AD, Exchange, 1C в компании масштабов на сотню другую пользователей - посмотрите perfmon'ом, сколько:

• килобайт пишется;
• килобайт читается;
• операций чтения;
• операций записи.

Буду благодарен.
(а если не только посмотрите, но и в камментах цифирки укажете - так вообще :))

vmug

Коллеги, кто уже зарегистрировался на VMUG - письма с подтверждением и подробностями были разосланы всем.
Несколько человек уже обратились с тем, что им ничего не приходило - отправил всем обратившимся еще раз.
Если кому то так и не приходило писем:
1) проверьте спам.
2) Стучитесь мне в аську 471 863 134

resource monitoring

Из разряда, что называется, must read:

Как понять, какого ресурса не хватает, и что делать:
Performance Troubleshooting for VMware vSphere 4.
И два инструмента, которые дадут конкретные цифирки:
esxtop и vCenter Performance Counters.

VMware Data Recovery FAQ

попался на глаза VMware_Data_Recovery_FAQ_4.21.09.pdf.
6 страниц крупным шрифтом.

vSphere ports

Прикольная реализация подборки инфы о портах, используемых в vSphere - Connections and ports in esx esxi 4.


И монструозный pdf с этим же:

PSOD, Purple Screen of Death

Это пурпурный экран смерти, или Purple Screen of Death, PSOD.
Или

* crash debug screen
* machine crash screen
* ESX Server PSOD
* Purple screen crash report
* Decode purple screen error
* BSOD

Все это корректные названия этой пурпурной штуки, которая правильно называется Machine Code Exceptions ;-).

Пару слов о работе с упавшим ESX, которые я писал еще про ESX 3:

Что делать, если ESX выдает Purple Screen of death, пупурный экран смерти?
вкратце:
во первых, в /root появится лог mware-zdum-*.log, какая то инфа будет там.
Ну и потом, при установке ESX мы создаем партицию vmcoredump - как раз туда будет писаться дамп ядра в случае сбоя. Добраться до этого дампа можно командой "vmkdump".
Например, vmkdump -d /dev/sda5 запишет дамп на указанный LUN, с именем vmkernel-zdump.#.

Еще вот тут можно глянуть - How can I read the ESX Core dump.

Наконец, очень подробно в kb VMware - Decoding Machine Check Exception (MCE) output after a purple screen error.

VMUG 2009 - 02.10.2009

Коллеги, до встречи сообщества VMware осталось чуток больше недели.
Программа мероприятия выглядит так:

1. Утренний кофе, регистрация - 9-30.
2. Открытие, общая часть - 10-00.
3. Дешевая виртуализация в филиалах.
4. Как работает менеджмент памяти в ESX (TPS, MO) и другие глубоко технические моменты работы привычных технологий.
5. "Код безопасность".
6. "Что делать, когда у вас уже есть VMware?".
7. обед 13-00 - 14-00.
8. Что модно в этом сезоне? (Virtual Appliances: Secure Content and Threat Management).
9. Безопасность в виртуальной среде: технологии обеспечения.
10. Veeam Backup 4.0.
11. StarWind iSCSI.
12. Ask the Expert.
13. VMware View - реальное внедрение
14. Cisco Nexus 1000v.
15. Закрытие ~ 17-45

Разумеется, все это щедро разбавлено интересными дискуссиями. Мероприятие в чистом виде неофициальное, так что будет интересно.

Зарегистрировавшимся были высланы письма с подтверждением участия и организационными подробностями.
Зарегистрироваться еще не поздно - http://vsphere.vm4.ru/vmug.

Moscow's Distance VMotion

Из комментариев к посту Long Distance VMotion:

Admino комментирует...

Проверено не на сотне километров, но на разных окраинах Москвы:
ЦОД-Офис связаны ethernet линком 1Gbs, ping в среднем 1ms, В ЦОДе СХД EMC CX4 FC, lun xxx 0.5Tb, этот же LUN по iSCSI презентован хосту в Офисе.
Этап 1: VMotion виртуальной машины (2cpu/4Gb mem) из ЦОДа в Офис. (около 4 минут)
Этап 2: Storage Vmotion дисков виртуальной машины на локальную СХД. (странно, но данная операция НЕ нагружает канал)


Общие впечатления - без остановки сервисов были полностью перемещены 12 машин за сутки, без каких либо провалов в обслуживании.

Long Distance VMotion

Вам уже могла попадаться на глаза вот такая картинка:


Страшно?

Это про Long-Distance VMotion.
Немного подробностей про то, что надо для живой миграции ВМ за сотни километров - Long Distance VMotion.
Первые два:

• An IP network with a minimum bandwidth of 622 Mbps is required.
• The maximum latency between the two VMware vSphere servers cannot exceed 5 milliseconds (ms).

some information about ESX \ ESXi storage and networking

Чрезвычайно познавательно:
Another VCDX Study Guide - Part 1:Storage.
Another VCDX Study Guide - Part 2 Networking.

cpu utilization, co-scheduling esx 4 / esxi 4

Если интересно понять, как ESX(i) 4 работает с процессором:

VMware vSphere 4: The CPU Scheduler in VMware ESX 4.
пара цитат:

Like a process, a vCPU may be in one of the following states. In running state, a vCPU executes on a pCPU. In ready state, it is runnable
but waiting in a queue. In wait state, it is blocking on a resource. An idle vCPU may enter wait_idle, a special wait state, which does
not depend on a resource. The idle vCPU wakes up when interrupted.

..

UNIX CPU scheduler uses a priority-based scheme. It associates each process with a priority and makes a scheduling choice or
preemption decision based on the priorities. For example, a process with the highest priority among ready processes would be
chosen, and then the process may preempt the currently running process if it is higher in the priority.
Unlike UNIX, ESX implements the proportional-share based algorithm. It associates each world with a share of CPU resource. This
is called entitlement and is calculated from the user-provided resource specifcations like shares, reservation, and limit. See the ESX
Resource Management Guide [1] for details.

..




про Co-scheduling SMP VMs in VMware ESX Server.

Почему на 6ти ялерных процессорах какие то ВМ могут работать медленее чем ожидается, и как с этим бороться - Scheduler Cell Size on Six-Core Processors.

Некоторые данные тестирований тут - Measuring the Cost of SMP with Mixed Workloads.


Мораль какая:
процессоров лучше меньше. Горизонтальное масштабирование - наше все. Сильно процессороемкие задачи имеет смысл виртуализовать только если очень хочется.

esx \esxi 4 virtual hardware 7 pci

Если создать ВМ с версией виртуального железа = 4, то у такой ВМ 6 PCI слотов.
Один всегда занят под видео, оставшиеся пять делятся между scsi и сетевыми контроллерами. Контроллеров каждого типа может быть не более 4х.

Если создать ВМ с версией виртуального железа = 7, то у такой ВМ 6(или 14) PCI слотов.
SCSI контроллеров может быть до 4х, сетевых - до 10. (еще один слот занимается контроллером памяти если включить паравиртуализацию для гостевой ОС).
Так вот, есть мнение номер раз, что PCI слотов 6, а виртуальные сетевушки это usb устройства. Поэтому их может быть много.

Еще я узнал мнение, номер два, что первый scsi контроллер ставится в слот на первой PCI шине, а остальные scsi и сетевые контроллеры ставятся в PCI слоты на второй шине. Эта вторая PCI шина обладает функционалом горячей замены, на ней 13 слотов.

Косвенным свидетельством в пользу этого варианта может служить соображение, что usb не такая уж быстрая шина для обслуживания 10 гигабитных сетевушек.

Опять же, если мы используем VMDirectPath I\O, с помощью которого можем прокинуть в ВМ и 10 Гб сетевой контроллера - он же должен куда то подключаться.

зачем мне бекап

К вопросу о двух категориях админов относительно бекапа:

12 сентября ночью в нашем датацентре произошел серьезный сбой, при котором одна из систем хранения, которая содержала в себе изображения за последние 1.5 года вышла из строя.

В своей работе мы используем многодисковые системы хранения со встроенными raid-массивами, которые гарантируют сохранность данных в случае выхода из строя одного из дисков. Это оптимальное решение, которое лежит в основе всех крупнейших сайтов.

К сожалению, сегодня ночью из строя вышли сразу два диска. Как результат, массив хранения отключился из-за вероятности полного повреждения данных.

Ближайщие дни будут посвящены плотному анализу и мы приложим все усилия к их восстановлению. Мы предпримем любые необходимые действия, вплоть до отправки массива на анализ производителю, находящемуся в другой стране.

Мы будем обязательно держать вас в курсе событий по мере их развития.
Все новые изображения поступают на другие хранилища, которые работают в обычном режиме.

Очень рассчитываем на вашу моральную поддержку.
Она гарантированно поможет в решении проблемы.
..
19 сентября 09:00 Все оставшиеся хранилища переведены в режим Raid 6, гарантирующий более высокую степень защиты. Новостей от центра восстановления данных пока нет.

Отсюда.

ESX(i) vmdk shrink 2

К посту ESX(i) vmdk shrink.
Я проверил - если сначала уменьшить раздел, а потом диск - то операция проходит нормально.
Чего я не проверил - могут ли быть проблемы, если на этом диске фрагментированные данные.

Шаг 1: подключил к ВМ диск, отформатировал.


Шаг 2. Уменьшил раздел.


Шаг 3. Отключил диск от ВМ. Произвел манипуляции с помощью nano и vmkfstools.


Шаг 4. Подключил новый диск к ВМ, проверил работоспособность раздела на нем.

ESX(i) vmdk shrink

Как уменьшить размер vmdk файла - How to Shrink a VMDK file in ESX.
Суть:

Открываем disk.vmdk. Видим там что то вроде
# Extent description
RW 52428800 VMFS “foo-flat.vmdk”

Умножением RW на 512 получаем размер диска:
52428800 * 512 = 26 843 545 600 (25.6 ГБ).

Например, хотим уменьшить диск до 12 ГБ. Для этого меняем disk.vmdk с помощью текстового редактора (vi или nano):
# Extent description
RW 12582912 VMFS “foo-flat.vmdk”

Теперь делаем Storage VMotion или Clone этой ВМ, и после этой операции диск становится нужного размера.
Если у нас нет vCenter, т.е. эти операции недоступны, можно склонировать этот диск из командной строки:
# vmkfstools -i disk.vmdk disk_1.vmdk

Я попробовал.
WinXP до:


Сделал по инструкции, чтобы уменьшить диск до 3 ГБ.

WinXP после:


Может быть, экспериментировать на системном диске это плохая идея?

Напомню, что работающая альтернатива этому способу это использование VMware Converter для переконфигурирования ВМ. В частности, конвертор способен корректно уменьшить размер диска.

UPD.
попробовал на не системном диске для Windows Server 2008. Тоже убило раздел:
до:

после:

vMA + scripts

Есть такая штука - vMa, vSphere Management Assistant.
Это ВМ с Linux и набором софта внутри, призванная стать вспомогательным центром управления инфраструктурой серверов ESX(i).
В частности, в консоли этой vMA можно запускать скрипты для выполнения разнообразных действий на ESX(i).

Список скриптов (сейчас скромный, но он должен стать пополняемым) можно найти тут - vMA Compatible Agent/Scripts(Third Party) Community List.

Кто не слышал о vMA скопипастю
с официального сайта:

The VMware vSphere Management Assistant (vMA) is a prepackaged Linux virtual machine in which administrators can deploy scripts and select third-party agents to manage ESX and ESXi systems. Software included in vMA includes vSphere CLI, an authentication component that supports non-interactive login, and a log collection component.

мой старый пост:

vMA - это ВМ. Бесплатно скачивается с соответствующего ресурса.
Зачем ее скачивать?
Она позиционируется как точка централизированного управления инфраструктурой на ESX.
Управления в смысле:
запуска команд и скриптов - для этого в эту ВМ предустановленны vSphere CLI - Remote Command Line Interface. (впрочем, сами vSphere CLIтак же можно получить в виде Virtual Appliance, кроме дистрибутивов под Win\Lin)
Кроме vSphere CLI, в составе этой ВМ есть, цитирую

Applications installed include VMware Tool, Perls command line tools that function similarly to the ESX service console commands, the VI Perl Toolkit, Java JRE 1.5, a VMware authentication component called vi-fastpass, a VMware logging component called vi-logger, and a Simple Network Management Protocol (SNMP) server.


Таким образом, если у нас появятся приложения, которые применяются для управления ESX'ами - можно их ставить в VIMA, и из одного места управлять всем. Тем более, есть модули для сквозной авторизации на ESX(i)/vCenter .
Плохая новость в том, что пока что с такими приложениями не густо. Я ни одного не знаю.

vmxnet 3

В 7ой версии виртуального железа, актуального для ESX(i)4, появился тип сетевого контроллера vmxnet3. Он самый лучший - это мы знаем. А посмотреть почему так, в цифирках можно тут - Performance Evaluation of VMXNET3 Virtual Network Device.

Сравнение по скорости:


меньше нагрузка на проц:


в случае 1Гб Ethernet в том числе:


Под Lunix тоже тестировали:


Однако, в случае гигабитного ethernet, разницы в скорости практически нет - только нагрузка на проц поменьше.

vm perfomance problems resolution

Очень, имхо, интересный pdf - Performance Community Document.
Конкретные рекомендации, куда смотреть и что делать когда проблемы с производительностью ВМ.

iSCSI StarWind Software

Коллеги, на осенней встрече VMUG 2009 компания StarWind Software хочет рассказать об iSCSI, и своей реализации программного iSCSI таргета. Чтобы лучше понять, что вам интересно, мы приготовили маленький опрос:

Опрос StarWind Software

Если что то из интересующего вас в опросе не отражено - велком в камменты.

VMware Fault Tolerance limitations

Углядел тут список ограничений и условий для VMware Fault Tolerance - VMware Fault Tolerance Requirements and Limitations.

ESX(i) Storage

Очень рекомендую к ознакомлению доку про разное касательно системы хранения esx(i) - Another VCDX Study Guide - Part 1:Storage. VMFS, multipathing и прочее.

HP Lefthand P4000 Virtual SAN Appliance

Обзор СХД HP Lefthand P4000 Virtual SAN Appliance.
Обзор СХД HP Lefthand P4000 Virtual SAN Appliance (часть II).

Программный iSCSI таргет в виде Virtual Appliance, c интересным функционалом.

PowerShell scripts for vSphere

Если вы применяете PowerShell для управления VI\vSphere, то страничка virtu-al.net/script-list/ относится к разряду must have.

message of the day

В vCenter есть такая штука, как "Message of the day" - сообщение, которое покажут при подключении к vCenter.
Его можно сделать очень бодрящим:


Однако, можно приспособить этот механизм подо что то полезное - показывать всякие хинты:


Вот тут - vTip – A VMware Expert updating your VI - можно углядеть скрипт, записывающий в это сообщение новую инфу.

esx + cli

Для тех из нас, у кого мозг не сосредоточен в кончиках пальцев ;-) имхо полезная подборка - 10 Basics of Linux that apply to managing VMware ESX through the service console.

esxi + 64mb usb stick

Из разряда скорее курьезов:

недавно обсуждался вопрос про размеры гипервизоров, я про это чуток написал тут - esxi footprint.
Суть какая - для ESXi 4 нужна флешка от гигабайта размером.

Однако!
При большом желании кому нибудь что нибудь доказать можно купить за большие деньги раритетную флешку о 64 мегабайтах, поработать напильником, и поставить полноценный ESXi 4 на нее - The VMware ESXi 4 64MB Hypervisor Challenge.

few answers from VMware's experts

Интересный пост - VMworld 2009 Ask the Experts Follow-Up.
Автор говорит, что для него на VMworld самой интересной секцией была Ask the Expert.( Это офигенно эфективная штука, когда есть конкретные вопросы - знаю лично по себе.)

Что привлекло мое внимание -

• Some experimenting has found PVscsi to use guest caching, and gets crazy perf with guest memory set reservations for databases, as they bypass guest OS memory mgmt and swap anyways;
• “Monitoring IO in vSphere w/o calling san” <- vscsi stats, vendor plugins, perf stats, IO DRS, datastore autotune. (про тулзу vscsi stats можно глянуть тут - Using vscsiStats for Storage Performance Analysis. Кстати, если кто в ней разберется - это было бы отличным докладом на vmug или отличным постом на блог. )
• “My boss administers his own snapshots…” <- Oh Shi…
• “Snapshots take a long time to commit…” <- Yes, they do, but try to use the storage level snapshot.

VMware User Group Community

Коллеги, с радостью сообщаю вам об организации очередной встречи сообщества VMware под кодовым название "VMUG 2009 осень".
Регистрация тут - vsphere.vm4.ru/vmug
Место проведения - Москва. Конкретное место определится ближе к делу, в зависимости от количества желающих.
Дата - 2 октября, пятница.
Время и место проведения уточняется, возможно на этот раз встреча будет на целый день, с 10 до 18. Ваше мнение нам тоже интересно - когда, что и сколько раз.

Кстати, мы всегда рады новым людям и новым докладам, так что если вы готовы выступить и поделиться опытом, то мы это будет только приветствовать. Призы за активное участие будут!

Потом по традиции неофициальная часть за кружечкой пива

Кому интересно поделиться своим опытом в небольшом докладе - с радостью готовы пообщаться, пишите mikhail.mikheev@vm4.ru.

Список докладов формируется, будет сообщено дополнительно.

Вопросы?

Purging old data from the database used by vCenter Server

В KB vmware скрипты для удаления из БД vCenter устаревших данных для уменьшения ее размера - Purging old data from the database used by vCenter Server.

VMware Client Hypervisor

Углядел немного подробностей про VMware CVP - Client Virtualization Platform.
Это будет маленький линукс с гипервизором, по мотивам ESXi, но работающий на десткопных и ноутбучных железках. По всей видимости, список поддерживаемых железок будет ограниченным, а в первое время после релиза - очень скромным.

Связанно это с тем, что VMware не планирует прямой проброс железок в ВМ на CVP (как VMDirectPath для ESX(i)) для возможности погамать в любимую игрушку на мощной видюхе.

Подход VMware другой, называется Advanced Device Emulation. Суть его в том, что с железками общается только гипервизор, ему нужны драйвера (этим обусловлен узкий круг поддерживаемого железа). Зато с помощью правильных драйверов и функций самого гипервизора ВМ смогут получать доступ к необходимым фичам железок, не имея к железкам непосредственного доступа.
Это запуск 3D приложений, это управление Wi-Fi сетями, проброс USB, доступ к e-SATA и картам памяти, шифрование vmx и vmdk с помощью TPM.

Клиентский гипервизор не будет предлагаться как отдельное решение, он будет строго частью VMware View.

Код CVP в большей степени основан на Linux версии Workstation, нежели ESXi. Пачти и драйвера строго от VMware.