Как сделать загрузочную флешку proxmox

Работа с кластером Proxmox: установка, настройка сети, ZFS, решение распространенных проблем

За последние несколько лет я очень тесно работаю с кластерами Proxmox: многим клиентам требуется своя собственная инфраструктура, где они могут развивать свой проект. Именно поэтому я могу рассказать про самые распространенные ошибки и проблемы, с которыми также можете столкнуться и вы. Помимо этого мы конечно же настроим кластер из трех нод с нуля.
Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Proxmox кластер может состоять из двух и более серверов. Максимальное количество нод в кластере равняется 32 штукам. Наш собственный кластер будет состоять из трех нод на мультикасте (в статье я также опишу, как поднять кластер на уникасте — это важно, если вы базируете свою кластерную инфраструктуру на Hetzner или OVH, например). Коротко говоря, мультикаст позволяет осуществлять передачу данных одновременно на несколько нод. При мультикасте мы можем не задумываться о количестве нод в кластере (ориентируясь на ограничения выше).

Сам кластер строится на внутренней сети (важно, чтобы IP адреса были в одной подсети), у тех же Hetzner и OVH есть возможность объединять в кластер ноды в разных датацентрах с помощью технологии Virtual Switch (Hetzner) и vRack (OVH) — о Virtual Switch мы также поговорим в статье. Если ваш хостинг-провайдер не имеет похожие технологии в работе, то вы можете использовать OVS (Open Virtual Switch), которая нативно поддерживается Proxmox, или использовать VPN. Однако, я рекомендую в данном случае использовать именно юникаст с небольшим количеством нод — часто возникают ситуации, где кластер просто “разваливается” на основе такой сетевой инфраструктуры и его приходится восстанавливать. Поэтому я стараюсь использовать именно OVH и Hetzner в работе — подобных инцидентов наблюдал в меньшем количестве, но в первую очередь изучайте хостинг-провайдера, у которого будете размещаться: есть ли у него альтернативная технология, какие решения он предлагает, поддерживает ли мультикаст и так далее.

Установка Proxmox

Proxmox может быть установлен двумя способами: ISO-инсталлятор и установка через shell. Мы выбираем второй способ, поэтому установите Debian на сервер.

Перейдем непосредственно к установке Proxmox на каждый сервер. Установка предельно простая и описана в официальной документации здесь.

Добавим репозиторий Proxmox и ключ этого репозитория:

Обновляем репозитории и саму систему:

После успешного обновления установим необходимые пакеты Proxmox:

Заметка: во время установки будет настраиваться Postfix и grub — одна из них может завершиться с ошибкой. Возможно, это будет вызвано тем, что хостнейм не резолвится по имени. Отредактируйте hosts записи и выполните apt-get update

С этого момента мы можем авторизоваться в веб-интерфейс Proxmox по адресу https:// :8006 (столкнетесь с недоверенным сертификатом во время подключения).

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 1. Веб-интерфейс ноды Proxmox

Установка Nginx и Let’s Encrypt сертификата

Мне не очень нравится ситуация с сертификатом и IP адресом, поэтому я предлагаю установить Nginx и настроить Let’s Encrypt сертификат. Установку Nginx описывать не буду, оставлю лишь важные файлы для работы Let’s encrypt сертификата:

Команда для выпуска SSL сертификата:

Не забываем после установки SSL сертификата поставить его на автообновление через cron:

Отлично! Теперь мы можем обращаться к нашему домену по HTTPS.

Заметка: чтобы отключить информационное окно о подписке, выполните данную команду:

Перед подключением в кластер настроим сетевые интерфейсы на гипервизоре. Стоит отметить, что настройка остальных нод ничем не отличается, кроме IP адресов и названия серверов, поэтому дублировать их настройку я не буду.

Создадим сетевой мост для внутренней сети, чтобы наши виртуальные машины (в моем варианте будет LXC контейнер для удобства) во-первых, были подключены к внутренней сети гипервизора и могли взаимодействовать друг с другом. Во-вторых, чуть позже мы добавим мост для внешней сети, чтобы виртуальные машины имели свой внешний IP адрес. Соответственно, контейнеры будут на данный момент за NAT’ом у нас.

Работать с сетевой конфигурацией Proxmox можно двумя способами: через веб-интерфейс или через конфигурационный файл /etc/network/interfaces. В первом варианте вам потребуется перезагрузка сервера (или можно просто переименовать файл interfaces.new в interfaces и сделать перезапуск networking сервиса через systemd). Если вы только начинаете настройку и еще нет виртуальных машин или LXC контейнеров, то желательно перезапускать гипервизор после изменений.

Теперь создадим сетевой мост под названием vmbr1 во вкладке network в веб-панели Proxmox.

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 2. Сетевые интерфейсы ноды proxmox1

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 3. Создание сетевого моста

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 4. Настройка сетевой конфигурации vmbr1

Настройка предельно простая — vmbr1 нам нужен для того, чтобы инстансы получали доступ в Интернет.

Теперь перезапускаем наш гипервизор и проверяем, создался ли интерфейс:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 5. Сетевой интерфейс vmbr1 в выводе команды ip a

Заметьте: у меня уже есть интерфейс ens19 — это интерфейс с внутренней сетью, на основе ее будет создан кластер.

Повторите данные этапы на остальных двух гипервизорах, после чего приступите к следующему шагу — подготовке кластера.

Также важный этап сейчас заключается во включении форвардинга пакетов — без нее инстансы не будут получать доступ к внешней сети. Открываем файл sysctl.conf и изменяем значение параметра net.ipv4.ip_forward на 1, после чего вводим следующую команду:

В выводе вы должны увидеть директиву net.ipv4.ip_forward (если не меняли ее до этого)

Настройка Proxmox кластера

Теперь перейдем непосредственно к кластеру. Каждая нода должна резолвить себя и другие ноды по внутренней сети, для этого требуется изменить значения в hosts записях следующих образом (на каждой ноде должна быть запись о других):

Также требуется добавить публичные ключи каждой ноды к остальным — это требуется для создания кластера.

Создадим кластер через веб-панель:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 6. Создание кластера через веб-интерфейс

После создания кластера нам необходимо получить информацию о нем. Переходим в ту же вкладку кластера и нажимаем кнопку “Join Information”:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 7. Информация о созданном кластере

Данная информация пригодится нам во время присоединения второй и третьей ноды в кластер. Подключаемся к второй ноде и во вкладке Cluster нажимаем кнопку “Join Cluster”:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 8. Подключение к кластеру ноды

Разберем подробнее параметры для подключения:

Вторая нода успешно подключена! Однако, такое бывает не всегда. Если вы неправильно выполните шаги или возникнут сетевые проблемы, то присоединение в кластер будет провалено, а сам кластер будет “развален”. Лучшее решение — это отсоединить ноду от кластера, удалить на ней всю информацию о самом кластере, после чего сделать перезапуск сервера и проверить предыдущие шаги. Как же безопасно отключить ноду из кластера? Для начала удалим ее из кластера на первом сервере:

После чего нода будет отсоединена от кластера. Теперь переходим на сломанную ноду и отключаем на ней следующие сервисы:

Proxmox кластер хранит информацию о себе в sqlite базе, ее также необходимо очистить:

Данные о коросинке успешно удалены. Удалим оставшиеся файлы, для этого необходимо запустить кластерную файловую систему в standalone режиме:

Перезапускаем сервер (это необязательно, но перестрахуемся: все сервисы по итогу должны быть запущены и работать корректно. Чтобы ничего не упустить делаем перезапуск). После включения мы получим пустую ноду без какой-либо информации о предыдущем кластере и можем начать подключение вновь.

Установка и настройка ZFS

ZFS — это файловая система, которая может использоваться совместно с Proxmox. С помощью нее можно позволить себе репликацию данных на другой гипервизор, миграцию виртуальной машины/LXC контейнера, доступ к LXC контейнеру с хост-системы и так далее. Установка ее достаточно простая, приступим к разбору. На моих серверах доступно три SSD диска, которые мы объединим в RAID массив.

Обновляем список пакетов:

Устанавливаем требуемые зависимости:

Устанавливаем сам ZFS:

Если вы в будущем получите ошибку fusermount: fuse device not found, try ‘modprobe fuse’ first, то выполните следующую команду:

Теперь приступим непосредственно к настройке. Для начала нам требуется отформатировать SSD и настроить их через parted:

Аналогичные действия необходимо произвести и для других дисков. После того, как все диски подготовлены, приступаем к следующему шагу:

Мы выбираем ashift=12 из соображений производительности — это рекомендация самого zfsonlinux, подробнее про это можно почитать в их вики: github.com/zfsonlinux/zfs/wiki/faq#performance-considerations

Применим некоторые настройки для ZFS:

Теперь нам надо рассчитать некоторые переменные для вычисления zfs_arc_max, я это делаю следующим образом:

В данный момент пул успешно создан, также мы создали сабпул data. Проверить состояние вашего пула можно командой zpool status. Данное действие необходимо провести на всех гипервизорах, после чего приступить к следующему шагу.

Теперь добавим ZFS в Proxmox. Переходим в настройки датацентра (именно его, а не отдельной ноды) в раздел «Storage», кликаем на кнопку «Add» и выбираем опцию «ZFS», после чего мы увидим следующие параметры:

ID: Название стораджа. Я дал ему название local-zfs
ZFS Pool: Мы создали rpool/data, его и добавляем сюда.
Nodes: указываем все доступные ноды

Данная команда создает новый пул с выбранными нами дисками. На каждом гипервизоре должен появится новый storage под названием local-zfs, после чего вы сможете смигрировать свои виртуальные машины с локального storage на ZFS.

Репликация инстансов на соседний гипервизор

В кластере Proxmox есть возможность репликации данных с одного гипервизора на другой: данный вариант позволяет осуществлять переключение инстанса с одного сервера на другой. Данные будут актуальны на момент последней синхронизации — ее время можно выставить при создании репликации (стандартно ставится 15 минут). Существует два способа миграции инстанса на другую ноду Proxmox: ручной и автоматический. Давайте рассмотрим в первую очередь ручной вариант, а в конце я предоставлю вам Python скрипт, который позволит создавать виртуальную машину на доступном гипервизоре при недоступности одного из гипервизоров.

Для создания репликации необходимо перейти в веб-панель Proxmox и создать виртуальную машину или LXC контейнер. В предыдущих пунктах мы с вами настроили vmbr1 мост с NAT, что позволит нам выходить во внешнюю сеть. Я создам LXC контейнер с MySQL, Nginx и PHP-FPM с тестовым сайтом, чтобы проверить работу репликации. Ниже будет пошаговая инструкция.

Загружаем подходящий темплейт (переходим в storage —> Content —> Templates), пример на скриншоте:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 10. Local storage с шаблонами и образами ВМ

Нажимаем кнопку “Templates” и загружаем необходимый нам шаблон LXC контейнера:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 11. Выбор и загрузка шаблона

Теперь мы можем использовать его при создании новых LXC контейнеров. Выбираем первый гипервизор и нажимаем кнопку “Create CT” в правом верхнем углу: мы увидим панель создания нового инстанса. Этапы установки достаточно просты и я приведу лишь конфигурационный файл данного LXC контейнера:

Кликаем на LXC контейнер и переходим во вкладку “Replication”, где создаем параметр репликации с помощью кнопки “Add”:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 12. Создание репликации в интерфейсе Proxmox

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 13. Окно создания Replication job

Я создал задачу реплицировать контейнер на вторую ноду, как видно на следующем скриншоте репликация прошла успешно — обращайте внимание на поле “Status”, она оповещает о статусе репликации, также стоит обращать внимание на поле “Duration”, чтобы знать, сколько длится репликация данных.

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox
Изображение 14. Список синхронизаций ВМ

Теперь попробуем смигрировать машину на вторую ноду с помощью кнопки “Migrate”

Начнется миграция контейнера, лог можно просмотреть в списке задач — там будет наша миграция. После этого контейнер будет перемещен на вторую ноду.

Ошибка “Host Key Verification Failed”

Иногда при настройке кластера может возникать подобная проблема — она мешает мигрировать машины и создавать репликацию, что нивелирует преимущества кластерных решений. Для исправления этой ошибки удалите файл known_hosts и подключитесь по SSH к конфликтной ноде:

Примите Hostkey и попробуйте ввести эту команду, она должна подключить вас к серверу:

Особенности сетевых настроек на Hetzner

Переходим в панель Robot и нажимаем на кнопку “Virtual Switches”. На следующей странице вы увидите панель создания и управления интерфейсов Virtual Switch: для начала его необходимо создать, а после “подключить” выделенные сервера к нему. В поиске добавляем необходимые сервера для подключения — их не не нужно перезагружать, только придется подождать до 10-15 минут, когда подключение к Virtual Switch будет активно.

После добавления серверов в Virtual Switch через веб-панель подключаемся к серверам и открываем конфигурационные файлы сетевых интерфейсов, где создаем новый сетевой интерфейс:

Давайте разберем подробнее, что это такое. По своей сути — это VLAN, который подключается к единственному физическому интерфейсу под названием enp4s0 (он у вас может отличаться), с указанием номера VLAN — это номер Virtual Switch’a, который вы создавали в веб-панели Hetzner Robot. Адрес можете указать любой, главное, чтобы он был локальный.

Отмечу, что конфигурировать enp4s0 следует как обычно, по сути он должен содержать внешний IP адрес, который был выдан вашему физическому серверу. Повторите данные шаги на других гипервизорах, после чего перезагрузите на них networking сервис, сделайте пинг до соседней ноды по IP адресу Virtual Switch. Если пинг прошел успешно, то вы успешно установили соединение между серверами по Virtual Switch.

Я также приложу конфигурационный файл sysctl.conf, он понадобится, если у вас будут проблемы с форвардингом пакетом и прочими сетевыми параметрами:

Добавление IPv4 подсети в Hetzner

Перед началом работ вам необходимо заказать подсеть в Hetzner, сделать это можно через панель Robot.

Создадим сетевой мост с адресом, который будет из этой подсети. Пример конфигурации:

Теперь переходим в настройки виртуальной машины в Proxmox и создаем новый сетевой интерфейс, который будет прикреплен к мосту vmbr2. Я использую LXC контейнер, его конфигурацию можно изменять сразу же в Proxmox. Итоговая конфигурация для Debian:

Обратите внимание: я указал 26 маску, а не 29 — это требуется для того, чтобы сеть на виртуальной машине работала.

Добавление IPv4 адреса в Hetzner

Ситуация с одиночным IP адресом отличается — обычно Hetzner дает нам дополнительный адрес из подсети сервера. Это означает, что вместо vmbr2 нам требуется использоваться vmbr0, но на данный момент его у нас нет. Суть в том, что vmbr0 должен содержать IP адрес железного сервера (то есть использовать тот адрес, который использовал физический сетевой интерфейс enp2s0). Адрес необходимо переместить на vmbr0, для этого подойдет следующая конфигурация (советую заказать KVM, чтобы в случае чего возобновить работу сети):

Перезапустите сервер, если это возможно (если нет, перезапустите сервис networking), после чего проверьте сетевые интерфейсы через ip a:

Как здесь видно, enp2s0 подключен к vmbr0 и не имеет IP адрес, так как он был переназначен на vmbr0.

Теперь в настройках виртуальной машины добавляем сетевой интерфейс, который будет подключен к vmbr0. В качестве gateway укажите адрес, прикрепленный к vmbr0.

В завершении

Надеюсь, что данная статья пригодится вам, когда вы будете настраивать Proxmox кластер в Hetzner. Если позволит время, то я расширю статью и добавлю инструкцию для OVH — там тоже не все очевидно, как кажется на первый взгляд. Материал получился достаточно объемным, если найдете ошибки, то, пожалуйста, напишите в комментарии, я их исправлю. Всем спасибо за уделенное внимание.

Автор: Илья Андреев, под редакцией Алексея Жадан и команды «Лайв Линукс»

Источник

Глава 1. Установка Proxmox

В данной главе мы охватим следующие основы Proxmox:

Требования к аппаратным средствам

Подготовку к установке

Установку Proxmox на голом узле

Установку Proxmox на Debian системы

Запрет подписок Proxmox

Применение подписок Proxmox

Установку репозитория пакетов Proxmox

Содержание

Введение

Virtual Environment (VE) (виртуальня среда) Proxmox является многоузловым кластерным гипервизором с открытым исходным кодом, построенным на Debian Linux и способным работать на общедоступных аппаратных средствах, те самым устраняя любые блокировки вендора. Proxmox свободно доступен без каких-либо блокированных особенностей. Тем не менее, доступна лицензия подписного типа для доступности репозитория уровня предприятия для получения хорошо проверенных патчей и обновлений. Подписки рекомендуются для Proxmox среды промышленного уровня.

Гипервизор представляет собой программное обеспечение или встроенное ПО, которое создает слой между естественным оборудованием и операционной системой для формирования виртуальной среды создания и запуска виртуальных машин. Гипервизор эмулирует функции физического оборудования для предоставления виртуальным машинам выглядеть аналогично физическим ресурсам.

Proxmox может быть настроен для работы в виртуальной среде всего нескольких узлов с виртуальными машинами или в среде с тысячами узлов. Поддерживая виртуальные машины KVM и OpenVZ на базе контейнеров, Proxmox VE является сегодня ведущим гипервизором. Proxmox имеет чрезвычайно активное сообщество готовое оказывать помощь любым бесплатным пользователям Proxmox. Кроме того, группа экспертов технической поддержки Proxmox в равной степени способно обрабатывать всех корпоративных пользователей с их критически важными виртуальными средами.

Вот некоторые из примечательные особенности Proxmox VE:

Он обеспечивает мультиузловую кластерную среду для виртуализации. Ни один узел не выступает в качестве ведущего, тем самым устраняя единую точку отказа.

Он обеспечивает высокую доступность (HA, High Availability) виртуальных машин.

Он дает централизованное веб-управление и единый интерфейс для управления всем кластером.

Консоль может быть доступна через безопасные VNC, SPICE и HTML5 на основе noVNC.

Proxmox cluster fie system (pmxcfs) может быть использована для для хранения файлов настройки для репликации в реальном времени на всех узлах с применением corosync http://en.wikipedia.org/wiki/Corosync_%28project%29

Она обеспечивает ролевое управление разрешениями для объектов VMS, хранилищ, узлов, пулов и тому подобного.

В отличие от SOAP, REST не является протоколом, но сочетает различные стандарты, такие как HTTP, JSON, XML и URI. Посетите http://www.restapitutorial.com для информации о базирующемся на REST API.

Он предоставляет мощный встроенный межсетевой экран для хост- узлов и виртуальных машин.

Он обеспечивает миграцию виртуальных машин между физическими узлами приналичии общего хранилища или без него.

Он поддерживает типы систем хранения основного направления, такие как Ceph, NFS, ZFS, Gluster и ISCSI.

Он предоставляет регистрацию по всему кластеру.

Требования к аппаратным средствам

Приведем здесь рекомендуемые конфигурации аппаратных средств для стабильно работающего кластера Proxmox:

64-битный процессор Intel или Amd

Материнская плата с поддержкой двух- или четырех- ядерного Intel VT или Amd-V

Две карты сетевых адаптеров (NIC, Network Interface Card)

RAID контроллер с устройством резервной батареи (BBU, Battery Backup Unit)

Твердотельные диски (SSD, Solid State Drive) для операционной системы или SSD для совместно используемого узла

Ограждающее оборудование только в случае необходимости высокой доступности

Для получения дополнительной информации об ограждающем оборудовании посетите https://pve.proxmox.com/wiki/Fencing.

Следующая таблица приводит список конфигурации узла сервера, который может быть использован в промышленной среде:

Intel Xeon E5-2630 v3 2.4ГГц

Intel S2600CP2 Dual LGA2011

Kingston 16 GB DDR3 Registered ECC

Отметим, что пример конфигурации приводится исключительно для справки. Ваше требования будут варьироваться в зависимости от рабочей нагрузки и ожидаемой производительности. Регулируйте требования к оборудованию в соответствии с пониманием того, что большее число ядер в гипервизоре повысит производительность виртуальных машин также как более высокое значение тактовой частоты используемого процессора. При более высоком числе ядер между процессами может быть распределено большее число потоков (threads).

Стоит упомянуть, что лучше выбрать процессор с бОльшим размером кэша для узла с большИм объемом памяти для минимизации доступа к основной памяти и максимизации производительности каждого процессорного ядра.

Proxmox является кластерным гипервизором. Для того, чтобы построить кластер требуется, как минимум, два узла. Для преследуемых этой книгой целей убедитесь что вы располагаете достаточным количеством компонентов для установки двух узлов при выборе оборудования.

Для получения дополнительной информации по Proxmox посетите http://www.proxmox.com/.

Хотя кластер Proxmox может быть установлен только на два узла, рекомендуется применять минимум три узла для промышленной среды.

В кластере кворум устанавливается, как минимум тремя голосами. Каждый узел считается одним голосом. Благополучие кластера зависит от такой демократической системы, при которой побеждает большинство голосов. Так, в кластере из двух узлов при выходе из строя одного узла другой узел может подать только один голос, создавая неразрешимую ситуацию. В кластере с тремя узлами, при отказе одного узла, общее число голосов от оставшихся узлов составит два возможных голоса из трех. Таким образом, работа кластера продолжится. В любом случае, кластер из двух узлов не рекомендуется для промышленного кластера. Тем не менее, он все еще может быть создан с помощью инструкции доступной на https://pve.proxmox.com/wiki/TwoNode_High_Availability_Cluster.

Подготовка к установке

После того, как необходимое оборудование собрано, в данном рецепте мы собираемся рассмотреть что нам подготовить перед установкой Proxmox.

Приготовление

Для установки Proxmox мы собираемся применять установочный диск Proxmox VE. Вначале нам необходимо подготовить диск с установочным образом ISO Proxmox.

Как это сделать.

Вот шаги по установке Proxmox:

Загрузите физический узел с подготовленного на предыдущем шаге диска для начала установки.

Есть кое-что еще.

Некоторые узлы не могут иметь ROM устройств, доступных для установки с диска. В таких случаях, можно установить Proxmox путем переноса образа ISO на флэш-накопитель USB. Обратите внимание, что для того, чтобы загрузиться с USB флеш-диска, ваша материнская плата должна поддерживать опцию загрузки с USB. Проверьте в BIOS <Прим.пер.: firmware>материнской платы, прежде чем приступать к следующим шагам. Если материнская плата не поддерживает опцию загрузки с USB, она также не сможет поддерживать внешнее USB ROM-устройство. В этом случае для продолжения лучше всего установить ROM диск в компьютер или воспользоваться новой материнской платой, если это возможно. Вот инструкции для переноса образа ISO на USB и его использования в качестве загрузочного диска:

В Windows воспользуйтесь следующими шагами:

В некоторых версиях Windows 7, предыдущее средство записи может не может работать. В этом случае, загрузите и установите ImageUSB с http://www.osforensics.com/tools/write-usb-images.html.

Пользуясь загруженным инструментом перенесите ISO образ на USB-устройство.

Вставьте USB носитель в USB порт физического узла и загрузитесь с USB носителя <Вы уже проверили, что firmware материнской платы узла поддерживает загрузку с USB!>.

В Linux применяйте следующие шаги:

Примените следующую команду для копирования ISO на USB носитель. Будьте очень аккуратны при использовании устройства в имени следующей команды. Неверное имя устройства уничтожит все данные на этом устройстве:

Установка Proxmox на голом узле

Процесс установки Proxmox полностью управляется графическим интерфейсом с помощью различных подсказок. В этом рецепте мы последуем следующими шагами в создании нашего первого узла Proxmox.

Приготовление

Включите питание и загрузите физический узел, используя установочный диск или USB-носитель созданный нами в предыдущем рецепте. На следующий снимок экрана показывает как выглядит экран после загрузки:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Как это сделать.

В главном окне установки после завершения процесса загрузки нажмите для запуска установки.

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Определяет размер раздела подкачки. Существуют сложные формулы для расчета этого значения. Тем не менее, как правило, оставляется в качестве значения по умолчанию.

Относится к максимальному размеру, который должен иметь корневой каталог.

Относится к минимальному свободному пространству для выделения разделу pve.

Относится к максимальному пространству для выделения локальному хранилищу виртуальных машин. Путь по умолчанию для локального хранения виртуальных машин это /var/lib/vz

Следующий снимок экрана показывает поддерживаемые файловые системы после нажатия на ниспадающее меню:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Введите и подтвердите пароль для пользователя root. Затем введите адрес е-mail, на который отсылать все уведомления кластера Proxmox. Нажмите на Next

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Есть кое-что еще.

Следуйте шагам с 1 по 7 на втором узле. Для Proxmox кластера минимально требуются два узла. Дополнительная информация по настройке кластера доступна в Главе 3. Управление кластером и виртуальными машинами.

Установка Proxmox на Debian системы

Хотя рекомендуется установка Proxmox на естественном голом узле, время от времени может оказаться необходимым установить Proxmox на существующем узле Debian. В данном рецепте мы увидим как устанавливать Proxmox VE на Debian. Обратите внимание, что Proxmox может быть установлена только на 64-разрядном оборудовании и 64-разрядной операционной системе.

Приготовление

Установите Debian следуя указаниям официального сайта Debian на http://www.debian.org. Перед установкой Proxmox на узле Debian, убедитесь, что имя хоста может быть разрешено. Проверьте имя хоста, используя следующую команду:

Вы должны получить следующие записи:

Если записи утрачены, введите соответствующий IP адрес ассоциируемый с именем хоста узла. Запись epel.repo должна присутствовать в конце строки.

Как это сделать.

Примените следующие шаги для установки Proxmox на системуDebian:

Добавьте репозиторий Proxmox VE в список источника следующим образом:

Добавьте ключ репозитория Proxmox VE применив следующую команду:

Обновите репозиторий использовав следующую команду:

Обновите операционную систему с применением следующей команды:

Установите ядро Proxmox VE:

Установите заголовки ядра:

Убедитесь, что ядро Proxmox выбрало загрузчиком grub2

Перезагрузите узел для активации нового ядра Proxmox VE.

Проверьте работы ядра чтобы убедиться, что загружено необходимое ядроProxmox VE:

Проверьте настройку grub2 используя следующую команду:

Установите пакеты Proxmox VE:

Перезагрузите Proxmox VE после завершения установки.

Есть кое-что еще.

Следуйте шагам с 1 по 13 для установки второго узла. Для Proxmox кластера минимально требуются два узла. Мы сделаем более хороший обзор графического интерфейса Proxmox в Главе 2. Знакомство с графическим интерфейсом Proxmox.

Подписки Proxmox

Proxmox VE сам по себе свободен для применения. Не существует абсолютно никаких платежей включенных в загрузку простого образа ISO и установки полнофункционального кластера Proxmox без оплаты лицензий или подписок. Тем не менее, существует опция подписки Proxmox для поддержки проекта, которая делает доступным репозиторий уровня предприятия. Не существует различий функционала для Proxmox версий Free (свободная) и Subscription (подписка). Они одни и те же. Разница заключается между типом выпусков, обновлений и исправлений, которые они получают.

Пакеты из репозитория предприятия проходят сквозь дополнительный уровень безопасности и тестирования. Таким образом, subscription (подписка) рекомендуется для Proxmox VE производственного уровня.

Это не следует путать с тем фактом, что кластер Proxmox построенный без подписки и не достаточно стабилен для применения. Новые пакеты, как правило, выпускаются вначале через не подписной репозиторий. Такие же пакеты выкладываются через репозиторий уровня предприятия позже. Эта задержка позволяет команде Proxmox поставить точку и исправить любые затяжные ошибки или дефекты в пакете. Из-за ошибок кластер, работающий с критически важными виртуальными машинами, может столкнуться с неприемлемыми простоями, которые не повлияют на среды меньшего размера,которые в состоянии выдержать время простоя.

Запрет подписок Proxmox

Только что установленный Proxmox VE без подписки высветит после входа в Proxmox GUI сообщение, показанное на следующем сохраненном экране:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Это происходит потому, что по умолчанию разрешен репозиторий уровня предприятия. Если вы решите не получать никакую подписку Proxmox и продолжать использовать полностью свободную версию, вы должны запретить репозиторий уровня предприятия.

Приготовление

Зарегистрируйтесь на узле Proxmox через консоль SSH. Репозиторий уровня предприятия может быть отключен только из командной строки.

Как это сделать.

Добавьте репозиторий Proxmox без подписки следующим образом:

Как это работает.

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Применение подписок Proxmox

Для активации подписки необходимо загрузить на узел Proxmox ключ подписки, если вы выбрали подписку Proxmox любого типа. Ключ подписки высылается электронным письмом после успешной оплаты. Ключ может может быть загружен через графический интерфейс Proxmox.

Приготовление

Зарегистрируйтесь в Proxmox GUI с помощью доступа через ссылку в браузере и введите учетные данные администратора. Имя пользователя по умолчанию root, а пароль тот же, что был введен при установке: https://

Как это сделать.

После регистрации в Proxmox GUI нажмите на узел, к которому будет применяться подписка.

Нажмите на кнопку Upload Subscription Key чтобы открыть диалоговое поле ввода ключа, как показано на сохраненном экране ниже:.

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

Есть кое-что еще.

Если был введен недопустимый ключ, то отображаемое на дисплее должно быть похоже на следующее:

Как сделать загрузочную флешку proxmox. Смотреть фото Как сделать загрузочную флешку proxmox. Смотреть картинку Как сделать загрузочную флешку proxmox. Картинка про Как сделать загрузочную флешку proxmox. Фото Как сделать загрузочную флешку proxmox

В этом случае просто загрузите правильный ключ и активируйте его снова. Также вы можете увидеть замечание о недопустимости ключа в случае, когда ключ уже был активирован для другого узла, который больше не обслуживается. В этом случае обратитесь в Proxmox или к третьему поставщику лицензии, у которого она была приобретена сзапросом повторного выпуска той же лицензии. Затем просто кликните кнопку Check для повторной активации ключа. Каждый ключ жестко программируется с каждым ID сервера. Ключ должен быть перевыпущен Promox для его применения.

Пожалуйста, имейте в виду, что, как только ключ переиздан, он больше не будет работать на предыдущем узле, на котором он был активирован. Если вы попросили переиздать лицензию по ошибке, попросите переиздать его снова и нажмите на кнопку Check на предыдущем узле.

Установка репозитория пакетов Proxmox

Proxmox VE предлагает три главных репозитория:

ПотребностьАппаратные средства

В основном используется в промышленных узлах Proxmox. Пакеты в этом хранилище проходят дополнительные контроль, исправление ошибок и тестирование.

Применяется для обучения, тестирования и домашних узлов кластера Proxmox. Пакеты в этом репозитории проходят через первичное тестирование на ошибки и достаточно стабильны чтобы быть ссылками в качестве конечного выпуска.

Применяется только для тестирования и разработки Proxmox. Пакеты вэтом репозитории обычно самые последние и все еще находятся в стадии окончательных фаз цикла выпуска таких, как бета- тестирование, и кандидат выпуска. Пакеты в данном репозитории могут содержать ряд ошибок и проблем. Пользователи данного репозитория поощряются разработчиками в распространении сообщений об ошибках.

Местоположение и содержание файла источника Enterprise Repository следующее:

Местоположение и содержание файла источника No-Subscription Repository следующее:

Proxmox предлагает Test Repository чтобы дать возможность пользователям попробовать новые свойства или пакеты. Все новые свойства Proxmox выпускаются в тестовом репозитории до того, как они станут доступными в репозиторях без подписки и уровня предприятия. Пакеты в тестовом репозитории не прошли полное тестирование и могут содержать ошибки. По этой причине данный репозиторий никогда не должен применяться в кластере промышленного уровня. По умолчанию тестовый репозиторий не доступен.

Приготовление

Зарегистрируйтесь на узле Proxmox через консоль или SSH. Для подключения тестового репозитория понадобится отредактировать с применением CLI файл источников репозитория.

Как это сделать.

Используйте следующие этапы для установки репозитория пакетов Proxmox:

Откройте файл источников репозитория с помощью любого любимого текстового редактора:

Сделайте необходимые изменения чтобы записи выглядели похожими на следующие:

Сохраните файл и выйдите из редактора.

Выполните следующую команду для обновления репозиториев:

Как это работает.

Как правило, объявление о наличии нового пакета осуществляется на официальном форуме Proxmox (http://forum.proxmox.com). Название пакета или информация о версии содержатся в объявлении. Если вы хотите информацию по пакету, просто спросить об этом на форуме. Если у вас есть необходимая информация, просто выполните команду apt-get для установки пакета через CLI:.

Есть кое-что еще.

В рамках репозиториев Enterprise, No-Subscription и Test существует два устаревших репозитория, которые больше не поддерживаются и не обновляются:

Outdated stable repository (pve) : Данный репозиторий прекратил получение обновлений после начального выхода Proxmox VE 3.1:

Outdated Proxmox VE 2.x stable repository (squeeze pve) : Чтобы иметь стабильный узел Proxmox настоятельно рекомендуется модернизировать и обновить Proxmox VE на последний стабильный выпуск.

Поиск поддержки

Как отмечалось в начале данной главы, Proxmox имеет активное сообщество пользователей готовых оказать помощь любому нуждающемуся в ней. Существует несколько способов которыми новый пользователь Proxmox может обратиться за помощью и поддержкой для обучения и расширения знания о Proxmox VE:

РепозиторийПодпискаПрименение

Портал пользователей и билеты

Список рассылки Promox

Отслеживание ошибок Promox

Форум

Официальный форум Proxmox является местом сбора для новичков или экспертов для получения или предоставления помощи от сообщества Proxmox. Это также обширный информационный ресурс последних вопросов и решений многих проблем. Некоторые из сотрудников Proxmox также проводят значительное количество времени в этом форуме, чтобы предложить помощь за пределами своих должностных обязанностей. Существует массив экспертов Proxmox готовых помочь, не ожидая ничего взамен. Это единственное место поиска поддержки для пользователей Proxmox Free и с подпиской на уровне COMMUNITY. Для доступа к официальному форуму посетите Proxmox http://forum.proxmox.com.

Вики/ Документация

Proxmox сайт Wiki содержит большое количество информации об установке, настройке и управлении кластеров Proxmox. Вся документация написана в очень доступной для понимания форме с большим количеством иллюстраций, где это возможно. Использование страницы Proxmox Wiki является полностью бесплатным и не требует регистрации. Посетите https://pve.proxmox.com/wiki/Main_Page для знокамства с официальной документацией Proxmox.

Портал пользователей и билеты

Пользовательский портал доступен только для пользователей с уровней подписки BASIC, STANDARD и PREMIUM. Билеты подписки должны открываться на пользовательском портале https://my.proxmox.com/ для получения технической поддержки напрямую от персонала Proxmox.

В зависимости от уровня подписки отличается число билетов, которое может быть открыто. Отклики гарантируются в течение одного бизнес- дня. Ознакомьтесь с различными уровнями поддержки для подписок посетив https://www.proxmox.com/proxmox-ve/pricing.

Список рассылки Promox

Существует два различных списка почтовых рассылок доступных в Proxmox:

User mailing list: : Этот список почтовых рассылок имеет адресатами обычных пользователей Proxmox для задания технических вопросов ( http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-user)

Developer mailing list: : Этот список почтовых рассылок предназначен для разработчиков, которые интересуются участием в вопросах, связанных с обязательствами и разработкой связанными с кодом ( http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-devel)

Отслеживание ошибок Promox

Трекер ошибок Proxmox доступен для представления и рассмотрения каких-либо ошибок, найденных в Proxmox в течение повседневного применения (https://bugzilla.proxmox.com/). Он также может быть использован для передачи запросов на новую функциональность. Не все функции будут добавлены в Proxmox, но разработчики Proxmox мыслят намного вперед и применяют время назначения и основной поток функциональности, чтобы сделать Proxmox VE еще лучше.

Трекер ошибок Proxmox НЕ используется для задания технических вопросов или поиска поддержки любого вида.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Помощь и поддержкаСвободная/ подписка