Мой вариант — Proxmox VE Я выбираю Proxmox VE, и вот почему. Во-первых, это хоть и бесплатный продукт, но с платной техподдержкой для Enterprise-уровня, и это накладывает отпечаток на весь дистрибутив. По той причине, что он выпускается не сообществом, а фирмой, он как минимум, не собран на коленках, как OMV, лишён космических амбиций как Truenas Scale, в отличии от Unraid, он рассчитан на работу 24×7 в Enterprise-среде, где активно и применяется, и при этом распространяется бесплатно с открытым исходным кодом, который проходит аудит сообщества, что отличает его от QNAP QTS и Synology DSM. Ядром Proxmox VE является Debian Linux, что даёт доступ к любому софту и любому современному железу, устанавливаемому в сервер (в отличии от VMware ESXi). В сообществе Proxmox VE часто подчёркивают, что данный дистрибутив — это не решение для NAS, но с моей точки зрения даже в базе Proxmox имеет достаточно, чтобы стать платформой для СХД, ведь это гипервизор с собственным слоем хранения, причём во главу угла здесь поставлена самая софременная файловая система ZFS, но при этом есть возможность создавать LVM тома, есть поддержка BTRFS RAID, EXT4 и XFS. Для мониторинга дисков есть SMART, для экспорта метрик — поддержка Graphite и InfluxDB, для отказоустойчивости — встроенный High Availability, распределённое хранилище — Ceph, а ещё двухфакторная аутентификация, API токены, собственный бэкап сервер и даже свой Firewall. То есть, в качестве платформы с Web-управлением, Proxmox выглядит зрело и функционально. Нет, скажем так: после 5 лет работы с VMware ESX, я не понимаю, почему я не перешёл на Proxmox VE раньше. Чего нет в базе Proxmox VE — это всего, что касается шаринга файлов, и всё придётся настраивать самостоятельно. Нет никаких плагинов и магазинов приложений, так что здесь в ход пойдут контейнеры, но в базе и с ними беда: Proxmox VE не поддерживает Docker, то есть весь мир с миллионами программ, устанавливающихся в одну команду, остаётся за бортом. Вместо Docker разработчики сделали упор на LXC, контейнерную виртуализацию, которая с моей точки зрения, что называется, «не взлетела» нигде, кроме как у low-cost VPS хостингов: плюсов перед аппаратной виртуализацией не много, а стандартом де-факто для контейнеров стали Docker в SMB/SOHO и Kubernetes в Enterprise, оставив LXС за бортом. Нормального бесплатного решения, аналогичного Proxmox с поддержкой Docker, в природе не существует, а без Docker пойди-ка настрой свой аналог Synology… Можно попытаться воссоздать программную платформу своими силами через Ubuntu с панелью управления Cockpit, но там нет такого уровня управления подсистемой сети и СХД, можно попробовать Webmin, но там нет такого управления виртуалками и контейнерами. И как бы я ни был против того, чтобы плодить сущности, но придётся устанавливать вручную Docker на Proxmox VE, и в качестве интерфейса управления — Portainer. Почему я ставлю Docker на сам хост, а не в виртуалку или LXC контейнер? Да потому, что инсталляция его в LXC не рекомендуется по причине падения производительности, а виртуалка даст лишний слой изоляции, который в моём случае будет просто мешать. Synology DSM 7.1 TrueNAS Core 13.0 TrueNAS Scale 22.12-RC1 OMV 6.0.46 Unraid 6.11 Proxmox VE 7.2 Файловая система EXT4, BTRFS ZFS ZFS EXT3, EXT4, BTRFS, F2FS, JFS, XFS, через плагины: ZFS XFS, BTRFS, ReiserFS XFS, EXT4, BTRFS, ZFS Блочный RAID Да Да Да Да Только для LVM пулов Cache и VM Да Файловый RAID Нет Нет Нет Да, через плагин Snapraid Да Нет Шифрование На уровне тома На уровне тома На уровне тома Нет На уровне диска Через CLI, на уровне тома и диска Качество плагинов Отлично Неуд. Неуд. Средн. Хорошо N/A Качество виртуализации Отлично Ужасно Хорошо N/A Средне Отлично Нативная поддержка Docker Отлично N/A Kubernetes Никак Хорошо N/A Нативная поддержка SMB/NFS/iSCSI/Rsync Отлично Отлично Отлично Хорошо Средне N/A Поддержка High Avail. Отлично Хорошо Хорошо N/A N/A Отлично Поддержка распред. файловых систем Нет Нет Нет Нет Нет Ceph Возможность кастомизации самой ОС под свои нужды Нет Нет Хорошо Хорошо Плохо Отлично Широко используется в бизнес-среде для сервисов 24×7 Да Да Да Нет Нет Да В Synology вы не могли, да и не имело особого смысла заниматься планированием хранилища: настройте несколько пулов и нарежьте их на тома — делов-то… В случае с Proxmox VE у нас настоящая свобода выбора. Планирование хранилища На аппаратном уровне я не нашёл ничего лучше, чем установить Proxmox на RAID-1 (ZFS Mirror) из SSD объёмом 128 Гб. Это могут быть NVME или SAS/SATA диски, не обязательно высокого класса: на них будет находиться сама ОС и хранилище для ISO файлов виртуальных машин и образов контейнеров. В основном здесь будут производиться операции чтения, поэтому и TLC накопители, и QLC здесь можно использовать даже без дополнительного охлаждения. Для высокопроизводительного слоя, используемого виртуалками и контейнерами, можно использовать U.2 PCI Express накопители, если в корпусе есть соответствующая корзина, или М.2 SSD, которые удобно устанавливать через платы бифуркации, позволяющие в 1 слот PCI Express 16x подключить 4 накопителя. Такие платы достаточно дёшевы, поскольку не имеют никаких чипов на борту, а RAID из NVME можно поднять через тот же ZFS, нативно для Proxmox. Здесь же можно создать зашифрованные тома с личными данными пользователей. Proxmox совершенно не против RAID-контроллеров, и если есть современный адаптер уровня Adaptec начиная с 7-й или 8-й серии или более поздний, то можно включив режим RAID Expose RAW, часть накопителей объединить в аппаратный RAID 5 с кэшированием и горячей подменой, получив огромную скорость линейной записи буквально любых объёмов на HDD, а часть экспонировать операционной системе в голом виде (так называемый RAW режим), чтобы управлять ими на программном уровне. Для форматирования логических дисков аппаратного RAID можно использовать файловую систему XFS, как наиболее быструю при работе поверх многодисковых массивов, а для контроля работы — установить на хост arcconf, megacli или другую родную утилиту для RAID-контроллера. Я не являюсь адептом ZFS и считаю, что сегодня есть место и для программно-определяемых хранилищ, и для аппаратных, тем более что современные RAID-контроллеры дают гибкость в выборе и возможности расширения дисковой конфигурации. Для слоя архивного хранения документов и медиа-файлов я выбираю решение Snapraid + MergerFS. Это достаточно распространённая связка для организации отказоустойчивости массива с файловым RAID за счёт создания выделенных накопителей чётности, подобно тому, как сделано в Unraid. Это решение подходит только для редко изменяемых данных, оно позволит работать с большим количеством дисков, как с единым томом, а на случай аварии выдерживать выпадение до 6 дисков с полным восстановлением данных, плюс к этому — восстанавливаться на меньшее число накопителей, то есть сжимать массив. Итого, выбирая Proxmox VE в качестве платформы, я получаю: поддержку аппаратных RAID контроллеров, разные файловые системы для разных задач, отказоустойчивый загрузочный том NVME массив дедупликацию, снэпшоты и сжатие одним из многих алгоритмов на уровне файловой системы ZFS возможность создавать зашифрованные тома в пределах ZFS поддержку снэпшотов и репликации аппаратную виртуализацию enterprise-класса контейнерную виртуализацию Docker + LXC с прямым доступом к storage слою и железу поддержку большого стека современного и устаревшего (!) железа полную бесплатность программной части возможность практически бесконечно увеличивать подсистему хранения современный Web-интерфейс для управления платформой Это несравнимо больше, чем я мог бы получить даже от тяжёлых серверов Synology бизнес-класса, но чего я не получаю на данном этапе — это SSD-кэширования для любых типов массивов, кроме ZFS, это поддержки облачного управления для доступа к серверу за NAT провайдера, красивого рабочего стола со сменными обоями и мобильных приложений на смартфон. Ничего, в следующей части всё исправим.