Аппаратная структура СХД
Система хранения данных представляет собой длинную и сложную цепочку компонентов. При построении учитывается как физическое размещение накопителей, так и уровни взаимодействия между каждым каскадом. Также инженеры продумывают компоновку контроллеров внутри стойки или системного блока, уровни передачи сигнала, протоколы сетевого доступа и, непосредственно, доступ для конечного пользователя.
Более наглядно схема выглядит так:
Каждый компонент играет заранее отведенную роль и представляет собой независимую единицу, которую можно модернизировать со временем. Наша цель — показать вам, как работает цепочка, за что отвечают компоненты, и от чего, в теории, может страдать суммарная производительность системы в процессе эксплуатации.
Накопители
Отбросим старые советские машины, работающие на магнитной ленте, перфокартах и паровой тяге. Сосредоточимся лучше на современных компонентах: HDD и SSD/NVMe. Именно эти парни будут задавать тон всей системе, потому как являются, по сути, сильной и слабой стороной хранилища. Иными словами: скорость устройства на чтение и запись напрямую говорит о пропускной способности СХД в целом. Контроллеры лишь направляют сигнал, но увеличить скорость шпинделя не в состоянии.
При подборе накопителя следует учесть ряд технических параметров, включая интерфейс подключения, форм-фактор и емкость. Но давайте обо всем по порядку.
На что смотреть при выборе HDD/SSD
Мы вас наверняка удивим, но на объем накопителя стоит смотреть в последнюю очередь. Для начала — интерфейс подключения. Именно он определяет критически важные аспекты устройства:
- пропускная способность;
- масштабируемость системы;
- поддержка горячей замены;
- задержки;
- итоговая цена.
Самые распространенные интерфейсы для серверного оборудования — SATA и SAS. Соответствующими разъемами наделяют не только стандартные жесткие диски, но и твердотельные накопители. Но если для HDD в этом нет ничего критичного в силу невысокой пропускной способности, то «твердотельники» от подобного подхода откровенно страдают. Они могут выдать и больше, но ограничены программно и аппаратно.
Чтобы исправить это недоразумение, инженеры разработали совершенно новый протокол работы SSD — NVMe, работающий по скоростному интерфейсу PCI-E.
А чтобы было легче разобраться со всеми достоинствами и недостатками каждого стандарта, вот вам наглядная таблица производительности.
Тип устройства |
HDD |
SSD |
|||
Интерфейс |
SATA |
SAS |
SATA |
SAS |
PCIe |
Накопитель |
SATA |
SAS |
SATA |
SAS |
NVMe |
Надежность |
3/10 |
9/10 |
7/10 |
9/10 |
8/10 |
Производительность |
3/10 |
6/10 |
7/10 |
8/10 |
10/10 |
Стоимость |
10/10 |
7/10 |
7/10 |
6/10 |
3/10 |
Сравнение носит скорее общий характер, но основную суть вы наверняка уловили.
Форм-фактор
Наверняка вы задумывались, почему HDD обозначают дюймами, хотя кейс прямоугольный. Все просто: 3.5” (2.5”) — диаметр магнитной пластины, на которой хранятся данные. Но поскольку диск не может существовать в вакууме, в тот же корпус размещают и шпиндель (двигатель для раскрутки дисков), и считывающую головку, и контроллеры.
На рисунке представлены винчестеры двух типов:
- слева — 3.5 дюйма, что соответствует аббревиатуре LFF (Large Form-Factor);
- справа — 2.5 дюйма, т.е. SFF (Small Form-Factor).
С появлением SSD-накопителей на Flash-памяти надобность в громоздком корпусе отпала по техническим причинам. Внутри таких устройств нет ни одной механической или подвижной части, поэтому инженеры решили остановиться на 2.5”, что значительно сокращает количество занимаемого пространства в сервере.
Свои коррективы внесло и распространение NVMe по протоколу PCI-E. Эти устройства вставляются уже непосредственно в шину PCI-E, или соответствующий слот M.2 на материнской плате, или управляющем контроллере.
И снова обратимся к таблице, а точнее связи протоколов и форм-факторов.
Тип устройства |
HDD |
SSD |
3.5″ (LFF) |
SATA, SAS |
— |
2.5″ (SFF) |
SATA, SAS |
SATA, SAS, NVMe |
M.2 |
— |
SATA, NVMe |
Add-In Card (AIC) |
— |
NVMe |
EDSFF |
— |
NVMe |
Давайте подробнее об M.2, AIC и EDSFF.
М.2 — форм-фактор накопителей и разъем подключения устройств в одном флаконе. Выглядит следующим образом, но тут стоит обратить особое внимание на размещение «ключей» для подключения к слоту.
Если внимательно посмотреть на примеры накопителей, то можно заметить разную форму и положение ключа на контактной площадке и в слоте: B или M, либо B+M.
Их техническое различие состоит в том, что ключ «B» имеет 6 контактов, поддерживает интерфейс SATA, PCI Express x2, а ключ «M» отличается 5-ю контактами, SATA, PCI Express x4.
Визуально их можно отличить тем, что у варианта «B» зуб находится с правой стороны, у «M» — с левой.
Версия «B+M» представлена на примере нижнего NVMe от Samsung. Тут срабатывает схема условной совместимости: вставить SATA-устройство в слот для M.2 PCI-E можно, но не наоборот.
AIC — форм-фактор подключения NVMe-накопителей типа M.2 и представляет собой, по сути, отдельную управляющую плату с выделенным контроллером.
Как видите, система оборудована активной или пассивной системой охлаждения, программным или аппаратным RAID-контроллером и датчиками для отслеживания температурных показателей.
EDSFF — сугубо коммерческий стандарт, разработанный для масштабных СХД под стойки типа 1U.
Представляют собой более продуманный и сложный аналог AIC, в котором можно разместить гораздо больше SSD-накопителей.
Сегодня форм-фактор — скорее абстрактное понятие, потому что индустрия стремится к упрощению, отказу от массы стандартов. Достаточно того, что M.2 — и разъем, и форм-фактор. Да и на PCI-E с каждым годом возлагают все больше надежд.
JBOD и JBOF
Современные СХД могут представлять собой как классическую серверную коробку «процессор-диски-платы-контроллеры», так и выделенные боксы форм-фактора 1U, 2U и т.д. Последние и называют JBOD. Если дословно, то аббревиатура Just a Bunch of Drives переводится как «просто куча дисков», и это лучшее объяснение происходящему. Выглядит такая коробка соответствующим образом.
NVMe-устройства хранятся в схожих ящиках — JBOF. Принцип тот же, только вместо SATA/SAS внутри такого кейса предусмотрены разъемы PCI-E.
Контроллеры и бэкплейны
Переходим к более сложным программно-аппаратным материям. Если быть точнее — к мозгам, которые отвечают за связку накопителей, пути ввода/вывода, контроль записи и чтения, уровня доступа и защиту. Давайте остановимся на этом подробнее.
Дисковые HBA-контроллеры
Эти устройства представляют собой высокотехнологичный «тройник» с большим количеством разъемов. Реже являют отдельный со-процессор, заточенный под работу с крупными массивами данных. Применяются в качестве дополнительного компонента на материнской плате и служат на начальном этапе, пока не возникла потребность в «хардварном» варианте.
HBA (Host Bus Adapter) — одна из разновидностей устройства. Благодаря HBA сервер видит все накопители в системе, и может обращаться к каждому отдельно.
Вот вам в качестве примера HP H220 с поддержкой SAS, работающий по шине PCI-E 3.0 х8
Благодаря подобным платам администраторы могут подключать большее число SAS-накопителей, организовать аппаратный RAID, страховать систему на случай форс-мажоров.
Triple-Mode (Tri-mode)
Во времена бурного внедрения NVMe были популярны и такие контроллеры. Они позволяют одновременно подключать NVMe, SATA и SAS-накопители к плате, формируя более гибкую систему.
Экспандеры и бэкплейны
Вы никогда не задумывались, как в одной коробке работает по 20-30 HDD/SSD? Вот благодаря бэкплейнам и работают. Это специальная плата-разветвитель с разъемами типа SATA/SAS/M.2/PCI-E, непосредственно к которой подключается аппаратный контроллер.
Такие регулярно используют, если на контроллере заканчиваются слоты. При организации СХД для крупных дата-центров это обычное явление.
Тогда что такое экспандер? А это чип, устанавливаемый на бэкплейн, чтобы разгрузить основные «мозги» и упорядочить хаос при передаче нулей и единиц.
Контроллеры
Если у экспандеров функционал строго ограничен парой-тройкой команд, то контроллер СХД этих недостатков точно лишен. Иначе его бы не называли «управляющим узлом». По сути, это ключевая единица при строительстве дискового массива по ряду причин:
- создание пула дисков;
- организация трафика;
- контроль пропускной способности;
- расчет контрольных сумм;
- выполнение внутренних служебных операций и не только.
Однако стоит понимать, что контроллер — не всесильная вундерваффе, которая по щелчку пальца перегонит 20 ТБ данных между серверами. Это группа устройств, где каждый из компонентов отвечает за определенный аспект работы. Об этом и поговорим далее.
RAID-контроллер
Эти два понятия настолько сплелись друг с другом в сознании пользователей, что многие при упоминании «контроллера» автоматически добавляют RAID, а потом искренне удивляются, что есть и другие управляющие элементы.
По сути, RAID — адаптер для создания защищенного массива из накопителей (2, 4, 8 и более, зависит от уровня). Если сильно упростить, то при RAID-записи информация автоматически сохраняется на все подключенные диски параллельно. Если один выйдет из строя — на остальных данные не пострадают.
Контроллеры СХД в формате платформы
Если рассматривать СХД как обособленную часть единой серверной инфраструктуры, к которой обращаются внешние клиенты, то мы можем представить контроллер СХД в виде отдельного компьютера, где имеются материнская плата с процессором, набор оперативной памяти, платы расширения и сетевые интерфейсы, включая управляющее ПО для связи железа.
Управляющий софт помогает создавать RAID-массивы, вследствие чего больше не нужно приобретать для этой цели дополнительный аппаратный RAID-контроллер. Этой возможностью активно пользуются для упрощения структуры и минимизации расходов в программно-определяемых системах хранения данных (software-defined storage), где системный контроллер является частью базовой комплектации сервера.
Двухконтроллерные системы
Хотя здесь корректнее было бы говорить о работе в двуконтроллерном или даже многоконтроллерном режиме, в случае если таковой поддерживается возможностями системы. Одновременное подключение нескольких контроллеров может производиться для увеличения производительности и отказоустойчивости оборудования. Если первый узел откажет, второй будет работать в резервном режиме. А за это время вы сможете оперативно заменить неисправный компонент. В некоторых случаях для подобных многоконтроллерных систем даже не используют выделенные корпуса, достаточно дублирующего контроллера в материнской плате.
Вычислительные ресурсы и адаптеры
Организация СХД — здравый подход для бизнеса. Но не забывайте и о железе, которое должно прогонять через себя огромные массивы данных.
Например, для системы из 60 накопителей потребуется парочка процессоров 8/16 с частотой не менее 2 ГГц и около 48 ГБ ОЗУ. А чтобы завести 600 накопителей, понадобится 2-4 чипа по 8 ядер с пиком на 3.5 GHz, 256 Gb ОЗУ и мощная система охлаждения.
Сетевые адаптеры — последнее и важнейшее звено на этапе создания цепи обмена данными с конечным потребителем. Через интерфейсы Ethernet, FC, IB или SAS производится транспорт битов по системе и за ее пределы.
Теперь подробнее о пропускной способности интерфейсов.
Тип интерфейса |
Блочные протоколы |
Файловые протоколы |
Скорость |
FC |
Fibre Channel |
— |
8/16/32 Г/бит |
Ethernet |
iSCSI, iSER, FCoE, NVMe-oF |
SMB, NFS, AFP, FTP |
10/25/40/50/100/200 Г/бит |
Infiniband |
IB-SRP |
— |
20/40/56/100 Г/бит |
SAS |
SAS |
— |
12 Г/бит |
Сетевой контроллер и адаптер выбирают исключительно из расчета конкретной инфраструктуры и возложенной на нее задач.
Итоги
Современную СХД стоит рассматривать как многослойную структуру, где постоянно ведется обмен информации между клиентом и сервером. При создании столь сложного комплекса довольно сложно запутаться с расчетом мощности, снабдив систему «бутылочными горлышками» с низкой пропускной способностью.
При разработке СХД инженеры настоятельно рекомендуют выбирать комплектующие с прицелом на достаточный объем с возможностью дальнейшего расширения пространства. Подход обеспечит высочайший уровень безопасности и сохранности содержимого, задаст высокую скорость на чтение и запись. Последний момент критически важен, если сервер обрабатывает сотни, а то и тысячи разноплановых запросов в минуту, и простои недопустимы для бизнеса.
Если у вас возникли проблемы с подбором комплектующих, обратитесь за помощью к нашим консультантам. Это значительно упростит закупку оборудования и ускорит создание современной СХД с прицелом на дальнейшее масштабирование.