Сайзинг в Kubernetes
Страница описывает расчёт worker-нод Kubernetes-кластера для развёртывания Citeck с числом именных пользователей до 2000. Общие допущения, целевая нагрузка, состав контейнеров и правила пересчёта — на странице Типовой сайзинг.
Примечание
Учитываются только worker-ноды; управляющие компоненты кластера (control plane / master-ноды) в расчёт не входят.
Ресурсы подов взяты из раздела Менеджмент ресурсов подов и контейнеров; сводная таблица — Состав и ресурсы контейнеров платформы.
Развёртывание в Kubernetes выполняется с помощью Helm chart (только в Enterprise-поставке) — см. Параметры конфигурации Helm chart.
Типоразмер worker-ноды
За единицу расчёта принята worker-нода 16 vCPU / 32 GiB.
Показатель |
Значение |
|---|---|
Типоразмер worker-ноды |
16 vCPU / 32 GiB |
Доступно для подов платформы |
~14 vCPU / ~27 GiB |
Накладные расходы ноды |
~15–20 % — |
Масштабирование сверх целевого профиля — горизонтальное: добавление worker-нод того же типоразмера, тиражирование и кластеризация микросервисов в соответствии с нагрузкой.
Рекомендации по размещению общесистемных компонентов
Компонент |
Рекомендация |
Комментарий |
|---|---|---|
PostgreSQL |
Вынести за пределы кластера — managed-сервис или выделенные ВМ |
Ресурсы на кластеризацию (репликация, Patroni, etcd, балансировщик) в настоящем расчёте не учитываются и определяются отдельно. Требования к PostgreSQL |
S3-хранилище |
Предпочтительно managed Object Storage; в базовом расчёте заложено self-hosted S3-хранилище внутри кластера — 1 узел |
Кластеризация хранилища подлежит отдельному обсуждению. Требования к S3-хранилищу, настройка в интерфейсе |
RabbitMQ |
Опционально: вынести при наличии managed-сервиса |
Нагрузочное тестирование проводилось с RabbitMQ внутри кластера, поэтому в базовом расчёте он оставлен на worker-нодах |
OpenSearch |
Вынести за пределы кластера — managed-сервис или выделенные ВМ |
Для тестовых контуров при небольших объёмах индексов допустимо размещение внутри кластера. При таком размещении требуются отдельный node pool с локальными NVMe-дисками, Guaranteed QoS ( |
Вне расчёта worker-нод также остаются серверные компоненты мониторинга и сбора логов (их агенты на нодах учтены в накладных расходах), инструменты CI/CD и резервное копирование.
Ресурсы на один контур
Размещение компонентов |
Σ requests |
Σ limits |
|---|---|---|
PostgreSQL (тестовая конфигурация, 2 vCPU / 4 GiB), RabbitMQ и S3 развёрнуты в кластере |
11.60 vCPU / 26.71 GiB |
25.00 vCPU / 28.96 GiB |
PostgreSQL вынесен; RabbitMQ и S3 в кластере — базовый расчёт |
9.60 vCPU / 22.71 GiB |
23.00 vCPU / 24.96 GiB |
PostgreSQL, RabbitMQ и S3 вынесены |
8.10 vCPU / 19.71 GiB |
20.00 vCPU / 19.96 GiB |
OpenSearch во всех вариантах вынесен за пределы кластера; его размещение внутри кластера описано в приложении в конце страницы. Далее количество нод рассчитывается по базовому варианту на один контур: CPU — по requests (9.60 vCPU), память — по limits (24.96 GiB).
Продуктивный кластер
Потребность продуктивного кластера: Σ requests 9.60 vCPU / 22.71 GiB, Σ limits 23.00 vCPU / 24.96 GiB.
Вариант |
Ноды |
Всего ресурсов |
Доступно для подов |
Комментарий |
|---|---|---|---|---|
Рекомендуемый (N+1) |
2 × (16 vCPU / 32 GiB) |
32 vCPU / 64 GiB |
~28 vCPU / ~54 GiB |
Контур целиком помещается на одну ноду (limits 24.96 ≤ 27 GiB), поэтому при отказе любой из двух нод оставшаяся вмещает всю нагрузку |
С запасом на рост и распределение реплик |
3 × (16 vCPU / 32 GiB) |
48 vCPU / 96 GiB |
~42 vCPU / ~81 GiB |
Разнесение реплик критичных сервисов по нодам (anti-affinity), обновления без деградации, запас на рост нагрузки сверх 2000 именных пользователей |
Кластер для разработки и тестирования
Продуктивная среда размещается в отдельном кластере — см. Продуктивный кластер. Состав кластера для разработки и тестирования зависит от того, какие среды нужны заказчику: только Test или Dev и Test.
Контур Test — разработка, отладка, приёмочное тестирование.
Потребность тестового кластера: Σ requests 9.60 vCPU / 22.71 GiB, Σ limits 23.00 vCPU / 24.96 GiB.
Конфигурация тестового кластера зависит от его назначения. Выбор варианта остаётся за заказчиком.
Вариант |
Ноды |
Всего ресурсов |
Доступно для подов |
Комментарий |
|---|---|---|---|---|
А. Облегчённый |
1 × (16 vCPU / 32 GiB) |
16 vCPU / 32 GiB |
~14 vCPU / ~27 GiB |
Контур помещается на одну ноду (limits 24.96 ≤ 27 GiB); отказ ноды останавливает среду целиком |
Б. Предпродуктивный (N+1) |
2 × (16 vCPU / 32 GiB) |
32 vCPU / 64 GiB |
~28 vCPU / ~54 GiB |
Топология и резервирование — как в Prod. Подходит для приёмочных испытаний, нагрузочных прогонов, репетиции обновлений и отработки отказа ноды |
Контуры:
Dev — разработка;
Test — отладка, приёмочное тестирование.
Dev и Test размещаются в одном кластере.
Потребность двух сред в одном кластере: Σ requests 19.20 vCPU / 45.43 GiB, Σ limits 46.00 vCPU / 49.93 GiB.
Вариант |
Ноды |
Всего ресурсов |
Доступно для подов |
Комментарий |
|---|---|---|---|---|
Рекомендуемый (N+1, общий резерв) |
3 × (16 vCPU / 32 GiB) |
48 vCPU / 96 GiB |
~42 vCPU / ~81 GiB |
Обе среды размещаются на трёх нодах (limits 49.93 ≤ 81 GiB); при отказе одной ноды две оставшиеся (~54 GiB) вмещают обе среды целиком. Резервная нода одна на обе среды, а не по ноде на каждую |
Минимальный (без резерва) |
2 × (16 vCPU / 32 GiB) |
32 vCPU / 64 GiB |
~28 vCPU / ~54 GiB |
Вмещает обе среды (limits 49.93 ≤ 54 GiB), но без запаса на отказ ноды |
Дисковая подсистема
Локальные диски worker-нод
Назначение |
Объём на ноду |
Тип |
|---|---|---|
ОС, образы контейнеров, эфемерное хранилище подов ( |
100 ГБ |
SSD |
Из них ~80 ГБ — ОС и образы контейнеров, ~20 ГБ — запас на развёртывание, логи kubelet и временные файлы подов.
Persistent Volumes внутри кластера
Объёмы приведены на один контур: в варианте Dev + Test значения столбца Test закладываются отдельно на Dev и на Test.
Компонент |
Prod |
Test (на каждую непродуктивную среду) |
Тип |
|---|---|---|---|
S3-хранилище — контент |
500 ГБ |
100 ГБ |
SSD или HDD |
RabbitMQ — очереди и журналы |
20 ГБ |
20 ГБ |
SSD |
Zookeeper — конфигурация и снапшоты |
10 ГБ |
10 ГБ |
SSD |
Onlyoffice — временные файлы конвертации |
20 ГБ |
10 ГБ |
SSD |
Логи приложений (при хранении в кластере) |
5 ГБ в год |
5 ГБ в год |
SSD |
Итого PV на контур (логи — за 1 год) |
~555 ГБ |
~145 ГБ |
Объём контента непродуктивных сред определяется сценариями испытаний; 100 ГБ на среду — ориентир для приёмочных и нагрузочных прогонов.
Диски вне кластера
Компонент |
Prod |
Test (на каждую непродуктивную среду) |
Тип |
|---|---|---|---|
PostgreSQL — данные, WAL, временные файлы |
400 ГБ |
50 ГБ |
NVMe |
OpenSearch — поисковые индексы |
300 ГБ |
100 ГБ |
NVMe |
Пересчёт объёмов под фактический документооборот — по общим правилам.
Сценарии по объёму контента
Конфигурация worker-нод при росте объёма документооборота не меняется: при объёме контента около 2 ТБ S3-хранилище выносится за пределы кластера, и дальше меняются только внешние компоненты — S3-хранилище, PostgreSQL и OpenSearch.
Показатель |
500 ГБ (базовый расчёт) |
2 ТБ |
5 ТБ |
|---|---|---|---|
S3-хранилище — контент |
500 ГБ |
2 ТБ |
5 ТБ |
S3-хранилище — режим развёртывания |
1 узел в кластере |
1 узел за пределами кластера |
кластерная конфигурация за пределами кластера |
PostgreSQL — диск (0.6 × контент + 30 %) |
400 ГБ |
1.6 ТБ |
4 ТБ |
PostgreSQL — ресурсы |
8 vCPU / 32 GiB |
16 vCPU / 64 GiB |
16 vCPU / 64 GiB |
OpenSearch — индексы (0.5 × контент) |
250 ГБ, диск 300 ГБ |
1 ТБ, диск 1.2 ТБ |
2.5 ТБ, диск 3 ТБ |
OpenSearch — узлы |
1 × (8 vCPU / 32 GiB) |
1 × (8 vCPU / 64 GiB) |
3 × (8 vCPU / 64 GiB) |
Worker-ноды Kubernetes |
без изменений |
без изменений |
без изменений |
Приложение. Размещение PostgreSQL и OpenSearch внутри кластера
Оба компонента рекомендуется выносить за пределы кластера (см. рекомендации по размещению выше), поэтому в базовый расчёт они не входят. При их размещении внутри кластера к суммам базовой таблицы контейнеров добавляется:
Компонент |
Requests CPU |
Requests MEM |
Limits CPU |
Limits MEM |
|---|---|---|---|---|
PostgreSQL (в кластере) |
2 |
4 Gi |
2 |
4 Gi |
OpenSearch (в кластере, 1 узел) |
4 |
16 Gi |
4 |
16 Gi |
Итого с PostgreSQL |
11.60 vCPU |
26.71 Gi |
25.00 vCPU |
28.96 Gi |
Итого с PostgreSQL и OpenSearch |
15.60 vCPU |
42.71 Gi |
29.00 vCPU |
44.96 Gi |
Предупреждение
PostgreSQL и OpenSearch указаны в тестовой конфигурации: внутри кластера OpenSearch допустим только для тестовых контуров, а PostgreSQL в размере 2 vCPU / 4 GiB достаточен для тестового и приёмочного сценариев. Для продуктивной эксплуатации на 2000 именных пользователей ресурсы СУБД определяются по разделу PostgreSQL (8 vCPU / 32 GiB).
Уже при размещении в кластере одного PostgreSQL потребность по limits памяти (28.96 GiB) превышает объём, доступный для подов на одной ноде (~27 GiB): резерв N+1 на двух нодах не обеспечивается. Количество worker-нод в этом случае, как и при размещении обоих компонентов, пересчитывается отдельно.
См. также
Требования к внешним сервисам — PostgreSQL, S3-хранилище и OpenSearch за пределами кластера.
Kubernetes — менеджмент ресурсов подов, параметры Helm chart, генерация ключа шифрования.
Kubernetes Secrets — хранение паролей и токенов вместо
values.yaml.Результаты нагрузочного тестирования — данные прогонов, на которых подтверждена конфигурация.