Сайзинг в Kubernetes

Страница описывает расчёт worker-нод Kubernetes-кластера для развёртывания Citeck с числом именных пользователей до 2000. Общие допущения, целевая нагрузка, состав контейнеров и правила пересчёта — на странице Типовой сайзинг.

Примечание

Типоразмер worker-ноды

За единицу расчёта принята worker-нода 16 vCPU / 32 GiB.

Показатель

Значение

Типоразмер worker-ноды

16 vCPU / 32 GiB

Доступно для подов платформы

~14 vCPU / ~27 GiB

Накладные расходы ноды

~15–20 % — kube-reserved и system-reserved, агенты мониторинга и сбора логов (DaemonSet)

Масштабирование сверх целевого профиля — горизонтальное: добавление worker-нод того же типоразмера, тиражирование и кластеризация микросервисов в соответствии с нагрузкой.

Рекомендации по размещению общесистемных компонентов

Компонент

Рекомендация

Комментарий

PostgreSQL

Вынести за пределы кластера — managed-сервис или выделенные ВМ

Ресурсы на кластеризацию (репликация, Patroni, etcd, балансировщик) в настоящем расчёте не учитываются и определяются отдельно. Требования к PostgreSQL

S3-хранилище

Предпочтительно managed Object Storage; в базовом расчёте заложено self-hosted S3-хранилище внутри кластера — 1 узел

Кластеризация хранилища подлежит отдельному обсуждению. Требования к S3-хранилищу, настройка в интерфейсе

RabbitMQ

Опционально: вынести при наличии managed-сервиса

Нагрузочное тестирование проводилось с RabbitMQ внутри кластера, поэтому в базовом расчёте он оставлен на worker-нодах

OpenSearch

Вынести за пределы кластера — managed-сервис или выделенные ВМ

Для тестовых контуров при небольших объёмах индексов допустимо размещение внутри кластера. При таком размещении требуются отдельный node pool с локальными NVMe-дисками, Guaranteed QoS (requests = limits) и настройки на уровне хоста (vm.max_map_count = 262144, отключённый swap). Требования к OpenSearch

Вне расчёта worker-нод также остаются серверные компоненты мониторинга и сбора логов (их агенты на нодах учтены в накладных расходах), инструменты CI/CD и резервное копирование.

Ресурсы на один контур

Размещение компонентов

Σ requests

Σ limits

PostgreSQL (тестовая конфигурация, 2 vCPU / 4 GiB), RabbitMQ и S3 развёрнуты в кластере

11.60 vCPU / 26.71 GiB

25.00 vCPU / 28.96 GiB

PostgreSQL вынесен; RabbitMQ и S3 в кластере — базовый расчёт

9.60 vCPU / 22.71 GiB

23.00 vCPU / 24.96 GiB

PostgreSQL, RabbitMQ и S3 вынесены

8.10 vCPU / 19.71 GiB

20.00 vCPU / 19.96 GiB

OpenSearch во всех вариантах вынесен за пределы кластера; его размещение внутри кластера описано в приложении в конце страницы. Далее количество нод рассчитывается по базовому варианту на один контур: CPU — по requests (9.60 vCPU), память — по limits (24.96 GiB).

Продуктивный кластер

Потребность продуктивного кластера: Σ requests 9.60 vCPU / 22.71 GiB, Σ limits 23.00 vCPU / 24.96 GiB.

Вариант

Ноды

Всего ресурсов

Доступно для подов

Комментарий

Рекомендуемый (N+1)

2 × (16 vCPU / 32 GiB)

32 vCPU / 64 GiB

~28 vCPU / ~54 GiB

Контур целиком помещается на одну ноду (limits 24.96 ≤ 27 GiB), поэтому при отказе любой из двух нод оставшаяся вмещает всю нагрузку

С запасом на рост и распределение реплик

3 × (16 vCPU / 32 GiB)

48 vCPU / 96 GiB

~42 vCPU / ~81 GiB

Разнесение реплик критичных сервисов по нодам (anti-affinity), обновления без деградации, запас на рост нагрузки сверх 2000 именных пользователей

Кластер для разработки и тестирования

Продуктивная среда размещается в отдельном кластере — см. Продуктивный кластер. Состав кластера для разработки и тестирования зависит от того, какие среды нужны заказчику: только Test или Dev и Test.

Контур Test — разработка, отладка, приёмочное тестирование.

Потребность тестового кластера: Σ requests 9.60 vCPU / 22.71 GiB, Σ limits 23.00 vCPU / 24.96 GiB.

Конфигурация тестового кластера зависит от его назначения. Выбор варианта остаётся за заказчиком.

Вариант

Ноды

Всего ресурсов

Доступно для подов

Комментарий

А. Облегчённый

1 × (16 vCPU / 32 GiB)

16 vCPU / 32 GiB

~14 vCPU / ~27 GiB

Контур помещается на одну ноду (limits 24.96 ≤ 27 GiB); отказ ноды останавливает среду целиком

Б. Предпродуктивный (N+1)

2 × (16 vCPU / 32 GiB)

32 vCPU / 64 GiB

~28 vCPU / ~54 GiB

Топология и резервирование — как в Prod. Подходит для приёмочных испытаний, нагрузочных прогонов, репетиции обновлений и отработки отказа ноды

Контуры:

  • Dev — разработка;

  • Test — отладка, приёмочное тестирование.

Dev и Test размещаются в одном кластере.

Потребность двух сред в одном кластере: Σ requests 19.20 vCPU / 45.43 GiB, Σ limits 46.00 vCPU / 49.93 GiB.

Вариант

Ноды

Всего ресурсов

Доступно для подов

Комментарий

Рекомендуемый (N+1, общий резерв)

3 × (16 vCPU / 32 GiB)

48 vCPU / 96 GiB

~42 vCPU / ~81 GiB

Обе среды размещаются на трёх нодах (limits 49.93 ≤ 81 GiB); при отказе одной ноды две оставшиеся (~54 GiB) вмещают обе среды целиком. Резервная нода одна на обе среды, а не по ноде на каждую

Минимальный (без резерва)

2 × (16 vCPU / 32 GiB)

32 vCPU / 64 GiB

~28 vCPU / ~54 GiB

Вмещает обе среды (limits 49.93 ≤ 54 GiB), но без запаса на отказ ноды

Дисковая подсистема

Локальные диски worker-нод

Назначение

Объём на ноду

Тип

ОС, образы контейнеров, эфемерное хранилище подов (ephemeral-storage)

100 ГБ

SSD

Из них ~80 ГБ — ОС и образы контейнеров, ~20 ГБ — запас на развёртывание, логи kubelet и временные файлы подов.

Persistent Volumes внутри кластера

Объёмы приведены на один контур: в варианте Dev + Test значения столбца Test закладываются отдельно на Dev и на Test.

Компонент

Prod

Test (на каждую непродуктивную среду)

Тип

S3-хранилище — контент

500 ГБ

100 ГБ

SSD или HDD

RabbitMQ — очереди и журналы

20 ГБ

20 ГБ

SSD

Zookeeper — конфигурация и снапшоты

10 ГБ

10 ГБ

SSD

Onlyoffice — временные файлы конвертации

20 ГБ

10 ГБ

SSD

Логи приложений (при хранении в кластере)

5 ГБ в год

5 ГБ в год

SSD

Итого PV на контур (логи — за 1 год)

~555 ГБ

~145 ГБ

Объём контента непродуктивных сред определяется сценариями испытаний; 100 ГБ на среду — ориентир для приёмочных и нагрузочных прогонов.

Диски вне кластера

Компонент

Prod

Test (на каждую непродуктивную среду)

Тип

PostgreSQL — данные, WAL, временные файлы

400 ГБ

50 ГБ

NVMe

OpenSearch — поисковые индексы

300 ГБ

100 ГБ

NVMe

Пересчёт объёмов под фактический документооборот — по общим правилам.

Сценарии по объёму контента

Конфигурация worker-нод при росте объёма документооборота не меняется: при объёме контента около 2 ТБ S3-хранилище выносится за пределы кластера, и дальше меняются только внешние компоненты — S3-хранилище, PostgreSQL и OpenSearch.

Показатель

500 ГБ (базовый расчёт)

2 ТБ

5 ТБ

S3-хранилище — контент

500 ГБ

2 ТБ

5 ТБ

S3-хранилище — режим развёртывания

1 узел в кластере

1 узел за пределами кластера

кластерная конфигурация за пределами кластера

PostgreSQL — диск (0.6 × контент + 30 %)

400 ГБ

1.6 ТБ

4 ТБ

PostgreSQL — ресурсы

8 vCPU / 32 GiB

16 vCPU / 64 GiB

16 vCPU / 64 GiB

OpenSearch — индексы (0.5 × контент)

250 ГБ, диск 300 ГБ

1 ТБ, диск 1.2 ТБ

2.5 ТБ, диск 3 ТБ

OpenSearch — узлы

1 × (8 vCPU / 32 GiB)

1 × (8 vCPU / 64 GiB)

3 × (8 vCPU / 64 GiB)

Worker-ноды Kubernetes

без изменений

без изменений

без изменений

Приложение. Размещение PostgreSQL и OpenSearch внутри кластера

Оба компонента рекомендуется выносить за пределы кластера (см. рекомендации по размещению выше), поэтому в базовый расчёт они не входят. При их размещении внутри кластера к суммам базовой таблицы контейнеров добавляется:

Компонент

Requests CPU

Requests MEM

Limits CPU

Limits MEM

PostgreSQL (в кластере)

2

4 Gi

2

4 Gi

OpenSearch (в кластере, 1 узел)

4

16 Gi

4

16 Gi

Итого с PostgreSQL

11.60 vCPU

26.71 Gi

25.00 vCPU

28.96 Gi

Итого с PostgreSQL и OpenSearch

15.60 vCPU

42.71 Gi

29.00 vCPU

44.96 Gi

Предупреждение

PostgreSQL и OpenSearch указаны в тестовой конфигурации: внутри кластера OpenSearch допустим только для тестовых контуров, а PostgreSQL в размере 2 vCPU / 4 GiB достаточен для тестового и приёмочного сценариев. Для продуктивной эксплуатации на 2000 именных пользователей ресурсы СУБД определяются по разделу PostgreSQL (8 vCPU / 32 GiB).

Уже при размещении в кластере одного PostgreSQL потребность по limits памяти (28.96 GiB) превышает объём, доступный для подов на одной ноде (~27 GiB): резерв N+1 на двух нодах не обеспечивается. Количество worker-нод в этом случае, как и при размещении обоих компонентов, пересчитывается отдельно.

См. также