Создание новой конфигурации файлового хранилища

Создать конфигурацию хранилища контента в системе можно несколькими способами:

Для создания конфигурации необходимо:

  • Перейти в журнал Хранилища контента (Рабочее пространство «Раздел администратора» - Контент)

    ../../../_images/content_3.png
  • Создать запись с указанием типа хранилища контента, для которого вы делаете конфигурацию (каждый тип имеет свой набор атрибутов конфигурации, необходимый ему для обеспечения работы):

    ../../../_images/content_4.png
  • Заполнить основные поля конфигурации: ID, Имя, Тип (будет выбран автоматически). Напишите максимально понятный ID, поскольку именно он будет отображаться в большинстве логов системы.

    ../../../_images/content_5.png
  • Заполнить дополнительные параметры конфигурации, относящиеся непосредственно к выбранному типу хранилища.

    ../../../_images/content_6.png
  • Сохранить конфигурацию и убедиться, что она создалась в журнале.

Для создания конфигурации необходимо:

  • Создать yml файл с конфигурацией:

    ---
    id: content-storage-s3
    name:
      en: S3 content storage
      ru: Хранилище контента для S3
    type: S3
    config:
      endpoint: emodel/endpoint@content-storage-s3-endpoint
      bucketName: "ecos-content"
    

    Где:

    • id - ID конфигурации. Напишите максимально понятный ID, поскольку именно он будет отображаться в большинстве логов системы.

    • name - Имя конфигурации.

    • type - Тип хранилища контента. В ecos-content реализован тип S3. Наличие других вариантов в интерфейсе платформы не означает, что они обслуживаются этим микросервисом.

    • config - Конфигурация хранилища данных. У каждого типа свой набор атрибутов, ознакомиться с ним подробнее можно ниже — Параметры конфигурации отдельных хранилищ контента.

  • Расположить созданный вами файл по пути:

    • В микросервисе: ${home_dir}/src/main/resources/eapps/artifacts/content/storage/

    • В старых проектах: ${module_name}/src/main/resources/alfresco/module/${module_name}/content/storage/

    В данных директориях можно создавать внутреннюю структуру папок. Поддержка пути старых проектов зависит от используемой версии загрузчика приложений; в ecos-content поставляемые конфигурации находятся в eapps/artifacts/content/storage/.

    ../../../_images/content_7.png
  • Убедиться, что она создалась в журнале.

Для загрузки конфигурации через Приложения Citeck необходимо:

  • Создать приложение с имеющегося стенда или подготовить ZIP-архив с конфигурацией. За основу можно взять test-app.zip.

  • Перед загрузкой образца создать endpoint с ID test-app-content-storage-s3-endpoint и связанным секретом типа BASIC. В endpoint укажите URL своего S3-сервера, а в секрете — access key и secret key. Создайте bucket ecos-content либо измените bucketName в архиве. Образец содержит только конфигурацию хранилища и ссылается на emodel/endpoint@test-app-content-storage-s3-endpoint.

  • Загрузить приложение через журнал «Приложения ECOS».

  • Убедиться, что в журнале «Хранилища контента» создались ваши конфигурации.

Параметры конфигурации отдельных хранилищ контента

У каждого хранилища контента есть собственные атрибуты конфигурации, необходимые системе для подключения и организации работы.

Хранилище S3

Общий файл конфигурации для хранилища S3 выглядит следующим образом:

---
id: content-storage-s3
name:
  en: S3 content storage
  ru: Хранилище контента для S3
type: S3
config:
  endpoint: "emodel/endpoint@content-storage-s3-endpoint"
  bucketName: "ecos-content"
  region: "eu-central-1"  # необязательно; укажите регион своего хранилища

Где:

Поле

Описание

endpoint

Ссылка на endpoint, например emodel/endpoint@content-storage-s3-endpoint.
В endpoint задаётся полный URL S3-сервера без пути bucket, например https://myminio.domain.ru или http://localhost:9000, и ссылка на секрет типа BASIC.
В секрете username содержит access key, password — secret key. Ключи доступа непосредственно в config хранилища не задаются.

bucketName

Имя bucket для данной конфигурации хранилища. Bucket необходимо создать заранее и предоставить учётным данным доступ к нужным операциям. В системе можно использовать несколько конфигураций с разными bucket; микросервис не создаёт bucket автоматически.

region

Необязательный регион S3. Непустое значение после удаления крайних пробелов используется обычным и multipart-клиентом. При пустом значении регион явно не задаётся и определяется поведением SDK. Значение выбирается по настройкам вашего хранилища.

В стандартной форме отдельного поля region нет. Его можно задать через YAML или редактирование JSON конфигурации хранилища.

Загрузка больших файлов и чанки

Сервис поддерживает обычную потоковую загрузку и загрузку чанками в S3. Использование чанков формой зависит от версий ecos-model и клиентского компонента; наличие поддержки в ecos-content не означает, что любой file-component автоматически использует её.

Чанковая загрузка выполняется через внутренний Citeck WebAPI:

Путь executor’а

Назначение

/content/storage/chunk-init

Начало загрузки. Принимает ID хранилища и положительный размер файла; возвращает supported, state и chunkSize.

/content/storage/chunk-write

Загрузка части. Клиент передаёт состояние и получает его обновлённое значение.

/content/storage/chunk-complete

Завершение multipart-загрузки и получение ключа сохранённого файла.

/content/storage/chunk-abort

Отмена незавершённой загрузки.

Эти пути предназначены для системных вызовов WebAPI с ролью SYSTEM. Они не являются самостоятельными публичными HTTP-маршрутами для браузера. Если хранилище не поддерживает чанки, инициализация возвращает supported=false. Состояние state нужно передавать между вызовами без самостоятельного изменения его содержимого.

Базовый размер чанка — 5 MiB. Для больших файлов сервис может увеличить его с учётом ограничения S3 на число частей; клиент должен использовать размер, возвращённый в chunkSize. Размер ограничен пределами части multipart, а число частей — 10000. Размер чанка не настраивается в записи хранилища. При обработке части используется временный файл, поэтому контейнеру необходимо доступное дисковое пространство.

Параметр Spring ecos-content.minio-client.part-size-mb относится к разбиению обычной потоковой загрузки внутри MinIO-клиента и не управляет чанковым протоколом. В поставляемом application.yml задано значение 8 MiB; fallback в коде при отсутствии свойства — 5 MiB.

Для bucket с multipart-загрузками настройте lifecycle-правило очистки незавершённых загрузок (AbortIncompleteMultipartUpload), выбирая срок хранения по требованиям окружения.

Конфигурация максимального размера загружаемого файла

Единого лимита 100 MB на уровне ecos-content нет. Допустимый размер определяется ограничениями формы, маршрута загрузки, серверов, proxy/ingress и S3. Чанки уменьшают размер отдельных запросов, но не отменяют ограничений хранилища и инфраструктуры.

Как изменить максимальный размер файла

Проверьте ограничения на каждом уровне используемого маршрута загрузки. Ниже приведены примеры для формы и загрузки через ecos-model; применимость настроек зависит от версий компонентов и способа передачи файла:

  1. На форме, где используется file-component, в вкладке «Файл» установить Максимальный размер файла.

  2. При использовании servlet multipart в ecos-model установить свойства необходимыми значениями. Например:

    spring:
        servlet:
            multipart:
                max-file-size: 2GB
                max-request-size: 2GB
    
  3. Сконфигурировать Nginx в EcosProxyApp для передачи больших файлов.

    Для этого необходимо установить параметры в конфигурационном файле nginx.conf:

    client_max_body_size 2g;
    

    Пример параметра для citeck Helm chart; имя и поддержку настройки сверяйте с версией своего chart:

    EcosProxyApp:
        client:
            maxBodySize: "2g"
    
  4. Сконфигурировать Ingress k8s (если реализация nginx):

    Если используется citeck helm chart и k8s yandex cloud, нужно сконфигурировать параметры timeout через аннотации:

    ecos:
      ingress:
        annotations:
          ingress.alb.yc.io/idle-timeout: 300s
          ingress.alb.yc.io/request-timeout: 300s
    

    Пример параметров citeck Helm chart для ingress на основе nginx. Их поддержку и отображение в аннотации nginx.ingress.kubernetes.io/proxy-* сверяйте с версией своего chart:

    ecos:
      ingress:
        nginx:
          proxyConnectTimeout: "300s"
          proxyReadTimeout: "300s"
          proxyBodySize: "2g"
          proxyBufferSize: "64k"
    

Предупреждение

Учтите, что при использовании Kubernetes ограничения на размер файла и максимальный timeout также нужно сконфигурировать на уровне ingress-контроллера (nginx) Kubernetes. Параметры и их значения могут отличаться в зависимости от используемой реализации.