Обновление Monq 7.2.0

Требования

Предыдущая версия Monq: 7.1.0

В обновлении:

Продукт	Новая версия
pl	7.2.0
sm	7.2.0
cl	7.2.0
fm	7.2.0
plugins	7.2.0

Уровень простоя - без простоя.

Релиз Monq 7.2.0 - Базовая информация

Релиз включает обновление различных модулей Monq. Если установлен только определенный набор модулей, например: pl и cl, то разделы с остальными модулями можно проигнорировать.

Проведение миграции 7.1.0 -> 7.2.0

Для запуска обновления требуется скачать клиент управления Monq monqctl и выполнить конфигурацию контекста monqctl, если ранее этого не выполнялось.

!!! MonqCtl !!!

Минимальная версия monqctl: 1.5.0

Примечание: можно настроить 2 контекста для stage и production одновременно.

Примечание 2: токен для доступа в Monq ReleaseHub для скачивания обновления требуется получить, обратившись в поддержку Monq, либо из письма с регистрацией лицензии.

!!! Заменить адрес сервера обновлений Monq !!!

Требование - Заменить адрес сервера обновлений Monq

# Получить имя и токен
monqctl config get releasehubs
# Подставить имя и токен сервера обновлений
monqctl config set releasehub <name> --token <token> --server="https://release-hub.monq.ru" --docker-registry="https://registry.monq.ru"

Выполнить обновление реестра микросервисов

monqctl registry update registry --version=3.7.0

Выполнить предрелизную подготовку

1. Проверить контекст monqctl и статус реестра микросервисов.

   # Просмотреть текущий контекст, с которым работает monqctl.
   monqctl config current-context
   # Просмотреть статус реестра микросервисов из контекста.
   monqctl registry get status
   # Просмотреть статус сервисов в реестре микросервисов из контекста.
   monqctl registry get services

2. Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного Monq. Команда при этом скачивает и подготавливает релиз.

   monqctl release use-version 7.2.0 --product=monq

При обновлении из папки

# Требуется выполнить экспорт релиза в папку
monqctl release version export 7.2.0 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 7.2.0 --product=monq --sourceDir=<папка с экспортированным обновлением>

---

Monq Platform (pl)

Выполнить перекачку контейнеров pl в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=pl

Выполнить конфигурацию баз данных микросервисов pl

monqctl release update db pgsql --module=pl --microservice=pl-i18n-service --file pl-i18n-service.sql

Сбросить кэш для микросервисов pl

monqctl instance clear cache --microservice=pl-connectors-dispatcher-api-service

Выполнить конфигурацию микросервисов pl в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=pl
monqctl release update microservices --module=pl --microservice pl-delivery-lists-api-service --k8s-merge-type=Replace
monqctl release update microservices --module=pl --microservice pl-message-sender-api-service --k8s-merge-type=Replace
monqctl release update microservices --module=pl --microservice pl-user-grants-api-service --k8s-merge-type=Replace
monqctl release update microservices --module=pl --microservice pl-work-groups-api-service --k8s-merge-type=Replace
monqctl release update microservices --module=pl --microservice pl-user-shared-filters-api-service --k8s-merge-type=Replace
monqctl release update microservices --module=pl --microservice pl-automaton-rules-api-service --k8s-merge-type=Replace
monqctl release update microservices --module=pl --microservice pl-plugins-manager-service --k8s-merge-type=Replace

Обновить существующие и установить новые библиотеки автоматона

monqctl release update automaton-libraries --module=pl --file=automaton-libs/automaton.core.import

При ошибке HTTP 500 и сообщении в теле ответа "Operation timeout exception" повторить команды.

Перезапустить микросервисы автоматона v2

monqctl instance restart microservice --microservice=pl-automaton-v2-processor-service
monqctl instance restart microservice --microservice=pl-automaton-v2-processor-service-runner

Выполнить обновление маршрутизации pl

monqctl release update routing --module=pl

Сбросить кэш для микросервиса pl-i18n-service

monqctl instance clear cache --microservice=pl-i18n-service

Выполнить удаление и очистку устаревших сущностей Monq

Выполнить архивацию базы данных live_pl_connectors_dispatcher_api_service и удалить ее вручную из PostgreSQL.

Удалить пользователя live_pl_connectors_dispatcher_api_service_user.

Удалить очереди RabbitMQ и ключи Consul:

monqctl release exec shell --module=pl --file=remove-rmq-queue.sh --arguments="pl_connectors_dispatcher_api_service"
monqctl release exec shell --module=pl --file=remove-consul-appsettings-key.sh --arguments="pl-delivery-lists-api-service appsettings-async.json"
monqctl release exec shell --module=pl --file=remove-consul-appsettings-key.sh --arguments="pl-message-sender-api-service appsettings-async.json"
monqctl release exec shell --module=pl --file=remove-consul-appsettings-key.sh --arguments="pl-user-grants-api-service appsettings-async.json"
monqctl release exec shell --module=pl --file=remove-consul-appsettings-key.sh --arguments="pl-work-groups-api-service appsettings-async.json"
monqctl release exec shell --module=pl --file=remove-consul-appsettings-key.sh --arguments="pl-user-shared-filters-api-service appsettings-async.json"
monqctl release exec shell --module=pl --file=remove-consul-appsettings-key.sh --arguments="pl-automaton-rules-api-service appsettings-async.json"
monqctl release exec shell --module=pl --file=remove-consul-appsettings-key.sh --arguments="pl-plugins-manager-service appsettings-async.json"

---

Monq Service Monitor (sm)

Выполнить перекачку контейнеров sm в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=sm

Выполнить конфигурацию баз данных микросервисов sm

monqctl release update db pgsql --module=sm --microservice=pl-userspaces-api-service --file userspace-configuration.sql
monqctl release update db pgsql --module=sm --microservice=sm-integral-events-configurator-api-service --file sqls/sm-integral-events-configurator-api-service.sql
monqctl release update db pgsql --module=sm --microservice=sm-rsm-attributes-service --file sqls/sm-rsm-attributes-service.sql
monqctl release update db pgsql --module=sm --microservice=sm-signals-service --file sqls/sm-signals-service.sql
monqctl release update db clickhouse --module=sm --microservice=sm-rsm-health-service --file sqls/sm-rsm-health-service-clickhouse.sql
monqctl release update db arangodb --module=sm --microservice=sm-rsm-service --file sqls/sm-rsm-service.aql

Выполнить конфигурацию микросервисов sm в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=sm
monqctl release update microservices --module=sm --microservice sm-action-generator-service --k8s-merge-type=Replace

Выполнить обновление маршрутизации sm

monqctl release update routing --module=sm

Запустить мигратор sm

monqctl release update migrator --module=sm --command="migrate archive-config-items-info"
monqctl release update migrator --module=sm --command="migrate signals-event"

Сбросить кэш для микросервиса pl-userspaces-api-service

monqctl instance clear cache --microservice=pl-userspaces-api-service

Выполнить удаление и очистку устаревших сущностей Monq

Выполнить архивацию базы данных live_sm_hpsm_service_desk_api_service и удалить ее вручную из PostgreSQL.

Удалить пользователя live_sm_hpsm_service_desk_api_service_user.

Удалить очереди RabbitMQ и ключи Consul

monqctl release exec shell --module=pl --file=remove-rmq-queue.sh --arguments="sm_hpsm_service_desk_api_service"
monqctl release exec shell --module=pl --file=remove-rmq-queue.sh --arguments="sm_rsm_autobuild_service"

---

Monq Collector (cl)

Выполнить перекачку контейнеров cl в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=cl

Выполнить конфигурацию баз данных микросервисов cl

monqctl release update db pgsql --module=cl --microservice=cl-streams-service --file sqls/cl-streams-service.sql

Сбросить кэш для микросервисов cl

monqctl instance clear cache --microservice=cl-stream-data-ml-scheduler-service

Выполнить конфигурацию микросервисов cl в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=cl

Запустить мигратор cl

monqctl release update migrator --module=cl --command="migrate remove-hpsm-stream-template"

Выполнить обновление маршрутизации

monqctl release update routing --module=cl

Выполнить удаление и очистку устаревших сущностей Monq

Удалить очереди RabbitMQ и ключи Consul

monqctl release exec shell --module=pl --file=remove-rmq-queue.sh --arguments="cl_stream_data_ml_scheduler_service"

---

Test Forge (fm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=fm

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=fm
monqctl release update microservices --module=fm --microservice fm-projects-api-service --k8s-merge-type=Replace

Выполнить удаление и очистку устаревших сущностей Monq

Удалить очереди RabbitMQ и ключи Consul

monqctl release exec shell --module=pl --file=remove-consul-appsettings-key.sh --arguments="fm-projects-api-service appsettings-async.json"

---

PLUGINS (plugins)

Выполнить перекачку контейнеров plugins в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=plugins

Выполнить конфигурацию микросервисов plugins в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=plugins

Выполнить обновление плагинов системного агента

kubectl config current-context

# Обновить плагины
namespace="" # указать K8s Namespace. По умолчанию, production.
monq_agent=$(kubectl get po -n ${namespace} -l app=pl-monq-agent -o=jsonpath='{.items[0].metadata.name}')
plugins="vmwareEventsDataFlow/v1.2.0 vmwareTopologySync/v1.2.0"

mkdir ./agent-plugins
cd ./agent-plugins
kubectl exec -it -n ${namespace} ${monq_agent} -- mkdir -p /storage/plugins

for plugin in ${plugins}; do
  pluginName=$(echo ${plugin} | awk -F'/' '{print $1}')
  wget https://downloads.monq.ru/agent-plugins/${plugin}/${pluginName}.zip
  unzip ${pluginName}.zip
  rm -f ${pluginName}.zip
  kubectl cp ${pluginName} ${namespace}/${monq_agent}:/storage/plugins
  rm -rf ${pluginName}
done

monqctl instance restart microservice --microservice=pl-monq-agent