Мене звати Владислав, я займаю посаду Lead DevOps Engineer у команді Azure Cluster відділу CoE Critical Services. Я працював із технологією Azure Arc на дослідному (R&D) проєкті та в цій статті поясню, що таке платформа Kubernetes із підтримкою Azure Arc і в яких випадках їх варто використовувати.

Що таке Azure Arc?

Технологія Azure Arc повністю відповідає своїй назві: це різні продукти й ефективні варіанти інтеграції для керування ресурсами гібридної хмари на дата центрах або інших хмарах користувача.

Azure Arc складається з кількох продуктів:

Сервери з підтримкою Azure Arc, які дають змогу централізовано керувати серверами з різних хмар і центрів обробки даних, а також межовими серверами.
Платформа Kubernetes із підтримкою Azure Arc, що забезпечує централізоване керування системою безпеки, варіанти інтеграції з Azure PaaS і розширення на користувацькому дистрибутиві Kubernetes.
SQL-сервер із підтримкою Azure Arc, який виконує робочі навантаження SQL Server на серверах, підключених до Arc.
Служби даних із підтримкою Azure Arc, які дають змогу запускати служби даних локально, в інших хмарах або на межових серверах. Наразі доступні лише SQL Managed Instance і PostgreSQL.

Далі я детально розповім про платформу Kubernetes із підтримкою Azure Arc.

Платформа Kubernetes із підтримкою Azure Arc

Огляд. Платформа надає можливість керувати клієнтськими кластерами та робочими процесами Kubernetes за допомогою служб керування Azure, варіантів інтеграції PaaS, GitOps і системи дотримання стандартів.

Підтримка дистрибутивів. Цю платформу можна підключити до різних дистрибутивів Kubernetes. Мені вдалося підключити локально наданий кластер (Ansible + Kubeadm 1.22 в екземплярах Vagrant (VirtualBox)), Amazon Web Services EKS, Google Cloud Platform GKE та OpenShift (OKD). Можна використати служби Docker Desktop Kubernetes для тестів. У цьому демовідео від Microsoft показано підключення до платформи Rancher, а тут перелічено всі сумісні дистрибутиви.

Підключення кластерів. Є три моделі підключення кластерів:

Повністю підключений — кластер і всі розширення мають постійно встановлений зв’язок з Azure.
Напівпідключений — підключення дійсне протягом 90 днів згідно з терміном дії відповідного сертифіката (після цього потрібно повторно підключити кластер).
Відключений — агент не може підключитися до Azure.

Примітка: агент Arc за замовчуванням працює в режимі повного підключення.

Процес підключення кластера — це однокомандна дія, навіть із включеною конфігурацією проксі або потребою керування поведінкою оновленням агентів. Ось простий спосіб підключити кластер:

Перевірте передумови
Переконайтеся, що контекст kubectl дійсний і посилається на потрібний кластер
Запустіть команду підключення кластера
Отримайте ресурси Azure Arc у просторі імен azure-arc

/uploads/stories/koly-varto-vykorystovuvaty-platformu-kubernetes-iz-pidtrymkoiu-azure-arc/1st.jpg?1667252957150

5.Переконайтеся, що ресурс Azure підключеного кластера існує на стороні Azure Portal

/uploads/stories/koly-varto-vykorystovuvaty-platformu-kubernetes-iz-pidtrymkoiu-azure-arc/2nd.jpg?1667253252951

Примітка: Azure спробує автоматично визначити дистрибутив підключених ресурсів, але не завжди робить це правильно (наприклад, у полях версії кластера Kubernetes чи дистрибутив). За потреби ви можете вказати його як аргумент для команди az connectedk8s connect. Компоненти агента Arc працюють у режимах push і pull.

Керування оновленням агентів. Користувач може змінювати версію агента Arc та поведінку автоматичного оновлення. Ось приклад розгортання конкретної версії агента:

/uploads/stories/koly-varto-vykorystovuvaty-platformu-kubernetes-iz-pidtrymkoiu-azure-arc/3rd.jpg?1667297661731

Розширення — основна функція платформи Kubernetes із підтримкою Azure Arc. Вони надають багато можливостей, зокрема різні варіанти інтеграції з Azure PaaS. Два роки тому було лише 5 розширень, і два з них були в підготовчій версії. Але команда Azure Arc розвивала цей продукт, тому зараз більшість розширень працюють доволі стабільно. Далі я коротко розповім про розширення Azure Arc.

Azure Policies

Ці розширення є хорошим рішенням для систем дотримання стандартів і керування. Зверніть увагу, що наразі доступні лише підготовчі версії розширень. Вони складаються з контролера( Gatekeeper OPA та інструмента Policy Reporter, що може перетворювати політики Azure на обмеження Gatekeeper і оновлювати стан політик на порталі (інструкції зі встановлення).
Примітка: спеціальні політики наразі не є стабільними.

Azure Monitor

Увімкнення моніторингу, що складається з агентів моніторингу кластерів і робочої області інструмента «Аналітика журналів Azure» (( інструкції зі встановлення).
Примітка: установіть обмеження для контейнера за допомогою аргументів команди az extensions add (приклад).

Azure Defender

Якщо ввімкнути це розширення, воно може захищати від загроз. Ви можете визначити робочу область інструмента Log analytics для звітів «Захисник» за допомогою аргументів розширень ( інструкції зі встановлення).
Примітка: перевірте розширення за допомогою команди, що генерує попередження про безпеку.

kubectl get pods --namespace=asc-alerttest-662jfi039n

Стандартний драйвер Azure Key Vault CSI ( інструкції зі встановлення).
Примітка: це розширення не рекомендовано використовувати для кластера з декількома пулами вузлів через обмежену можливість налаштування.

Open Service Mesh ( OSM) ( інструкції зі встановлення).

RBAC

Перевірка авторизації та керування доступом за допомогою Azure AD ( інструкції зі встановлення).
Примітка: для такої функціональності потрібні права адміністратора осередку, щоб отримувати згоду на використання серверних програм.

Azure App Services/Functions

Розгортають програми Azure Function/Logic або службу програм на підключеному кластері. Наразі доступна лише підготовча версія розширення. Його основними компонентами є контролер, засіб масштабування (на основі KEDA), служба побудови та обробник журналів ( інструкції зі встановлення).

Event Grid

Запускає посередник подій Event Grid на підключеному кластері Azure Arc. Наразі доступна лише підготовча версія розширення ( інструкції зі встановлення).

Машинне навчання

Машинне навчання Azure на робочих процесах підключеного кластера ( інструкції зі встановлення).

Cluster Connect

Безпечний спосіб керувати кластером за допомогою команди az connectedk8s proxy ( інструкції зі встановлення).

API Management Gateway

Розгортає самостійний шлюз керування Azure API на підключеному кластері. Зверніть увагу, що наразі доступна лише підготовча версія розширення ( інструкції зі встановлення).

Azure Data Services

Розгортає служби даних Azure (наприклад, керований екземпляр Azure SQL) у підключеному кластері. Доступний режим прямого та непрямого підключення контролерів ( інструкції зі встановлення).

Підхід GitOps. Платформа Kubernetes з Azure Arc підтримують конфігурацію GitOps. Існує багато варіантів підключення до сховища та конфігурацій контролерів, наприклад, можна визначити інтервал синхронізації сховища, режим використання неоголошених ресурсів тощо. Ви можете налаштувати кластер або проєкт рівня простору імен, а також налаштувати по кілька проєктів для кожного підключеного кластера ( інструкції зі встановлення).

На цій діаграмі я проілюстрував те, як можна використовувати GitOps для різних дистрибутивів Kubernetes:

/uploads/stories/koly-varto-vykorystovuvaty-platformu-kubernetes-iz-pidtrymkoiu-azure-arc/4th.jpg?1667297681480

Висновок

Платформа Kubernetes із підтримкою Azure Arc безумовно заслуговує на увагу. Хоч вона й не є першим гравцем на ринку рішень для керування гібридними хмарами, але це хороший продукт від команди Azure Arc, який і досі активно розвивається. Технологія пропонує безліч сценаріїв використання кластерів. Ще одна перевага — підтримка GitOps, а також можливість використовувати це рішення для керування конфігурацією платформи та розгортання програм. Крім того, служба Azure Monitoring має власну аудиторію та дає змогу збирати показники з декількох джерел. Azure Policies є чудовим інструментом для систем дотримання стандартів і керування, а також для машинного навчання.

Та будьте обачними: декілька розширень продукту доступні лише в підготовчій версії (зокрема Azure Policies, Azure App Services/Functions, Event Grid і API Management Gateway). І хоч функція керування безпекою Azure безкоштовна, саме рішення є платним. Ціна на Azure Arc здебільшого залежить від кількості ядер ваших ЦП. Компанія Microsoft пропонує хороший для самостійного тестування.