Система резервного копирования и мониторинга ИТ-инфраструктуры Видеоархивного комплекса Главного Архивного управления г. Москвы

r
Главное архивное управление г.Москвы

Главное архивное управление города Москвы (Главархив Москвы) является подведомственным Правительству Москвы функциональным органом исполнительной власти столицы, не входящим в состав комплексов городского управления. Главархив разрабатывает и реализует политику города Москвы в области архивного дела, охраны и использования историко-документального наследия, а также осуществляет межотраслевую координацию в этой области. В ведении Главного архивного управления города Москвы находятся организации осуществляющие деятельность в области архивного дела по хранению, комплектованию, учету и использованию архивных документов.

Предпосылки проекта

В 2007 году стартовал амбициозный проект по созданию Видеоархивного комплекса Главного Архивного управления г. Москвы. Основная задача комплекса – формирование электронного архива всех видеоматериалов, имеющихся в архиве города, и его постоянное обновление. 

Система была развернута на двух территориально удаленных площадках, на которых должна проводиться оцифровка материалов. По своим масштабам комплекс является одним из самых больших в Восточной Европе. Масштабы проекта и ценность хранимых данных повлияли на жесткость требований к системе управления ИТ-инфраструктурой комплекса. В результате анализа этих требований было принято решение о создании подсистем резервного копирования, сетевого мониторинга и событийной обработки, мониторинга операционных систем и приложений.

Задачи проекта

При создании перечисленных подсистем были поставлены следующие основные задачи:

  • минимизировать время восстановления серверов, обслуживающих видеокомплекс на каждой из площадок в случае отдельных сбоев и глобальных аварий;
  • обеспечить гарантированное хранение данных видеоархива; 
  • дать единое представление о всех событиях в ИТ-инфраструктуре комплекса.

Описание ИТ-инфраструктуры заказчика

С точки зрения построения систем управления, ИТ-инфраструктура заказчика имеет ряд существенных особенностей:

  • Существуют две территориально удаленные площадки – Материальный и Электронный Архив, соединенные между собой высокоскоростным каналом связи.
  • На каждой из площадок присутствует по 8 серверов, обслуживающих комплекс.
  • Объем обрабатываемых за день данных составляет порядка нескольких терабайт, при этом, суммарная емкость устройств хранения составляет около 1.5 петабайт.
  • Основным местом хранения оцифрованных материалов является ленточная библиотека TS3500 с шестью слотами расширения на площадке Электронного Архива, в качестве оперативного хранилища используются дисковые подсистемы DS4700. На площадке Материального Архива вместо одной большой – две библиотеки TS3310 меньшего размера.
  • Для создания и работы видеоархива служит специализированное функциональное приложение VIDI, которое использует API сервера резервного копирования для размещения оцифрованных материалов непосредственно на ленточной библиотеке.

Описание решения

Для управления ИТ-инфраструктурой комплекса видеоархива были созданы три подсистемы:

  • сетевого мониторинга и событийной обработки;
  • мониторинга операционных систем и приложений;
  • резервного копирования.

Подсистема резервного копирования

Суть системы резервного копирования определили несколько ключевых требований:

1. Обеспечение восстановления конфигурации каждого из серверов на обеих площадках в случае аппаратного сбоя или масштабной катастрофы, которая приводит к физическому уничтожению площадки.
2. Обеспечение восстановления данных видеоархива в случае аппаратного сбоя или масштабной катастрофы, которая приводит к физическому уничтожению площадки.

На каждой из площадок был установлен сервер резервного копирования, в функции которого, помимо организации резервного копирования, входило управление данными клиентского приложения на библиотеках. Между серверами настроено взаимодействие с целью удаленного хранения резервных копий данных видеоархива и обслуживающих его серверов. В нерабочее время на каждом из серверов локально создаются все необходимые резервные копии для защиты видеокомплекса от одиночных сбоев.

После запуска локальной резервной копии на удаленном сервере создается дополнительная копия данных для их защиты от глобальных аварий.

Особенностью решения является то, что поток копий с Электронного Архива на Материальном Архиве разделен на две части: все оперативные копии (конфигурация серверов и приложений) передаются на библиотеку TS3310-A, а резервные копии медиа-контента уходят на вторую библиотеку TS3310-В. Для второй библиотеки настроено регулярное извлечение лент, так как очевидно, что объемы библиотеки на Электронном Архиве в сотни раз больше. При этом, данные попадают в библиотеку TS3310-B не напрямую, а через промежуточный дисковый пул на дисковой стойке. 

Использование продукта IBM Tivoli Storage Manager позволило реализовать ряд нестандартных требований, например, разделить потоки данных различных типов при передаче на удаленный сервер, для каждого из них построить свою иерархию пулов, и создать различные правила хранения и изъятия лент из библиотек на долгосрочное хранение.

Подсистема мониторинга ОС и приложений

Для поддержания работоспособности комплекса важно постоянно контролировать функционирование серверного оборудования, операционных систем и функциональных приложений, которые используются для создания и обслуживания видеоархива.

Внедренное решение на базе продуктов семейства IBM Tivoli Monitoring позволило унифицировать информацию о параметрах функционирования различных компонентов в ИТ-инфраструктуре видеокомплекса.

Подсистема сетевого мониторинга и событийной обработки

Крайне важным моментом для заказчика было функционирование сетевой инфраструктуры, и, в частности, непрерывный доступ с одной площадки на другую. В качестве основы для решения по сетевому мониторингу выступил модуль IBM Tivoli NetView, который позволяет в режиме реального времени отслеживать доступность объектов сетевой инфраструктуры и каналов связи.

Подсистема событийной обработки на основе модуля IBM Tivoli Enterprise Console позволила свести всю событийную информацию от других подсистем в единую точку и обеспечила минимизацию трудозатрат специалистов по обслуживанию ИТ-инфраструктуры.

Результаты

Созданная подсистема резервного копирования обеспечивает полную сохранность всех данных видеокомплекса.

В результате реализации проекта у специалистов заказчика появилась возможность эффективно управлять ИТ-инфраструктурой комплекса видеоархива. Все рутинные операции в системе автоматизированы, что, наряду с высокой степенью централизации, минимизирует трудозатраты персонала на контроль работоспособности всех компонентов и обслуживание системы в целом.