В конце 2025 года региональным операторам ГИСОГД была поставлена задача — создание региональных витрин данных ГИСОГД (РВД ГИСОГД). Витрина данных призвана унифицировать взаимодействие региональной ГИСОГД с внешними потребителями, к числу которых относятся:
- Минстрой РФ (Единая информационная система Стройкомплекс.РФ, ЕИС Стройкомплекс.РФ)
- «ДОМ.РФ» (Единая информационная система жилищного строительства, ЕИС ЖС),
- Минэкономразвития России (Федеральная государственная информационная система территориального планирования, ФГИС ТП)
- Минцифры РФ (Типовое облачное решение контрольно-надзорной деятельности, ТОР КНД)
- Росреестр (Единая цифровая платформа Национальная система пространственных данных, НСПД)
Как было раньше
Региональная ГИСОГД работала как система-источник: данные градостроительных документов размещались в системе, причем чаще всего в форме регистрационных сведений, приложенных к ним файлов и дополнительных наборов данных, состав которых определен Приказом Минстроя РФ 433/пр от 06 августа 2020 года.
Далее эти данные передавались во внешние системы через точечные интеграционные механизмы — через REST API ЕИС Стройкомплекс.РФ; каналы системы межведомственного электронного взаимодействия (СМЭВ); интеграционную шину цифровой вертикали строительной отрасли; REST API НСПД. Каждый внешний потребитель получал данные по своим правилам и в своём формате, что создавало дублирование логики передачи и зависимость от конкретных интерфейсов взаимодействия.
Что меняется
РВД ГИСОГД — это отдельный программный комплекс, развёрнутый с использованием типового ПО «Витрина данных», предоставляемого Минцифры России. Каждый регион такой комплекс разворачивает на своих мощностях и внедряет специальное программное обеспечение - ETL-сервис, которое реализует загрузку и регулярную актуализацию в РВД данных из ГИСОГД, а также проверку качества данных и обеспечение целостности данных в витрине. Структура данных витрин унифицирована (установлена требованиями Минстроя РФ), при этом регион может ее расширять для решения дополнительных задач.
ETL-сервис не заменяет функциональность ГИСОГД по формированию данных — он отвечает за транспортировку готовых данных из базы в витрину, выполняя при этом преобразования исходных данных к структуре хранения в РВД, валидацию данных и передачу данных в определенной последовательности.
ЕИС Стройкомплекс.РФ и другие потребители при этом могут получить данные уже не напрямую от региональных ГИСОГД, а именно от региональных витрин через запросы из своих информационных систем. Состав запросов заранее определен и не привязан к потребителю, поэтому регионам не надо уже подстраиваться под разные правила и системы.
ГеоПрайм. Модуль "ETL-сервис"
Разработанный нами модуль "ETL-сервис" как раз и обеспечивает извлечение, обработку и передачу данных из системы-источника на базе ПО ГеоПрайм в витрину данных.
Структура витрины наверняка будет изменяться - это было понятно сразу после анализа требований к структуре РВД, которые разработал Минстрой РФ и разместил на своем сайте; задачи, которые решают пользователи ГИСОГД, тоже только прибывают; поэтому мы сразу заложили возможности настройки состава и структуры передаваемых данных, чтобы при необходимости адаптировать передачу без изменения логики работы ГИСОГД. Состав проверок качества данных тоже может изменяться, поэтому в ETL-сервис мы заложили механизмы настройки валидаций. А чтобы контролировать ход передачи данных в РВД и устранять выявленные ошибки в данных, был сделан специальный интерфейс мониторинга.
Модуль "ETL-сервис" включает ряд сервисов, выполняющих:
- подготовку/тестирование/публикацию правил преобразований/проверок;
- извлечение данных из системы на базе ГеоПрайм, обработку/проверку данных, выгрузку "готовых к передаче" данных в csv-файлы;
- передачу сформированных csv-файлов в сервис приема на стороне РВД;
- пользовательские интерфейсы мониторинга результатов работы ETL-сервиса.
Чтобы обеспечить регулярную передачу в РВД новых и измененных данных ETL-сервис выполняет сканирование системы (ГИСОГД), извлечение данных для РВД и расчет хэш-сумм сформированных наборов данных. В случае выявления нового набора или набора с хэш-суммой, отличной от ранее рассчитанной, сервис создает новые записи в базе данных промежуточной обработки. Для созданных записей запускается процесс валидации и для валидных данных проверяется готовность к отправке с учетом обеспечения ссылочной целостности. Готовые к отправке данные выгружаются в csv-файлы и передаются в сервис загрузки на стороне РВД (этот сервис входит в состав типового ПО витрины). Ответы сервиса загрузки в РВД записываются в БД промежуточной обработки.
По БД промежуточной обработки выполняется сбор результатов, которые затем отображаются в интерфейсе мониторинга.
Настройки ETL-сервиса
Каждый шаг обработки (извлечение, валидация, проверка готовности, отправка, сбор результатов) выделен в отдельный процесс, для которого настраивается расписание запуска.
Для извлечения данных настраиваются правила отбора документов, размещенных в ГИСОГД, что дает оператору дополнительные возможности управления процессом передачи данных в РВД.
Преобразования (трансформеры записи) применяемые к извлеченным из ГИСОГД данным, выполняют приведение исходных данных к структуре хранения РВД, обеспечивают использование системных справочников; реализуют трансформацию геоданных к системе координат 4326 (установлена в требованиях Минстроя РФ к передаче пространственных данных в РВД).
Проверки (трансформеры валидации) проверяют сформированные записи на заполнение обязательных и условно-обязательных полей; корректные значения ИНН, ОГРН, СНИЛС, кадастровых номеров; пространственные данные относительно границ региона, проверка дат и т.д. В трансформерах валидации также устанавливаются сообщения, которые будут выведены пользователю для выявленных ошибок в интерфейсе мониторинга.
Все трансформеры могут быть изменены через специально разработанный интерфейс.
Запуск в эксплуатацию
РВД ГИСОГД и модуль "ETL-сервис" уже запущены в Воронежской, Курской, Ставропольской, Тульской, Ярославской областях. Взаимодействие с ЕИС "Стройкомплекс.РФ" успешно начато в Тульской и Ярославской областях.