Обработка OpenPipeline

Материал из Документация Ключ-АСТРОМ

Ключ-АСТРОМ OpenPipeline может преобразовывать входящие данные для лучшего понимания, обработки и анализа. Обработка OpenPipeline основана на создаваемых вами правилах и предлагает гибкий способ извлечения информации из необработанных записей.

Ключевые термины

Источники приема Источник приема данных для определенного типа, сбор данных от поставщика на платформе Ключ-АСТРОМ, например, конечные точки API или ЕдиныйАгент.
Маршрутизация Назначение данных конвейеру на основе условий соответствия (динамическое) или прямого назначения (статическое).

Pipeline

После получения и маршрутизации данных обработка OpenPipeline происходит в конвейерах. Каждый конвейер содержит набор инструкций обработки (процессов), которые выполняются в упорядоченной последовательности этапов и определяют, как Ключ-АСТРОМ должен структурировать, разделять и хранить данные. После обработки запись отправляется в хранилище и становится доступной для дальнейшего анализа.

По умолчанию типы данных обрабатываются в отдельных встроенных конвейерах. Вы можете создавать новые конвейеры для группировки обработки и извлечения по технологиям или командам.

Конвейеры обработки логов и бизнес-событий

Условия конвейера обработки логов и бизнес-событий включены во встроенные конвейеры OpenPipeline.

Обогащение записей

Обработка осуществляется на основе доступных записей и не учитывает обогащение записей внешними службами.

Варианты использования

  • Подготавливайте, преобразуйте и храните данные в Grail.
  • Предоставляйте доступ к определенным записям.

Лучшие практики

Обработка логов OpenPipeline поддерживает только DQL. Если вы уже используете конвейер обработки логов, убедитесь, что ваши сопоставления преобразованы в DQL .

Этап

Этап — это фаза в последовательности конвейера, ориентированная на выполнение определенной задачи, например, маскирования, фильтрации, обработки или извлечения. Этапы содержат предопределенный список настраиваемых процессов, которые определяют задачу этапа.

Image4042.png

В следующей таблице представлен полный список этапов, упорядоченных в последовательности конвейера выполнения, с указанием того, какие процессы доступны и выполняются для каждого этапа для поддерживаемых типов данных.

Этап Описание Процессы на данном этапе Выполненные процессы Поддерживаемые типы данных
Обработка Подготовка данных к анализу и хранению осуществляется путём разбора значений по полям, преобразования схемы и фильтрации записей данных. Поля редактируются, а конфиденциальные данные маскируются.
  • DQL
  • Добавить поля
  • Удалить поля
  • Переименовать поля
  • Удалить запись
 Все совпадения Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1 , Бизнес-события, Диапазоны1 2, Метрики3
Извлечение метрических данных Извлечь метрики из записей, соответствующих запросу.
  • Метрика счетчика
  • Метрика значения
 Все совпадения Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Системные события, Промежутки1 4, События пользователей, Сеансы пользователей
Извлечение данных Извлеките новую запись из конвейера и повторно вставьте ее как другой тип данных в другой конвейер.
  • События ИИ
  • Бизнес-события
 Все совпадения Логи, События — Общие, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Системные события, Промежутки1
Разрешения Применить контекст безопасности к записям, соответствующим запросу.
  • Установка dt.security_context
 Только первое совпадение Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Промежутки1, Метрики3, События пользователей, Сеансы пользователей
Хранилище Распределите записи по наиболее подходящим контейнерам.
  • Назначение контейнера
  • Без назначения хранения
 Только первое совпадение Логи, События — Общие, События — ИИ, События — SDLC, События — безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Промежутки1
Распределение затрат Расширенная возможность назначения использования центра затрат определенным записям, соответствующим запросу.
  • Распределение затрат DPS — Центр затрат
 Только первое совпадение Логи, События — Общие, События — SDLC, События — События безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Системные события, Промежутки1
Распределение продукта Расширенная возможность назначения использования продукта или приложения определенным записям, соответствующим запросу.
  • Распределение затрат DPS — продукт
 Только первое совпадение Логи, События — Общие, События — SDLC, События — События безопасности (устаревшие), События безопасности (новые)1, Бизнес-события, Системные события, Промежутки1

1 Данные остаются в исходном, структурированном виде. Это важно для детального анализа и устранения неполадок, поскольку гарантирует отсутствие потери или изменения информации.

2 Обработка диапазонов ограничена процессами «Удалить поля» и «Удалить записи» в соответствии с ограничениями полей для диапазонов.

3 Определенные поля метрик исключены из сопоставления и обработки. Подробнее см. в разделе Ограничения OpenPipeline.

4 Выборку интервалов можно выполнять с помощью ЕдиногоАгента и OpenTelemetry, однако выборка и агрегация не включаются автоматически в этап извлечения метрик.

Процесс

Процесс — это предварительно отформатированная инструкция обработки, которая фокусируется либо на изменении (например, путем переименования или добавления нового поля), либо на извлечении данных (например, путем создания события из строки логов или извлечения показателей).

Хотя формат процесса предопределен, он содержит настраиваемое определение сопоставления и обработки.

  • Матчер определяет целевой процесс с помощью DQL-запроса. Он сужает доступные данные до конкретного набора, который требуется обработать.
  • Определение обработки указывает Ключ-АСТРОМ, как преобразовывать или изменять данные, отфильтрованные сопоставителем.

В следующей таблице в алфавитном порядке перечислены все доступные процессы в конвейере.

Процесс Описание
Добавить поля Добавляет поля с именем и значением.
Бизнес-событие Извлекает поля в новую запись и отправляет ее в таблицу бизнес-событий.
Метрика счетчика Возвращает количество появлений метрики из записей, соответствующих запросу.
Событие ИИ Извлекает поля в новую запись и отправляет ее в таблицу событий.
DQL Обрабатывает подмножество DQL. Вывод форматируется в виде строки, числа, логического значения, длительности, временной метки и соответствующих массивов этих значений.
Распределение затрат DPS — Центр затрат Назначает использование центра затрат записи dt.cost.costcenter путем копирования значения из поля или установки его в виде статической строки.
Распределение затрат DPS — продукт Назначает использование продукта или приложения записи dt.cost.product путем копирования значения из поля или установки его в виде статической строки.
Удалить запись Удаляет запись. Запись не сохраняется.
Без назначения хранилища Пропускает назначение хранилища. Запись не сохраняется.
Удалить поля Удаляет поля из записи.
Переименовать поля Изменяет название полей.
Назначение контейнера Назначает контейнер Grail.
Метрика значения Возвращает агрегированные значения метрики из записей, соответствующих запросу.
Установить dt.security_context Устанавливает правильный доступ на уровне записи dt.security_context, копируя ее из поля, устанавливая ее как статическую строку или статический массив, допускающий несколько значений.
Технологический пакет Сопоставляет записи для выбранной технологии и обрабатывает их в соответствии с предопределенными контекстно-зависимыми операторами обработки DQL.
Источник — https://doc.fit4u.kz/index.php?title=Обработка_OpenPipeline&oldid=5680