Ограничения OpenPipeline

На следующей странице перечислены ограничения Ключ-АСТРОМ OpenPipeline по умолчанию.

Ограничения по типам данных

Ограничения, специфичные для типа данных, могут перекрывать общие ограничения OpenPipeline. Сведения об ограничениях, специфичных для типа данных, см.

• Ограничения по умолчанию для управления логами и аналитики, а также проверка схемы для логов
• Поля с ограничениями для метрик (ниже)
• Поля с ограничениями на диапазоны (ниже)

Ограничения, специфичные для полей

Поля с ограничениями для всех типов данных

Следующие поля доступны только для просмотра; редактирование через OpenPipeline не поддерживается.

• dt.ingest.*
• dt.openpipeline.*
• dt.retain.*
• dt.system.*

Поля с ограничениями для метрик

Использование следующих полей для метрик в OpenPipeline ограничено.

• Поля, исключенные из условий динамического сопоставления маршрута и на этапе обработки
  • dt.entity.*
• Поля, исключенные из этапа обработки
  • dt.system.monitoring_source
  • metric.key
  • metric.type
  • timestamp
  • value

Поля с ограничениями на диапазоны

Использование следующих полей для интервалов в OpenPipeline ограничено.

• Поля, исключенные из условий динамического сопоставления маршрута и на этапе обработки
  • dt.entity.service
  • endpoint.name
  • failure_detection.*
  • request.is_failed
  • request.is_root_span
  • service_mesh.is_proxy
  • service_mesh.is_failed
  • supportability.*
• Поля, исключенные из этапа обработки
  • dt.ingest.size
  • dt.retain.size
  • duration
  • end_time
  • span.id
  • start_time
  • trace.id

Поля, связанные с сущностями

Следующие поля добавляются после этапа обработки, когда Ключ-АСТРОМ выполняет обнаружение сущностей. Поскольку они недоступны до этого, их нельзя использовать на этапах предварительной обработки, маршрутизации или обработки. Их можно использовать на этапах извлечения метрик, извлечения данных, разрешений и конвейера хранения.

• dt.entity.aws_lambda_function
• dt.entity.cloud_application
• dt.entity.cloud_application_instance
• dt.entity.cloud_application_names
• dt.entity.custom_device
• dt.entity.<genericEntityType>
• dt.entity.kubernetes_cluster
• dt.entity.kubernetes_node
• dt.entity.kubernetes_service
• dt.entity.service
• dt.env_vars.dt_tags
• dt.kubernetes.cluster.id
• dt.kubernetes.cluster.name
• dt.loadtest.custom_entity.enriched_custom_device_name
• dt.process.name¹
• dt.source_entity
• k8s.cluster.name²

¹ Для получения эквивалентных результатов до этапа обработки можно использовать dt.process_group.detected_name вместо этого.

² ЕдиныйАгент версии 1.309 Ключ-АСТРОМ Operator версии 1.4.2+ Поле доступно до этапа обработки, если модуль логов ЕдиногоАгента работает в автономном режиме.

Внедрение

Запись максимальной временной метки

Если временная метка находится более чем на 10 минут в будущем, она корректируется в соответствии со временем сервера приема плюс 10 минут.

Минимальная временная метка записи

Элемент	Самая ранняя временная метка
Логи, События, Бизнес-события, Системные события	Время приема минус 24 часа
Метрики, извлеченные метрики и события ИИ	Время приема минус 1 час

Записи вне этих временных рамок отбрасываются.

API для приема

Значение метки времени

Поддерживаются числовые и строковые значения временных меток. OpenPipeline анализирует временные метки следующим образом.

• Числовые значения
  • До 100_000_000_000 анализируются как SECONDS.
  • До 100_000_000_000_000 анализируются как MILLISECONDS.
  • До 9_999_999_999_999_999 анализируются как MICROSECONDS.
• Строковые значения анализируются либо как
  • UNIX epoch миллисекунды или секунды
  • RFC3339 форматы
  • RFC3164 форматы
• Для других значений, которые не могут быть проанализированы timestamp, перезаписывается временем приема.

Если в записи нет поля timestamp, поле устанавливается на время загрузки timestamp.

Обработка

Размер рабочей памяти при обработке одной записи

Каждая запись может занимать максимум 16 МБ памяти. Каждое изменение записи (например, анализ поля) уменьшает доступную память. После исчерпания доступной памяти запись удаляется.

Размер записи после обработки

Максимальный размер записи после обработки — 16 МБ.

Размер извлеченных атрибутов логов

Размер атрибутов логов может достигать 32 КБ. При добавлении атрибутов логов в шаблон события размер каждого атрибута сокращается до 4096 байт.

Количество извлечений для одной записи

Вы можете извлекать данные из одной записи максимум через пять различных конвейеров (dt. open pipeline.pipelines). После превышения порогового значения извлечение данных из этой записи прекращается. Обработка и сохранение записи продолжается.

Проверка схемы для логов

Обработанные логи сохраняются, если выполнены следующие условия.

Поле	Существует	Тип	Ограничение
timestamp	Да	String,Numerical	В пределах диапазона приема
content	Да	String	Не оценено

Если схема недействительна, логи удаляются.

Конфигурация

Элемент	Максимальный предел
Запрос размера полезной нагрузки	10 МБ
Значение канала связи	100
Размер этапа	512 КБ на этап
Значение процессора	1000 на этап
Значение конечной точки	100 на тип данных
Динамическое количество маршрутов	100 на тип данных
Длина условия соответствия	1000 байтов в кодировке UTF-8 на условие
Длина скрипта процессора DQL	8192 байта в кодировке UTF-8 на скрипт

Допустимые символы в пути конечной точки

Путь к конечной точке — это уникальное имя, начинающееся с литерала, определяющего конечную точку. Оно нечувствительно к регистру и поддерживает буквы, цифры и точку (.). Например: Endpoint.1.

Путь конечной точки не поддерживает:

• Точка (.) как последний символ
• Пробелы
• Последовательные точки ( ..)
• Null или пустой ввод