Ограничения по умолчанию для управления логами и аналитики

На этой странице перечислены ограничения по умолчанию для последней версии Ключ-АСТРОМ Log Management and Analytics. Текущие ограничения применяются как к загрузке файлов логов, так и к загрузке логов через API загрузки логов.

Лимиты приема логов

В таблице ниже представлены наиболее важные ограничения по умолчанию, связанные с приемом логов. Все представленные ограничения относятся к данным в кодировке UTF-8.

Тип	Предел	Описание
Содержание	10 МБ 1	Максимальный размер тела записи логов
Ключ атрибута	100 байт	Ключ значения атрибута
Длина значения атрибута	32 кБ	Максимальная длина значения атрибута
Количество атрибутов логов	500	Максимальное количество атрибутов, которые могут содержать логи
Логи событий в минуту	Нет ограничений	Максимальное количество событий логов в минуту
Возраст логов	24 часа	Максимальный возраст записей логов при приеме
Логи с будущими датами	Нет ограничений 2	Насколько далеко в будущее могут записываться логи
Значения на атрибут	32 значения	Максимальное количество отдельных значений, которые может содержать атрибут
Размер запроса 3	10 МБ	Максимальный размер полезной нагрузки данных
Количество записей логов	50 000 записей	Максимальное количество записей логов на один запрос
Вложенные объекты	5 уровней	Максимальное количество уровней, поглощаемых вложенными объектами
Извлеченный атрибут логов	4096 байт	При добавлении логов в шаблон событий атрибуты логов обрезаются до 4096 байт.

¹ Для логов, направляемых в классический канал, лимит содержимого ниже (512 КБ) .

² Для записей логов с метками времени, относящимися к будущему, ограничений на прием нет, но для записей с метками времени, отстоящими более чем на 10 минут вперед, метки времени устанавливаются на момент приема.

³ Что касается размера запроса, конечные точки API Log Ingestion принимают запросы размером до 10 МБ. Однако после первоначальной обработки размер пакета может увеличиться. Если после обработки он превысит 16 МБ, он будет отклонен со следующей ошибкой 413: Message size limit exceeded after preprocessing on ingest endpoint. Чтобы избежать этой проблемы, обрабатывайте записи логов меньшими пакетами, чтобы не выходить за пределы ограничений по размеру.

Запрос логов может увеличиться в размере по следующим причинам:

• Отсутствующие атрибуты содержимого в принятых записях логов: если логи, принятые через конечную точку API приема логов, не имеет атрибута, похожего на содержимое, этот атрибут будет добавлен после приема.
• Для логов, полученных через конечную точку OTLP, атрибуты ресурсов и области действия копируются в каждую отдельную запись логов.

Проверьте свой доступ к OpenPipeline в разделе Обработка логов с помощью OpenPipeline.

Задержки приема логов

Логи, полученные через ЕдиныйАгент, обычно готовы к анализу через несколько секунд — 90 секунд (в среднем 30 секунд).

Логи, полученные с помощью API, становятся доступны для анализа в Ключ-АСТРОМ в среднем через 10 секунд.

Иногда более высокая задержка может возникать из-за механизмов предотвращения потери данных, таких как повторные передачи, буферизация или другие факторы, которые могут вызывать задержки.

Минимальная временная метка записи журнала

Самая ранняя временная метка для записи логов:

Минимальная временная метка	Описание
Текущее время минус 24 часа для записей логов.	Это относится ко всем источникам записей логов (ЕдиныйАгент и обобщенный приём логов). Если запись логов содержит временную метку, более раннюю, чем текущее время минус 24 часа, она удаляется.
Текущее время минус 1 час для показателей логов и событий.	Точки данных для метрик из логов и событий принимают данные за текущее время минус 1 час. Точки данных за пределами этого временного интервала отбрасываются.
Метка времени ранее текущего времени минус 24 часа.	Если запись логов содержит такую ​​временную метку, запись удаляется, а универсальный API приема логов возвращает код ответа 400.

Метрики логов

Количество метрик ограничено:

• 100,000 (1000 на конвейер x 100 конвейеры) для управления логами и аналитики на базе Grail с OpenPipeline
• 1000 для управления логами и аналитики на базе Grail без включенного OpenPipeline
• 50 в других случаях.

Объекты запросов API для регистрации данных

Помимо общих ограничений API Ключ-АСТРОМ (API Ключ-АСТРОМ - Ограничение доступа) действуют следующие специфические ограничения API приема журналов:

Объект JSON LogMessageJson.

Объект может содержать следующие типы ключей (возможные значения ключей перечислены ниже):

Тип	Описание
Метка времени	Поддерживаются следующие форматы: миллисекунды UTC, RFC3339 и RFC3164. Если не задано, используется текущая временная метка.
Серьезность	Если не установлено или не распознано, используется NONE.
Содержание	Если ключ содержимого не установлен, весь JSON анализируется как содержимое.
Атрибуты	Поддерживаются только значения строкового типа; числа и логические значения преобразуются в строку. Семантические атрибуты также отображаются в фильтрах атрибутов, предлагаются при редактировании запроса или при создании метрик и оповещений.

Объект протокола OpenTelemetry LogMessageOTLP. См. раздел Прием логов OpenTelemetry.

Ограничения на автоматическое обнаружение логов при использовании ЕдиногоАгента

Файлы логов в ЕдиномАгенте:

• не может быть удален ранее, чем через минуту после создания.
• необходимо дополнять (старый контент не обновляется).
• должен иметь текстовое содержимое.
• должен быть открыт постоянно (а не только на короткие периоды для добавления записей в логи).
• необходимо открывать в режиме записи.

В стандартных средах модуль логов ЕдиногоАгента поддерживает до 100 файлов в одной директории с логами, 1 ГБ исходного содержимого логов (при первом запуске модуля логов ЕдиногоАгента) и 10 МБ нового содержимого логов в минуту. Если у вас больше данных, особенно высокого уровня, модуль логов ЕдиногоАгента, скорее всего, также будет их поддерживать, но мы рекомендуем вам заранее обратиться в службу поддержки для проверки ваших настроек.

В особых случаях, например при очень низкой производительности оборудования, ограничения модуля логов ЕдиногоАгента могут быть более строгими.

Ограничения ротации логов

Сценарии, которые не поддерживаются в процессе мониторинга ротируемых логов, включают:

Тип	Описание
Измененная генерация логов с изменением директории	Возможным последствием является создание дубликатов и/или неполных логов.
Генерация ротированных логов с мгновенным сжатием	Если критерий ротации выполнен (например, достигнут требуемый размер файла), файл перемещается в другое место и немедленно сжимается. Пример: /var/log/application.log -> /var/log/application.log.1.gz -> /var/log/application.log.2.gz -> /var/log/application.log.3.gz. Этот процесс может снова привести к неполному захвату логов. Должен быть хотя бы один несжатый ротированный файл.
Генерация ротированных логов с логикой очереди	Самые старые записи логов удаляются при каждом добавлении нового контента в файл, что обеспечивает относительно постоянный размер файла. Этот сценарий можно легко заменить поддерживаемой схемой ротации, например, создавая новый файл при достижении текущего заданного размера.

Ограничения маскировки конфиденциальных данных

Помните о следующих ограничениях маскировки конфиденциальных данных:

• Если процесс маскирования занимает слишком много времени, соответствующий файл логов блокируется до перезапуска ЕдиногоАгета или изменения конфигурации, после чего вы получаете сообщение File not monitored - incorrect sensitive data masking rule.

Пропускная способность активного шлюза

Если вы используете SaaS-конечную точку, вам не нужно беспокоиться о пропускной способности АктивногоШлюза. Она такая же, как у Grail. При использовании Environmental АктивногоШлюза пропускная способность составляет 3,3 ГБ/мин при RTT <= 200 мс.