Ограничения по умолчанию для мониторинга логов

На этой странице перечислены ограничения по умолчанию для последней версии Ключ-АСТРОМ Мониторинг логов.

Текущие ограничения применяются как к приему файлов логов, так и к приему общих логов через API.

Ограничения приема логов

В таблице ниже представлены наиболее важные ограничения по умолчанию, связанные с приемом логов. Все представленные ограничения относятся к данным в кодировке UTF-8.

Тип	Ограничение	Описание
Содержание	8 кБ	Максимальный размер тела записи логов
Ключ атрибута	100 байт	Ключ значения атрибута
Длина значения атрибута	250 байт	Максимальная длина значения атрибута
Количество атрибутов логов	50	Максимальное количество атрибутов, которые могут содержать логи
Событий логов в минуту	1М/мин	Максимальное количество событий логов в минуту
Возраст логов	24 часа	Максимальный возраст записей логов при приеме
Логи с будущими датами	Нет ограничений 1	Насколько далеко в будущее могут записываться логи
Значения на атрибут	32 значения	Максимальное количество отдельных значений, которые может содержать атрибут
Размер запроса	10 МБ	Максимальный размер полезной нагрузки данных
Количество записей логов	50 000 записей	Максимальное количество записей логов на один запрос
Вложенные объекты	5 уровней	Максимальное количество уровней, внедряемых вложенными объектами

¹ Для записей логов с метками времени, относящимися к будущему, ограничений на прием нет, но для записей с метками времени, более чем на 10 минут вперед, метки времени устанавливаются на момент приема.

Неподдерживаемые сценарии автообнаружения

Сценарии, которые не поддерживаются в процессе автоматического обнаружения ротируемых логов, включают:

• Генерация логов с ротацией и сменой директории. Этот процесс может привести к созданию множества неагрегированных и/или неполных логов, а также к перерасходу ресурсов.
• Создание ротированного лога с немедленным сжатием, когда приложение обращается к файлу с тем же именем. При выполнении условия ротации (например, при достижении требуемого размера файла) файл перемещается в другое место и немедленно сжимается.
  Пример:
  /var/log/application.log ->
/var/log/application.log.1.gz ->
/var/log/application.log.2.gz ->
/var/log/application.log.3.gz.
  Этот процесс может снова привести к неполному созданию логов.

Ограничения на автоматическое обнаружение логов при использовании ЕдиногоАгента

Файлы логов в ЕдиномАгенте:

• не могут быть удалены ранее, чем через минуту после создания.
• необходимо дополнять (старый контент не обновляется).
• должны иметь текстовое содержимое.
• должны быть открыты постоянно (а не только на короткие периоды для добавления записей в логах).
• необходимо открывать в режиме записи.

В стандартных средах модуль логов ЕдиногоАгента поддерживает до 100 файлов в одной директории с логами, 1 ГБ исходного содержимого логов (при первом запуске модуля логов ЕдиногоАгента) и 10 МБ нового содержимого логов в минуту. Если у вас больше данных, особенно высокого уровня, модуль логов ЕдиногоАгента, скорее всего, также будет их поддерживать, но мы рекомендуем вам заранее обратиться в службу поддержки для проверки ваших настроек.

В особых случаях, например при очень низкой производительности оборудования, ограничения модуля логов ЕдиногоАгента могут быть более жесткими.

Ограничения ротации логов

Сценарии, которые не поддерживаются в процессе мониторинга ротируемых логов, включают:

Тип	Описание
Измененная генерация логов с изменением директории	Возможным последствием является создание дубликатов и/или неполных логов.
Генерация ротированных логов с мгновенным сжатием	Если критерий ротации выполнен (например, достигнут требуемый размер файла), файл перемещается в другое место и немедленно сжимается. Пример: /var/log/application.log -> /var/log/application.log.1.gz -> /var/log/application.log.2.gz -> /var/log/application.log.3.gz. Этот процесс может снова привести к неполному захвату логов. Должен быть хотя бы один несжатый ротированный файл.
Генерация ротированных логов с логикой очереди	Самые старые записи логов удаляются при каждом добавлении нового контента в файл, что обеспечивает относительно постоянный размер файла. Этот сценарий можно легко заменить поддерживаемой схемой ротации, например, создавая новый файл при достижении текущего заданного размера.

Минимальная временная метка записи журнала

Самая ранняя временная метка для записи логов:

Минимальная временная метка	Описание
Текущее время минус 24 часа для записей логов.	Это относится ко всем источникам записей логов (ЕдиныйАгент и обобщенный приём логов). Если запись логов содержит временную метку, более раннюю, чем текущее время минус 24 часа, она удаляется.
Текущее время минус 1 час для показателей логов и событий.	Точки данных для метрик из логов и событий принимают данные за текущее время минус 1 час. Точки данных за пределами этого временного интервала отбрасываются.
Метка времени ранее текущего времени минус 24 часа.	Если запись логов содержит такую ​​временную метку, запись удаляется, а универсальный API приема логов возвращает код ответа 400.

Атрибуты с высокой мощностью

Уникальные атрибуты данных логов (атрибуты с высокой мощностью), такие как span_id и trace_id, создают неоправданно избыточные списки, которые могут повлиять на производительность средства просмотра логов. По этой причине они не перечислены в средстве просмотра логов. Вы по-прежнему можете использовать их в расширенном поисковом запросе средства просмотра логов.

Объекты запросов API для регистрации данных

Помимо общих ограничений API Ключ-АСТРОМ (API Ключ-АСТРОМ - Ограничение доступа) действуют следующие специфические ограничения API приема логов:

• Текстовый объект LogMessagePlain plain.
  Длина сообщения ограничена 8192 символами. Любое содержимое, превышающее лимит, обрезается.
• Объект JSON LogMessageJson.
  Объект может содержать следующие типы ключей (возможные значения ключей перечислены ниже):
  • Метка времени. Поддерживаются следующие форматы: миллисекунды UTC, RFC3339 и RFC3164. Если не задано, используется текущая метка времени.
  • Серьёзность. Если не задано, используется значение NONE.
  • Содержимое. Если ключ содержимого не задан, весь JSON анализируется как содержимое.
  • Семантический атрибут. Поддерживаются только значения типа String. Семантические атрибуты индексируются и могут использоваться в запросах. Они также отображаются в агрегациях (фасетах). Неподдерживаемый ключ не индексируется и не может использоваться в индексации и агрегациях. Длина значения ограничена. Любое содержимое, превышающее лимит, обрезается. Ограничения по умолчанию:
  • Содержание: 8192 символа.
  • Значение семантического атрибута: 250 символов.

Пределы маскировки конфиденциальных данных

Помните о следующих ограничениях маскировки конфиденциальных данных:

• Если процесс маскирования занимает слишком много времени, соответствующий файл логов блокируется до перезапуска ЕдиногоАгента или изменения конфигурации, после чего вы получаете сообщение File not monitored - incorrect sensitive data masking rule.

Пропускная способность АктивногоШлюза

Если вы используете SaaS-конечную точку, вам не нужно беспокоиться о пропускной способности АктивногоШлюза. Она такая же, как у Grail. При использовании Environmental АктивногоШлюза пропускная способность составляет 3,3 ГБ/мин при RTT <= 200 мс.