Просмотр кода страницы Сбор данных системных логов с помощью OpenTelemetry Collector

В следующем примере конфигурации показано, как настроить экземпляр '''Collector''' для получения данных из <code>syslog</code> и отправки их на сервер Ключ-АСТРОМ.

== Предустановка ==

* Один из следующих дистрибутивов '''Collector''' с [https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/v0.136.0/processor/attributesprocessor процессором атрибутов] и [https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/v0.136.0/receiver/syslogreceiver приемником Syslog]:
** [[Collector Ключ-АСТРОМ|'''Collector''' Ключ-АСТРОМ]]
** [[Collector Ключ-АСТРОМ|OpenTelemetry Contrib]]
** [[Collector Ключ-АСТРОМ|Пользовательская версия Builder]]
* [[Экспорт с помощью OTLP|URL-адрес конечной точки API Ключ-АСТРОМ]], на которую следует экспортировать данные.
* [[Экспорт с помощью OTLP|Токен API]] с соответствующей областью доступа (требуется только для '''SaaS''' и АктивногоШлюза)

Информацию о настройке '''Collector''' с использованием указанной ниже конфигурации см. в разделах [[Развертывание Collector|Развертывание коллектора]] и [[Настройка Collector|Конфигурация коллектора]].

== Демо конфигурация ==
{| class="wikitable"
|receivers:

  syslog/f5:

    tcp:

      listen_address: "0.0.0.0:54526"

    protocol: rfc5424

    operators:

      - type: add

        field: attributes.log.source

        value: syslog

      - type: add

        field: attributes.dt.ip_addresses

        value: "1xx.xx.xx.xx1"

      - type: add

        field: attributes.instance.name

        value: "ip-1xx-xx-x-xx9.ec2.internal"

      - type: add

        field: attributes.device.type

        value: "f5bigip"

  syslog/host:

    tcp:

      listen_address: "0.0.0.0:54527"

    protocol: rfc5424

    operators:

      - type: add

        field: attributes.log.source

        value: syslog

      - type: add

        field: attributes.device.type

        value: "ubuntu-syslog"

processors:

  attributes:

    actions:

      - key: net.host.name

        action: delete

      - key: net.peer.name

        action: delete

      - key: net.peer.port

        action: delete

      - key: net.transport

        action: delete

      - key: net.host.ip

        action: delete

      - key: dt.ingest.port

        from_attribute: net.host.port

        action: upsert

      - key: dt.ingest.source.ip

        from_attribute: net.peer.ip

        action: upsert

      - key: net.peer.ip

        action: delete

      - key: net.host.port

        action: delete

      - key: syslog.hostname

        from_attribute: hostname

        action: upsert

      - key: hostname

        action: delete

      - key: syslog.facility

        from_attribute: facility

        action: upsert

      - key: facility

        action: delete

      - key: syslog.priority

        from_attribute: priority

        action: upsert

      - key: priority

        action: delete

      - key: syslog.proc_id

        from_attribute: proc_id

        action: upsert

      - key: proc_id

        action: delete

      - key: syslog.version

        from_attribute: version

        action: upsert

      - key: version

        action: delete

      - key: syslog.appname

        from_attribute: appname

        action: upsert

      - key: appname

        action: delete

      - key: message

        action: delete

exporters:

  otlphttp:

    endpoint: ${env:DT_ENDPOINT}

    headers:

      Authorization: "Api-Token ${env:DT_API_TOKEN}"

service:

  pipelines:

    logs:

      receivers: [syslog/f5, syslog/host]

      processors: [attributes]

      exporters: [otlphttp]
|}

== Компоненты ==
Для нашей конфигурации мы используем следующие компоненты.

=== Приемники ===
В разделе <code>receivers</code> мы указываем два экземпляра приемника <code>syslog</code> в качестве активных компонентов приемника для нашего экземпляра '''Collector'''.

Приёмник '''Syslog''' поддерживает ряд [https://github.com/open-telemetry/opentelemetry-collector-contrib/blob/v0.136.0/receiver/syslogreceiver/README.md параметров конфигурации], позволяющих настраивать его поведение. В нашем примере мы используем следующие:

* <code>tcp</code>— Указывает TCP-прослушиватель для приемника и настраивает порты '''54526''' и '''54527'''
* <code>protocol</code>— Указывает реализацию '''<nowiki>RFC 5424</nowiki>''' для нашего приемника (в качестве альтернативы также поддерживается '''<nowiki>RFC 3164</nowiki>''')
* <code>operators</code>— Настраивает операторы, применяемые к каждой записи журнала. В нашем примере мы используем оператор '''[https://github.com/open-telemetry/opentelemetry-collector-contrib/blob/v0.136.0/pkg/stanza/docs/operators/add.md add]''' для добавления дополнительной информации.
** <code>field</code>— Указывает имя значения, которое мы добавляем
** <code>value</code>— Указывает содержание добавляемого нами значения.

=== Процессоры ===
В разделе <code>processors</code> мы настраиваем процессор <code>attributes</code> на отбрасывание и корректировку указанных атрибутов в нашем запросе '''OTLP'''.

=== Экспортеры ===
В разделе <code>exporters</code> мы указываем [https://github.com/open-telemetry/opentelemetry-collector/tree/v0.136.0/exporter/otlphttpexporter экспортер <code>otlphttp</code>] по умолчанию и настраиваем его с помощью URL-адреса нашего API Ключ-АСТРОМ и требуемого токена аутентификации.

Для этой цели мы устанавливаем следующие две переменные среды и ссылаемся на них в значениях конфигурации для <code>endpoint</code> и <code>Authorization</code>.

* <code>DT_ENDPOINT</code> содержит базовый URL-адрес конечной точки API Ключ-АСТРОМ (например, <code><nowiki>https://{your-environment-id}.live.astromkey.com/api/v2/otlp</nowiki></code>)
* <code>DT_API_TOKEN</code> содержит токен API

=== Сервисные контейнеры ===
В разделе <code>service</code> мы собираем объекты приемника, процессора и экспортера в контейнер логов, который использует экземпляры приемника для получения данных системного лога и загрузки их в Ключ-АСТРОМ с помощью '''OTLP'''.