Просмотр кода страницы Как использовать DQL-запросы

Язык запросов Ключ-АСТРОМ ('''DQL''') знакомит вас с важными концепциями, которые следует усвоить при начале работы.

'''DQL'''-запрос — это запрос, доступный только для чтения, на обработку данных и возврат результатов. Запрос формируется простым текстом с использованием конвейерной модели потока данных, которую легко читать, создавать и автоматизировать.

== Объединение команд с помощью оператора ==
'''DQL'''-запрос содержит как минимум одну или несколько команд, каждая из которых возвращает табличный вывод, содержащий записи (строки) и поля (столбцы). Все команды разделены символом «'''|'''» (конвейером). Данные передаются потоком или по воронке от одной команды к другой. На каждом этапе данные фильтруются или обрабатываются, а затем передаются на следующий этап.

[[Файл:Image4040.png|граница]]

После каждой операции '''DQL''' возвращает таблицу или набор таблиц с данными. Оператор конвейера передаёт эти таблицы в следующую операцию, где они подвергаются дальнейшей обработке или изменению. Это позволяет легко выстраивать пошаговые цепочки операций до достижения конечного, желаемого результата.

Поскольку передача информации от одного оператора к другому является последовательной, порядок операторов запроса важен и может влиять как на результаты, так и на производительность.

Лучший способ изучить '''DQL''' — начать с базовых запросов.

== Загрузить данные ==
Команда '''DQL''' <code>fetch</code> определяет, какие данные следует загрузить из Ключ-АСТРОМ и при необходимости обработать на следующих этапах конвейера обработки.

Команда <code>fetch</code> требует указания типа данных, которые должен получить конвейер первичной обработки. В следующем примере используются логи.
{| class="wikitable"
|fetch logs

<nowiki>|</nowiki> filter loglevel == "ERROR"

<nowiki>|</nowiki> summarize numErr = count()
|}
Оператор начинается с загрузки (<code>fetch</code>) всех загруженных логов. Поскольку на первом этапе временной интервал запроса не был указан, применяется временной диапазон, указанный в пользовательском интерфейсе Ключ-АСТРОМ. Он содержит три команды: <code>fetch</code>, <code>filter</code>, и <code>summarize</code>, разделенные вертикальной чертой.

Записи логовередаются в команду фильтра, которая сокращает количество выходных записей на основе указанного выражения фильтра. Последняя строка возвращает таблицу с одним полем и одной записью, содержащей количество оставшихся строк.
{| class="wikitable"
!numErr
|-
|<code>34</code>
|}
Вы также можете изменить тип данных <code>events</code>, используя команду <code>fetch</code>, добавив после неё <code>events</code>. В примере запроса показано суммарное значение для поля <code>amount</code> в наборе данных событий.
{| class="wikitable"
|fetch events

<nowiki>|</nowiki> summarize Total_amount = sum(amount)
|}
{| class="wikitable"
!Total_amount
|-
|<code>1,064,497</code>
|}

== Укажите временные рамки ==
Мы предлагаем использовать элементы управления, предлагаемые пользовательским интерфейсом, для выбора временного интервала запроса.

Однако оператор '''DQL''' позволяет переопределить выбор пользовательского интерфейса, используя параметр <code>from</code> или <code>to</code> для указания желаемого временного диапазона. Если в приложении или '''API''' не указано иное, временной интервал по умолчанию составляет 2 часа.

В этом примере с относительными временными диапазонами выполняются запросы к журналам за последние два часа:
{| class="wikitable"
|fetch logs, from:now() - 2h
|}
В этом примере запрашиваются журналы за последние 24 часа, за исключением последних двух часов:
{| class="wikitable"
|fetch logs, from:now() - 24h, to:now() - 2h
|}
Вы также можете использовать абсолютные временные диапазоны с параметром <code>timeframe</code>:
{| class="wikitable"
|fetch logs, timeframe:"2021-10-20T00:00:00Z/2021-10-28T12:00:00Z"
|}

== Фильтр по логическому выражению ==
Уточните список запрашиваемых записей с помощью <code>filter</code>. Используйте операторы типа <code>==</code> или <code>!=</code> для включения или исключения полей с определёнными значениями. Функции типа <code>endsWith</code> или <code>contains</code> позволяют включать поля, которые заканчиваются или содержат определённую строку.
{| class="wikitable"
|fetch logs, from:now() - 2h

<nowiki>|</nowiki> filter loglevel == "SEVERE" or loglevel == "ERROR" and not endsWith(log.source,"audit.log")
|}

== Выберите подмножество полей ==
{| class="wikitable"
|fetch logs

<nowiki>|</nowiki> fields timestamp, loglevel, log.source, content
|}

== Упорядочить результаты с помощью сортировки ==
По умолчанию команда '''sort''' сортирует записи по возрастанию. В следующем примере мы сортируем результаты по убыванию.
{| class="wikitable"
|fetch logs

<nowiki>|</nowiki> filter loglevel == "SEVERE" or loglevel == "ERROR"

<nowiki>|</nowiki> fields timestamp, loglevel, dt.process.name, host.name, content

<nowiki>|</nowiki> limit 5

<nowiki>|</nowiki> sort timestamp desc
|}

== Агрегации ==
В этом примере рассчитывается количество событий <code>booking.process.started</code>. Агрегация намеренно учитывает только рабочие дни и часы (пн-пт, с 8:00 до 17:00).
{| class="wikitable"
|fetch bizevents

<nowiki>|</nowiki> filter event.type=="booking.process.started"

<nowiki>|</nowiki> fieldsAdd hour=formatTimestamp(timestamp,format:"hh"), day_of_week=formatTimestamp(timestamp,format:"EE")

<nowiki>|</nowiki> filterOut (day_of_week  == "Sat" or day_of_week == "Sun") or (toLong(hour) <= 08 or toLong(hour) >= 17)

<nowiki>|</nowiki> summarize numStarts = count(), by:{product}
|}

== Агрегации с течением времени ==
'''DQL''' предоставляет специальные команды, такие как <code>makeTimeseries</code>, для агрегации списка необработанных записей событий в виде временного ряда, пригодного для построения графика. Давайте рассмотрим логи, сгруппированные по уровню логов и 5-минутному интервалу агрегации:
{| class="wikitable"
|fetch logs

<nowiki>|</nowiki> filter loglevel == "SEVERE" or loglevel == "ERROR"

<nowiki>|</nowiki> makeTimeseries count = count(), by:loglevel, interval:5m
|}

== Изучите приложение DQL ==
Вы можете изучить '''DQL''', используя практический опыт с помощью интерактивных обучающих программ в приложении '''Learn''' '''DQL'''. Вы можете использовать приложение, если являетесь клиентом с доступом к SaaS-среде Ключ-АСТРОМ или зарегистрированным участником сообщества Ключ-АСТРОМ. Вы также можете зарегистрироваться на 15-дневную бесплатную пробную версию, чтобы опробовать приложение.