Что такое Ключ-АСТРОМ Grail

Центр данных Grail, лежащий в основе платформы Ключ-АСТРОМ, обеспечивает контекстную аналитику в рамках унифицированных данных о наблюдении, безопасности и бизнес-данных. Он специально разработан для данных, наблюдаемых и собираемых из цифровых сервисов в эксабайтном масштабе.

Grail — это хранилище данных, которое сочетает в себе преимущества экономической эффективности баз данных с аналитическими возможностями хранилищ данных и обеспечивает исключительную производительность за счет массивной параллельной обработки.

Grail обеспечивает:

• Ответы на вопросы, которые вы раньше не могли получить с помощью контекстной аналитики.
• Унифицированные данные о наблюдении, безопасности и бизнес-данных — экономически эффективно и в эксабайтном масштабе.
• Аналитика в режиме реального времени с возможностью задавать любые вопросы в любое время и с постоянно обновляемым хранилищем данных без задержки (холодное/горячее хранение).
• Повышение производительности за счет технологии искажения данных без индекса и схемы при чтении существенно сокращает усилия по подготовке данных.
• Упрощенное соответствие требованиям, поскольку Grail безопасно интегрируется с ИИ, AppEngine, AutomationEngine и другими решениями в рамках платформы Ключ-АСТРОМ.

Контекстная аналитика

Grail даёт ответы на вопросы, которые раньше казались невозможными, объединяя наблюдаемость, безопасность и бизнес-данные, но, что ещё важнее, поддерживает графовую структуру с причинно-следственными зависимостями между данными. Это возможно только благодаря уникальному сочетанию подходов, основанных на графах, событиях, временных рядах и NoSQL-базах данных.

Контекстная аналитика одинаково эффективно обрабатывает разные данные, включая метрики, логи, трассировки, поведение пользователей, сеансы, профили, уязвимости, метаданные и многое другое, и помещает их в контекст. Контекстуализация данных выполняется полностью автоматически, без необходимости добавления тегов или определения схем при получении данных или во время хранения.

Контекстная аналитика использует причинно-следственный ИИ для отслеживания зависимостей и, следовательно, позволяет проводить уникальную аналитику, такую как:

• Понимание точной причины проблемы в распределенном микросервисном облачном приложении.
• Отслеживание пути атаки в ходе аналитики нарушений безопасности с целью оценки риска.
• Сегментация бизнес-данных по выручке.
• Автоматическое отображение и анализ окружающих данных логов и трассировки при аналитике таких проблем, как ухудшение работы пользователей при оформлении заказов.

Масштаб эксабайт

Grail преодолевает ограничения обычных индексных баз данных и, таким образом, обладает уникальной способностью объединять все типы данных в одном месте и устранять проблемы разного формата информации, сохраняя при этом полную детализацию. Это достигается следующими способами:

• Обработка и хранение до 1000 ТБ данных в день в зависимости от каналов получения данных (например, ЕдиныйАгент или API) и характера сигналов. Для обеспечения оптимальной производительности необходима индивидуальная стратегия масштабирования. Чтобы узнать фактические ограничения, см. раздел Ограничения OpenPipeline.
• Предоставление механизма запросов на основе массивной параллельной обработки (MPP), позволяющего быстро обрабатывать любые запросы в любое время, без необходимости каких-либо предварительных определений.
• Использование технологии datawarping для извлечения данных из постоянно обновляемого хранилища с нулевой задержкой (холодное/горячее хранение), при этом устраняя накладные расходы и ограничения масштабируемости индексов.

Постоянно обновляемое хранилище с нулевой задержкой (холодное/горячее хранение)

Grail революционизирует управление данными, предоставляя нативной технологией бесшовный data-lake, устраняя традиционные процессы и необходимость экспорта данных во внешние решения для хранения, такие как AWS S3, что позволяет снизить затраты и оптимизировать операции.

Grail оснащён передовой автоматической системой управления холодными и горячими данными, которая обеспечивает полный доступ к данным с нулевой задержкой, фактически предлагая постоянно обновляемые данные.

• Always-hydrated означает, что данные всегда доступны с нулевой задержкой, устраняя необходимость регидратации.
• Grail не требует никаких индексов, что устраняет дорогостоящие накладные расходы и негибкость предопределённых схем.
• Пользователи не заметят разницы между холодными и горячими данными благодаря массово параллельной обработке и datawarping.
• Grail автоматически управляет данными на основе шаблонов доступа.
• Grail устраняет необходимость экспорта данных во внешнее облачное хранилище и выполнения длительных и дорогостоящих операций регидратации, тем самым исключая потребность в отдельном data lake.

Возможности Grail

При использовании Grail вы получаете такие возможности, как:

• Интеграция данных: объединение всех разнородных данных в одном хранилище.
• Обработка данных в режиме реального времени при массовом поступлении.
• Гибкое преобразование данных при загрузке через OpenPipeline.
• Простое управление хранением данных.
• Организация данных без схемы: данные всегда хранятся в контексте без необходимости определения какой-либо схемы.
• Задавайте любые вопросы в любое время.
• Получение аналитической информации в режиме реального времени без накладных расходов на индексы, что позволяет искать и анализировать любые данные — текст, символы или шаблоны, независимо от того, проиндексированы они или нет.
• Аналитика и автоматизация на основе искусственного интеллекта с использованием AI, Smartscape и AutomationEngine.
• Исследовательская аналитика данных: выполнение сложных запросов в дашбордах или блокнотах с использованием оптимизированного механизма запросов.
• Управление данными: контроль доступа к данным и приложениям с помощью единой унифицированной системы.
• Наблюдаемость данных: обеспечение доступности, надёжности и качества данных.

Соблюдение требований законодательства и конфиденциальности данных

В Ключ-АСТРОМ мы серьёзно относимся к своей ответственности по защите ваших данных. Мы реализовали различные уровни защиты данных и строго придерживаемся принципов «конфиденциальность через проектирование» и «конфиденциальность по умолчанию».

• Grail обеспечивает истинное безвозвратное удаление данных для соблюдения самых строгих требований конфиденциальности.
• Grail предлагает детальный контроль доступа на уровне таблиц, сегментов и логов, включая разрешения на основе полей, чтобы исключить отображение полей, содержащих конфиденциальную информацию.
• С помощью ЕдиногоАгента и OpenPipeline Ключ-АСТРОМ предоставляет маскировку и фильтрацию данных при сборе и загрузке.
• Grail гарантирует использование ключей, специфичных для среды, для изоляции данных и защиты от несанкционированного доступа.
• Прямой доступ пользователей к сохранённым данным не разрешён, что обеспечивает целостность и безопасность данных. Вместо этого извлечение данных и запросы могут проводиться только с помощью запросов DQL через слой обработки запросов, который выступает в качестве безопасного шлюза, гарантируя эффективность, сверхбыструю скорость и безопасность извлечения данных.

Неизменяемое хранилище данных

Неизменяемое хранилище данных в Grail разработано на основе принципиально неизменяемой архитектуры данных. Это означает, что после получения данные не могут быть изменены. Все данные — будь то логи, события, интервалы или метрики — хранятся в виде записей, каждая из которых рассматривается как атомарная, неизменяемая единица.

Эти записи группируются в упорядоченные по времени пакеты данных, каждый размером примерно 1 ГБ. Эти пакеты хранятся в облачном объектном хранилище, таком как Amazon S3, Azure Blob или Google Cloud Storage. При запросе данных Grail загружает весь пакет в память и анализирует отдельные записи оттуда.

Благодаря этой архитектуре:

• Изменение отдельной записи невозможно.
• Для удаления записи необходимо переписать весь пакет.
• Только авторизованные пользователи могут использовать API удаления для удаления отдельных записей или целых пакетов.
• Каждая операция удаления полностью протоколируется и регистрируется.
• Сам Ключ-АСТРОМ не изменяет и не удаляет данные клиентов. Удаление данных Ключ-АСТРОМ может происходить только по явным запросам службы поддержки клиентов, и даже в этом случае могут быть удалены только целые пакеты, но не отдельные записи внутри них. Такой подход обеспечивает целостность данных, возможность аудита и соответствие требованиям, делая Grail безопасной и надёжной основой для мониторинга и аналитики.

Руководство: использование Grail вместо традиционных баз данных

Grail оптимизирован для экстремальной пропускной способности и больших объёмов неизменяемых данных, собранных в едином хранилище для экономичного хранения и высокопроизводительных запросов. Он включает в себя элементы ACID и BASE, обеспечивая полную гибкость и контекстную аналитику.

Сценарий	Grail	Другие базы данных
От тера- до эксабайтного масштаба неизменяемых данных	Да
Для разных данных в контексте	Да
Для мгновенного запроса в режиме реального времени по любому вопросу в любое время	Да
Наблюдаемость, данные безопасности и бизнес-данные из цифровых систем	Да
Для экономической эффективности в качестве data lake	Да
Минимизируйте интерфейсы данных и потоки данных	Да
ACID транзакционные гарантии		Да
Когда вам нужны очень частые обновления записей данных		Да

Традиционные базы данных либо созданы для обработки транзакционных данных небольшого объема в соответствии с парадигмой ACID, либо реализуют парадигму BASE, известную по базам данных NoSQL.

ACID означает:

• Атомарность: гарантирует, что транзакция либо полностью завершится, либо полностью прервётся. Частичные изменения не происходят.
• Согласованность: гарантирует, что данные остаются согласованными, соблюдая все ограничения даже во время транзакционных изменений.
• Изоляция: предотвращает взаимные помехи между параллельными транзакциями. Каждая транзакция воспринимается как выполняемая последовательно.
• Долговечность: после завершения транзакции ее изменения регистрируются навсегда.

Базы данных ACID используются в сценариях, где целостность и надёжность данных имеют первостепенное значение. Большинство реляционных систем управления базами данных (таких как Oracle, MySQL и PostgreSQL) поддерживают парадигму ACID.

BASE является альтернативой ACID и особенно подходит для распределенных систем, где требуется высокая доступность, отказоустойчивость и масштабируемость.

BASE означает:

• Всегда доступно: система продолжает работать даже в случае сбоев, хотя ее функциональность может быть ограничена.
• Софт состояние: состояние системы может меняться со временем из-за конечной согласованности.
• Согласованность: обновления распространяются по системе в своевременно, но не обязательно немедленно.

Базы данных NoSQL, такие как Cassandra, Redis и Amazon DynamoDB, являются примерами систем хранения, разработанных на основе парадигмы BASE.