Контакты

Главная

Продукты

Инфраструктурные платформы

Digital Q.ELK

Платформа Digital Q.ELK

Быстро и безопасно собирайте и анализируйте ваши логи в платформе Digital Q.ELK!

Запросить демо

Digital Q.ELK

Когда логов действительно много, вам больше не нужно искать и сопоставлять их в разных системах. Собрать в общем хранилище и проанализировать логи из различных источников (файлы, базы данных и т. п.) в реальном времени поможет Digital Q.ELK

ОБРАБОТКА БОЛЬШОГО ОБЪЕМА ЛОГОВ из множества различных источников в реальном времени – ЭТО ВСЕГДА НЕПРОСТО

Сложность анализа логов из множества подсистем

Вам приходилось тратить часы на поиск одной ошибки – просматривать множество файлов с логами на разных серверах и выполнять запросы к разным СУБД?

Данные логов, поступающие в реальном времени из разных источников, сложно упорядочить

Малейшая рассинхронизация времени на серверах c логами приводит к искажению реального порядка проведения операций и крайне затрудняет их дальнейший анализ

Сложный, в том числе нечеткий, поиск по логам, находящимся в разных источниках, практически невозможен

Вы помните несколько букв в фамилии или несколько цифр договора, но не можете вспомнить точно и локализовать нужную информацию о проблеме?

Отсутствует единый интерфейс для просмотра и анализа логов, находящихся в разных источниках

Чтобы разобраться в разных форматах логов и собрать необходимую статистику по проблеме, может потребоваться слишком много времени и усилий

В гетерогенных решениях сложно выявить точки возникновения проблем

В составе вашего решения несколько взаимосвязанных систем, построенных в разных архитектурах и реализованных на разных технологических стеках? Задача локализации точек возникновения проблем может стать очень сложной

УЗНАТЬ БОЛЬШЕ

Все необходимые инструменты для локализации проблем всегда у вас под рукой

Трудно представить, что диагностика проблем в распределенном решении может быть не такой уж сложной задачей? Столь же простой, как «серфинг» в интернет-браузере с дружелюбным интерфейсом, позволяющий в считанные секунды вывести любой график и сравнить его с другим графиком? Попробуйте Digital Q.ELK! Мы собрали это решение для себя, но с удовольствием поделимся его возможностями с вами

ПРОСТАЯ И ПОНЯТНАЯ ДИАГНОСТИКА ПРОБЛЕМ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ – ЭТО ВОЗМОЖНО!

ПРЕИМУЩЕСТВА DIGITAL Q.ELK ДЛЯ НАШИХ КЛИЕНТОВ

Логи из любых источников

Поддержка множества источников логов, включая ваши собственные

Digital Q.ELK поддерживает сбор логов из множества источников данных и может подключать ваши собственные, уникальные источники

Правильный порядок событий логов

Обеспечиваем правильный порядок событий логов для анализа

Централизация логов в едином хранилище вместе со встроенным механизмом сортировки по времени гарантируют правильный порядок событий в логах для анализа

Легкий и гибкий поиск в логах

Предоставляем гибкий поиск по логам, собранным из разных источников, в том числе поиск по нечетким критериям

Механизмы нечеткого поиска и фильтрации позволяют задать практически любые критерии для поиска необходимых данных – от самых приблизительных до самых точных

Веб-интерфейс визуализации и анализа

Удобный интерфейс для просмотра и анализа логов

Digital Q.ELK включает инструмент для визуализации и навигации по данным логов. Он помогает просматривать логи в удобном формате, формировать интерактивные графики, анализировать связи и изучать закономерности. Кроме того, есть инструменты, позволяющие выгружать, переносить и загружать для анализа в удобном окружении большие массивы логов

Сквозная трассировка

Единая последовательность операций из разных систем в удобном графическом интерфейсе

В составе Digital Q.ELK есть инструмент для визуализации последовательности операций из разных систем в удобном графическом интерфейсе в виде дерева вызовов. Интерфейс интегрирован с инструментом просмотра и анализа логов, возможен переход от дерева вызовов к логам и обратно

связаться с нами

НЕКОТОРЫЕ ЦИФРЫ

до 0 ТБ

размер базы данных в Digital Q.ELK в наших крупных проектах

до 0 млрд

записей логов в хранилище

0 экземпляров

микросервисов на восьми нодах одновременно генерировали логи в один экземпляр хранилища Digital Q.ELK при нагрузочном тестировании в дата-центре Монпелье (Франция) без задержек и потери производительности

КОМПОНЕНТЫ ПЛАТФОРМЫ DIGITAL Q.ELK

Хранилище данных логов (QElasticSearch)Масштабируемое NoSQL хранилище данных произвольной сложности и структуры

Хранилище данных логов (QElasticSearch)<span>Масштабируемое NoSQL хранилище данных произвольной сложности и структуры</span>

Масштабируемое хранилище с функциями полнотекстового поиска и аналитики реального времени. Основные функциональные возможности хранилища:

Автоматическая индексация новых JSON-объектов, которые загружаются в базу и сразу становятся доступными для поиска за счет отсутствия схемы согласно типичной NoSQL-концепции
Гибкость поисковых фильтров, включая нечеткий поиск и мультиарендность, когда в рамках одного объекта можно динамически организовать несколько различных поисковых систем
Наличие встроенных анализаторов текста позволяет автоматически выполнять токенизацию, лемматизацию, стемминг и прочие преобразования для решения NLP-задач, связанных с поиском данных
Поддержка восточных языков (китайский, японский, корейский)

Сбор данных логов (QFluentBit)Инструмент для сбора, преобразования и сохранения в общем хранилище данных из различных источников (файлы, базы данных и т. п.) в реальном времени

Сбор данных логов (QFluentBit)<span>Инструмент для сбора, преобразования и сохранения в общем хранилище данных из различных источников (файлы, базы данных и т. п.) в реальном времени</span>

Универсальный обработчик, который позволяет собирать данные из разных источников, объединять и отправлять их по нескольким адресам. Имеет богатые возможности расширения, «из коробки» поддерживает около 30 источников данных

Визуализация данных логов (QKibana)Инструмент визуализации, поиска и анализа данных

Визуализация данных логов (QKibana)<span>Инструмент визуализации, поиска и анализа данных</span>

Инструмент для визуализации и навигации по данным Q.Elasticsearch. Он помогает создавать дашборды, настраивать формы визуализации, формировать интерактивные графики и даже отображать геоданные, анализировать связи и изучать аномалии данных. Основные функции:

Визуализация - вертикальная гистограмма, горизонтальная гистограмма, круговая диаграмма, линейный график, тепловая карта и т. д.
Приборная доска - все готовые визуализации могут быть размещены на одной доске — панели инструментов. Наблюдение за различными разделами вместе дает четкое общее представление о том, что именно происходит
Dev Tools - вы можете работать со своими индексами, используя инструменты разработки
Отчеты - все данные в форме визуализации и панели мониторинга могут быть преобразованы в отчеты (формат CSV), встроены в код или предоставлены в виде URL-адресов для совместного использования с другими пользователями
Фильтры и поисковый запрос - вы можете использовать фильтры и поисковые запросы, чтобы получить необходимую информацию для конкретного ввода из панели мониторинга или инструмента визуализации
Плагины - вы можете добавить сторонние плагины, чтобы получить новую форму визуализации или другое дополнение пользовательского интерфейса в Kibana
Карты координат и регионов - карта координат и региона помогает отображать визуализацию на географической карте, обеспечивая реалистичное представление данных
Временная шкала - timeline, называемый временной шкалой, является инструментом визуализации, который, в основном, используется для анализа изменений данных во времени
Холст - используя визуализацию холста, вы можете представлять свои данные в различных цветовых сочетаниях, формах, текстах, на нескольких страницах, которые обычно называются рабочими панелями

Сбор и визуализация трассировки (QZipkin)Инструмент визуализации и анализа последовательности выполнения операций в распределенных бизнес-процессах

Сбор и визуализация трассировки (QZipkin)<span>Инструмент визуализации и анализа последовательности выполнения операций в распределенных бизнес-процессах</span>

Система распределенной трассировки, которая помогает собирать, визуализировать и анализировать данные о времени и параметрах выполнения API распределенных сервисов. Управляет сбором и поиском данных трассировки через сервисы сборщика (Collector) и запросов (Query). Ключевые особенности инструмента:

Визуализация и удобный поиск по трассам выполнения операций распределенных бизнес-процессов
Визуализация в виде дерева вызовов операций отдельных бизнес-процессов и поиск по дереву вызовов
Диаграмма зависимостей вызовов сервисов для поиска ошибочных цепочек вызовов и устаревших сервисов

узнать больше

МНЕНИЯ ОБ ИСПОЛЬЗОВАНИИ ОСНОВНЫХ ИНСТРУМЕНТОВ ПЛАТФОРМЫ DIGITAL Q.ELK

Gartner

Поскольку Elastic ELK Stack является поисковой системой, он экономит наше время, исключая ведение логов внутри различных источников данных. Когда у нас возникли проблемы с языком, Elastic предоставил нам соответствующего клиента. Нам нравится использовать это решение для непрерывного анализа логов, оно постоянно помогает выполнять «глубокий поиск». А также его преимущество в виде предоставления всех данных через визуализацию просто потрясающее.

перейти

Amazon

Стек ELK популярен, потому что он удовлетворяет потребности в области анализа логов. По мере того, как все большая и большая часть вашей ИТ-инфраструктуры перемещается в общедоступные облака, вам необходимо решение для управления логами и аналитики в целях мониторинга этой инфраструктуры, а также для обработки любых журналов сервера, журналов приложений и потоков ввода пользователей. Стек ELK предоставляет вашим разработчикам и инженерам DevOps простое, но надежное решение для анализа логов, позволяющее получить ценную информацию о диагностике сбоев, производительности приложений и мониторинге инфраструктуры за небольшую плату.

перейти

NVidia

NVidia собирает метрики для каждого передаваемого кадра, каждой секунды, потраченной на GeForce NOW – платформе для потоковой передачи видеоигр, используя Elastic Stack, что позволяет командам, занимающимся бизнесом, проектированием, операциями и контролем качества, оценивать качество и устранять проблемы в режиме реального времени.

перейти

ВОЗМОЖНО, ПЕРЕД ВАМИ СТОЯТ ПОХОЖИЕ ЗАДАЧИ

Логирование

Трассировка

Хранилище версий объектов

Система сбора и анализа логов сервисов

Была создана система централизованного хранения и анализа логов сервисов, реализованных в различных архитектурах (клиент-сервер, SOA и микросервисная архитектура). Для решения задачи была выбрана платформа Digital Q.ELK. Для удобной работы с логами при установке решения в DMZ были реализованы GUI плагины выгрузки/загрузки для Q.Kibana. В результате была запущена система, собирающая логи сервисов, развернутых на 36 нодах кластера Q.Kubernetes. Ежедневный объем логов в хранилище: 5-10Гб, 100-150тыс. сообщений

Хранилище диагностической информации для подсистемы трассировки

Была решена задача по созданию хранилища информации подсистемы трассировки операций бизнес-процессов. В качестве хранилища было использован кластер Q.Elasticsearch из трех нод. Система на данный момент позволяет хранить и обрабатывать трассировку сервисов, развернутых на 36 нодах кластера Q.Kubernetes

Система хранения версий объектов с возможностями гибкого поиска

Была решена задача по созданию хранилища версий объектов с нефиксированным атрибутным составом и возможностью сложного полнотекстового (в том числе нечеткого) поиска по любым атрибутам объектов. Предполагалось хранить миллиарды объектов с количеством атрибутов до 1000. В качестве хранилища было решено использовать кластер Q.Elasticsearch из восьми нод. Система на данный момент позволяет хранить и обрабатывать порядка 600млн версий объектов, общий размер БД примерно 2Тб

НЕСКОЛЬКО ПРОСТЫХ ШАГОВ, ЧТОБЫ ПРИВЕСТИ ВАШИ ДАННЫЕ В ПОРЯДОК

шаг №1

Собрать данные

Организовать сбор данных логов

На этом шаге выполняется установка и настройка Q.FluentBit, для того чтобы собирать данные логов из нужных источников. После выполнения этого шага вы получите установку Q.FluentBit, настроенную для сбора данных логов из указанных источников

шаг №2

Задать правила обработки данных логов

Настроить правила обработки данных логов

Если нужна предварительная обработка и/или трансформация данных логов перед записью в Q.Elasticsearch, можно настроить фильтры и преобразования в конфигурации Q.FluentBit. Теперь данные логов очищены от лишней информации и приведены к нужному для сохранения формату. Шаг не является обязательным и, если данные не требуют преобразования и очистки, его можно пропустить

шаг №3

Подготовить хранилище логов

Настроить хранилище логов

На этом шаге выполняется установка и настройка Q.Elasticsearch для сохранения данных логов, подготовленных в Q.FluentBit на предыдущих шагах. После выполнения этого шага вы получите установку Q.Elasticsearch, настроенную для хранения, обработки и анализа данных логов

шаг №4

Загрузить логи

Настроить загрузку данных логов

На этом шаге выполняется настройка Q.FluentBit для сохранения данных логов в Q.Elasticsearch. После выполнения этого шага вы получите установку Q.FluentBit, настроенную для сохранения данных логов в хранилище

шаг №5

Визуализировать и проанализировать логи

Добавить визуализацию и навигацию

На этом шаге выполняется установка и настройка Q.Kibana, чтобы визуализировать, искать и анализировать данные логов, сохраненные в Q.Elasticsearch. После выполнения этого шага вы получите удобный визуальный веб-интерфейс, настроенный для работы с данными логов

шаг №6

Визуализировать и проанализировать ход операций

Подключить визуализацию и анализ последовательности выполнения операций в бизнес-процессах

На этом шаге выполняется установка и настройка Q.Zipkin, чтобы визуализировать и анализировать последовательность выполнения операций в распределенных бизнес-процессах. После выполнения этого шага вы получите удобный визуальный веб-интерфейс Q.Zipkin, настроенный для работы с распределенными бизнес-процессами

ОСТАЛИСЬ ВОПРОСЫ?

Напишите нам, и мы обязательно вам ответим

Политика конфиденциальности