Платформа Digital Q.Kafka - управление обменом сообщения

Техподдержка

Digital Q.MessageBroker

Платформа Digital Q.MessageBroker

Организуйте обмен сообщениями с помощью Digital Q.MessageBroker!

Запросить демо

Digital Q.MessageBroker

Создание систем на базе обмена сообщениями стало распространенным архитектурным решением. С помощью брокера сообщений Digital Q.MessageBroker вы сможете объединить управление обменом сообщениями по всем используемым каналам, обеспечивая высокую производительность и надежность решения

ЗНАКОМЫЕ ЗАДАЧИ, РЕШАЕМЫЕ ПРИ ОРГАНИЗАЦИИ ОБМЕНА СООБЩЕНИЯМИ

Не все сообщения доставляются подписчикам

Используемый брокер сообщений периодически не доставляет часть сообщений подписчикам

При повышении нагрузки снижается производительность

С увеличением нагрузки на систему обмена сообщениями значительно увеличивается время их доставки подписчикам. Автоматизация распараллеливания обмена сообщениями не эффективна и требует доработки прикладного решения

Нет гарантии доставки сообщений в требуемой последовательности

Порядок доставки сообщений не гарантирует требуемой последовательности, что влияет на корректность настроенных бизнес-процессов

УЗНАТЬ БОЛЬШЕ

ЕСТЬ РЕШЕНИЕ ДЛЯ ПОСТРОЕНИЯ ПРОСТОЙ СИСТЕМЫ ОБМЕНА СООБЩЕНИЯМИ!

Можно легко организовать процесс обмена сообщениями

Построение систем на базе обмена сообщениями является эффективным архитектурным решением, которое стало одним из самых распространенных. Используя брокер сообщений Digital Q.MessageBroker, вы легко настраиваете систему обмена сообщениями между компонентами ваших программных продуктов. Digital Q.MessageBroker – универсальный инструмент, который обеспечит надежность, производительность и масштабирование процесса обмена сообщениями между компонентами решения

ЕСТЬ РЕШЕНИЕ ДЛЯ ПОСТРОЕНИЯ ПРОСТОЙ СИСТЕМЫ ОБМЕНА СООБЩЕНИЯМИ!

КАКИЕ ЗАДАЧИ ПОМОГАЕТ РЕШИТЬ Q.MessageBroker?

Гарантия доставки

Система не теряет сообщения

Digital Q.MessageBroker хранит все передаваемые сообщения в файловой системе или в отдельной БД и гарантирует их сохранность даже если подписчик временно недоступен

Система не теряет сообщения

Управление масштабированием

Система позволяет гибко настраивать масштабирование

С повышением нагрузки на систему обмена сообщениями Digital Q.MessageBroker позволяет легко увеличивать скорость их обработки путем добавления дополнительных обработчиков сообщений – обмен сообщениями идет в многопоточном режиме

Система позволяет гибко настраивать масштабирование

Последовательность доставки

Сообщения доставляются в требуемой последовательности

Digital Q.MessageBroker гарантирует отправку и получение сообщений в требуемой последовательности, что исключает ошибки в логике бизнес-процессов при обработке сообщений в неверном порядке

Сообщения доставляются в требуемой последовательности

связаться с нами

ТОЛЬКО ЦИФРЫ

до 0млн

сообщений в секунду - скорость обмена, которую обеспечивает Digital Q.MessageBroker, что на порядок выше, чем у альтернативных решений

> 0

организаций в банковском секторе используют Kafka для решения своих задач уже сейчас

остановок брокера сообщений при работе системы в кластерной конфигурации

PBC ПЛАТФОРМЫ DIGITAL Q.MessageBroker

Тема (Topic)Тема – это категория или название канала, в котором хранятся и публикуются сообщения. Тема состоит из разделов (partitions)

Тема (Topic)<span>Тема – это категория или название канала, в котором хранятся и публикуются сообщения. Тема состоит из разделов (partitions)</span>

Темы в Digital Q.MessageBroker всегда многопользовательские, то есть тема может иметь ноль, одного или нескольких потребителей, которые подписываются на записанные в нее данные. Для каждой темы кластер Digital Q.MessageBroker поддерживает секционированный журнал, разбитый на разделы

Издатель (producer)Издатель – система, которая пишет сообщения для публикации

Издатель (producer)<span>Издатель – система, которая пишет сообщения для публикации</span>

Издатели публикуют данные в темах по своему выбору. Издатель несет ответственность за выбор записи, которую следует назначить тому или иному разделу в теме. Это может быть сделано в циклическом режиме, просто чтобы сбалансировать нагрузку. Это может быть сделано и в соответствии с некоторой семантической функцией разделения публикуемых данных (скажем, на основе некоторого ключа в записи)

Подписчик (consumer)Подписчик – обработчик сообщений, который читает опубликованные сообщения

Подписчик (consumer)<span>Подписчик – обработчик сообщений, который читает опубликованные сообщения</span>

Подписчики помечают себя именем группы потребителей, и каждая запись, опубликованная в теме, доставляется одному экземпляру потребителя в каждой группе подписчиков. Экземпляры подписчиков могут находиться в отдельных процессах или на отдельных машинах. Если все экземпляры подписчиков имеют одну и ту же группу потребителей, записи будут эффективно сбалансированы по нагрузке и распределены по экземплярам потребителей. Если все экземпляры подписчиков имеют разные группы потребителей, то каждая запись будет транслироваться всем процессам потребителей

Раздел (partition)Раздел – логическая сущность, которая основана на разделении каждой темы на одну, две и более частей. Каждое сообщение, находящееся в любом из разделов, имеет так называемое смещение (offset). Смещение – порядковый номер сообщения в разделе

Раздел (partition)<span>Раздел – логическая сущность, которая основана на разделении каждой темы на одну, две и более частей. Каждое сообщение, находящееся в любом из разделов, имеет так называемое смещение (offset). Смещение – порядковый номер сообщения в разделе</span>

Каждый раздел представляет собой упорядоченную, неизменную последовательность записей, к которой постоянно добавляются новые – это структурированный журнал. Каждой записи в разделах присваивается последовательный идентификационный номер, называемый смещением, который однозначно идентифицирует каждую запись в разделе. Кластер Digital Q.MessageBroker длительно сохраняет все опубликованные записи (в независимости от того, были они обработаны или нет), настраивая срок хранения. Например, если политика хранения установлена на два дня, то в течение двух дней после публикации запись будет доступна для использования. После этого она будет удалена для освобождения места. Производительность Digital Q.MessageBroker, фактически, постоянна в отношении размера данных, поэтому хранение данных в течение длительного времени не является проблемой

узнать больше

ИСПОЛЬЗОВАНИЕ БРОКЕРА СООБЩЕНИЙ – МНЕНИЕ ЭКСПЕРТОВ

Gartner

Gartner’s Advice on How to Choose an Event Broker

Читать

HighLoad++

Паттерны проектирования приложений на Apache Kafka

Читать

Big Data School

Apache Kafka vs RabbitMQ в Big Data

Читать

habr

Понимание брокеров сообщений. Изучение механики обмена сообщениями посредством ActiveMQ и Kafka

Читать

ВОЗМОЖНО, ВЫ РЕШАЕТЕ ПОДОБНЫЕ ЗАДАЧИ

Цифровой профиль

Цифровой профиль клиента

Требуется реализовать решение, агрегирующее клиентскую информацию от разнообразных источников:

Основная информация по клиенту
Основная информация по продуктам
Основная информация по заявкам
Основная информация по обращениям
Результаты проверок по спискам AML (терроризм, (И)ПДЛ)
Информация по клиенту из баз гос. органов (СМЭВ)

и позволяющее отдавать эту информацию потребителям в синхронном и асинхронном режиме.

Для обеспечения обмена информацией используется брокер сообщений Digital Q.MessageBroker, позволяющая асинхронно получать данные из систем источников и обеспечивающая асинхронное взаимодействие с потребителями Цифрового профиля клиента. Решение включает в себя Цифровой профиль клиента, Digital Q.MessageBroker, системы-источники клиентских данных и потребители информации о клиенте

Интеграция с внешними системами

Публикация событий из мастер-системы

Внешней системе необходимо получать информацию от мастер-системы по мере возникновения продуктовых событий.
Для получения информации из мастер-системы используются адаптеры, публикующие сообщения в Digital Q.MessageBroker. Эти сообщения из Digital Q.MessageBroker получают микросервисы потребители в асинхронном режиме.
Решение включает в себя мастер-систему, продуктовый адаптер, Digital Q.MessageBroker, микросервис потребитель

Хореография бизнес-процессов

Хореография бизнес-процессов на основе Camunda в embeded режиме

Хореография осуществляется сервисами-участниками бизнес-процесса без использования Центрального Координатора. При хореографии каждый сервис, участвующий в бизнес-процессе, точно знает, когда выполнять свои операции, на какие сообщения реагировать, с кем и как взаимодействовать.
Требуется реализовать в решении исполнение бизнес-процесса, выполнение которого распределено на несколько микросервисов. Digital Q.MessageBroker выполняет функцию обеспечения асинхронных взаимодействий между компонентами решения.
Решение состоит из сервисов, отвечающих за конкретный участок бизнес-процесса с Camunda, подключенной в режиме библиотеки, Digital Q.MessageBroker

ВСЕГО 4 ШАГА ДЛЯ НАЧАЛА ИСПОЛЬЗОВАНИЯ Digital Q.MessageBroker

Шаг №1.

Запросите доступ к демо-стенду Digital Q.MessageBroker

Заполнить запрос на получение доступа к демо-стенду, указать контактную электронную почту

На указанную электронную почту высылается информация о доступе к демо-стенду и токен для подключения

Шаг №2.

Подключитесь к демо-стенду

Выполнить подключение к демо-стенду с помощью полученной ссылки и токена

Подключение к демо-стенду Digital Q.MessageBroker, доступен дашборд

Шаг №3.

Создайте свой первый топик

Установить демонстрационный топик в Digital Q.MessageBroker в соответствии с документацией

Настроенный по документации демонстрационный топик (издатель, топик).

Шаг №4.

Настройте первый поток сообщений

Настроить первый поток сообщений с использованием Digital Q.MessageBroker

Настроить по документации продукта поток сообщений через Digital Q.MessageBroker (подписчик)

предыдущий продукт платформа Digital Q.ELK Следующий продукт платформа Digital Q.Kubernetes

свяжитесь
с нами

контакты

Для прямой связи с нами вы можете использовать контакты ниже, либо оставить заявку через форму обратной связи, и мы обязательно свяжемся с вами

+7 495 780—7575 partners@diasoft.ru