- Предназначение
-
Требования
-
Продукты
-
Обучение
-
Медиацентр
Контакты
Темы в Digital Q.Kafka всегда многопользовательские, то есть тема может иметь ноль, одного или нескольких потребителей, которые подписываются на записанные в нее данные. Для каждой темы кластер Q.Kafka поддерживает секционированный журнал, разбитый на разделы
Издатели публикуют данные в темах по своему выбору. Издатель несет ответственность за выбор записи, которую следует назначить тому или иному разделу в теме. Это может быть сделано в циклическом режиме, просто чтобы сбалансировать нагрузку. Это может быть сделано и в соответствии с некоторой семантической функцией разделения публикуемых данных (скажем, на основе некоторого ключа в записи)
Подписчики помечают себя именем группы потребителей, и каждая запись, опубликованная в теме, доставляется одному экземпляру потребителя в каждой группе подписчиков. Экземпляры подписчиков могут находиться в отдельных процессах или на отдельных машинах. Если все экземпляры подписчиков имеют одну и ту же группу потребителей, записи будут эффективно сбалансированы по нагрузке и распределены по экземплярам потребителей. Если все экземпляры подписчиков имеют разные группы потребителей, то каждая запись будет транслироваться всем процессам потребителей
Каждый раздел представляет собой упорядоченную, неизменную последовательность записей, к которой постоянно добавляются новые – это структурированный журнал. Каждой записи в разделах присваивается последовательный идентификационный номер, называемый смещением, который однозначно идентифицирует каждую запись в разделе. Кластер Q.Kafka длительно сохраняет все опубликованные записи (в независимости от того, были они обработаны или нет), настраивая срок хранения. Например, если политика хранения установлена на два дня, то в течение двух дней после публикации запись будет доступна для использования. После этого она будет удалена для освобождения места. Производительность Digital Q.Kafka, фактически, постоянна в отношении размера данных, поэтому хранение данных в течение длительного времени не является проблемой
Для обеспечения обмена информацией используется брокер сообщений Digital Q.Kafka, позволяющая асинхронно получать данные из систем источников и обеспечивающая асинхронное взаимодействие с потребителями Цифрового профиля клиента. Решение включает в себя Цифровой профиль клиента, Digital Q.Kafka, системы-источники клиентских данных и потребители информации о клиенте