DWH без иллюзий: свой коннектор к Oracle, когда Debezium подвел
Рассказываем о нестандартном проекте внедрения DWH 👉 Дано ▪️ Крупный ритейлер с потребностью внедрить DWH ▪️ 2 источника данных: ERP-система на базе Oracle и кассовая система на PostgreSQL 📋 Особенности проекта ▪️ Нужно перенести всю отчетность с систем-источников в контур DWH, чтобы снизить нагрузку на текущую инфраструктуру ▪️ Важно достигнуть доступности данных по 6 таблицам из 126 на уровне 2 минут от события до появления данных на слое детальных данных Data Detail Store (DDS) ▪️ Нужна историчность данных для таблиц Oracle без первичного ключа ▪️ Хранилище можно строить только с использованием open-source инструментов ⚠️ Проблема Пытались решить задачу с помощью Debezium, но он не смог справиться с 5000 сообщений за 1–2 секунды на 1 таблицу и писать такой объем данных в Greenplum 💡Возможные решения ✅ Создать свой коннектор, который писал бы в csv, далее передавал файлы в Greenplum ✅ Реализовать архитектуру Kafka – Rabit MQ – Greenplum Streaming Server – Greenplum ✅ Использовать утилиту Greenplum GPFdist для работы с csv-файлами ✅ Использовать External web tables, которые бы наполнялись из топиков в Kafka Какое из этих решений выбрали эксперты Qlever и как смогли обойти все подводные камни? Смотрите в видео *** Узнайте больше о том, как DWH помогает бизнесу экономить: https://www.qlever.ru/services/dwh Оставьте заявку на разработку дорожной карты по построению DWH: +7 812 425 32 48 mail@qlever.ru *** Новости, кейсы, мероприятия Qlever - в нашем телеграм-канале: https://t.me/qlever_ru Подписывайтесь!
Рассказываем о нестандартном проекте внедрения DWH 👉 Дано ▪️ Крупный ритейлер с потребностью внедрить DWH ▪️ 2 источника данных: ERP-система на базе Oracle и кассовая система на PostgreSQL 📋 Особенности проекта ▪️ Нужно перенести всю отчетность с систем-источников в контур DWH, чтобы снизить нагрузку на текущую инфраструктуру ▪️ Важно достигнуть доступности данных по 6 таблицам из 126 на уровне 2 минут от события до появления данных на слое детальных данных Data Detail Store (DDS) ▪️ Нужна историчность данных для таблиц Oracle без первичного ключа ▪️ Хранилище можно строить только с использованием open-source инструментов ⚠️ Проблема Пытались решить задачу с помощью Debezium, но он не смог справиться с 5000 сообщений за 1–2 секунды на 1 таблицу и писать такой объем данных в Greenplum 💡Возможные решения ✅ Создать свой коннектор, который писал бы в csv, далее передавал файлы в Greenplum ✅ Реализовать архитектуру Kafka – Rabit MQ – Greenplum Streaming Server – Greenplum ✅ Использовать утилиту Greenplum GPFdist для работы с csv-файлами ✅ Использовать External web tables, которые бы наполнялись из топиков в Kafka Какое из этих решений выбрали эксперты Qlever и как смогли обойти все подводные камни? Смотрите в видео *** Узнайте больше о том, как DWH помогает бизнесу экономить: https://www.qlever.ru/services/dwh Оставьте заявку на разработку дорожной карты по построению DWH: +7 812 425 32 48 mail@qlever.ru *** Новости, кейсы, мероприятия Qlever - в нашем телеграм-канале: https://t.me/qlever_ru Подписывайтесь!