Петабайты в PostgreSQL доступные для многих. Михаил Жилин
В эпоху взрывного роста данных хранение и обработка петабайтов остаются сложной задачей, требующей дорогой инфраструктуры и высокой экспертизы. А можно ли обойтись несколькими стандартными 1U серверами, без навороченных дисковых полок и при этом сохранить честный ACID, плюшки PostgreSQL и удобное шардирование? В этом докладе я расскажу, как мы в PostgresPro Shardman сделали петабайтные хранилища доступными на commodity-железе, поделюсь неочевидными проблемами (от битой памяти до коварных параметров ext4) и объясню, почему новый год — не лучшее время для героизма. Вы узнаете: • Как устроено шардирование в базах данных • Почему бенчмарки врут • А железо — иногда «ломается» в самый неподходящий момент • И про болячки PostgreSQL Приходите, если хотите масштабироваться без лишнего героизма.
В эпоху взрывного роста данных хранение и обработка петабайтов остаются сложной задачей, требующей дорогой инфраструктуры и высокой экспертизы. А можно ли обойтись несколькими стандартными 1U серверами, без навороченных дисковых полок и при этом сохранить честный ACID, плюшки PostgreSQL и удобное шардирование? В этом докладе я расскажу, как мы в PostgresPro Shardman сделали петабайтные хранилища доступными на commodity-железе, поделюсь неочевидными проблемами (от битой памяти до коварных параметров ext4) и объясню, почему новый год — не лучшее время для героизма. Вы узнаете: • Как устроено шардирование в базах данных • Почему бенчмарки врут • А железо — иногда «ломается» в самый неподходящий момент • И про болячки PostgreSQL Приходите, если хотите масштабироваться без лишнего героизма.