forum.opennet.ru

Составление сообщения

Исходное сообщение

"Инициатива по созданию порта PostgreSQL на языке Rust"
Отправлено Аноним, 10-Янв-17 11:42

> Уже писал тут уже не раз. Например есть на сайте ФНС база недействительных паспортов,
> каждый день новый файл с 100млн строчек. Надо засосать обновления. Если грузить тупо
> в SQL базу поверх с UNIQUE CONSTRAINT - полчаса. На жабе скачать старую базу в hashset
> (примерно 60 сек), выделить дельту (40 сек), заинсертить обновления (10 сек).
1. Загрузить в пустую временную UNLOGGED таблицу
2. Сделать UPSERT из нее в целевую таблицу.
3. TRUNCATE временную таблицу

Исходное сообщение
"Инициатива по созданию порта PostgreSQL на языке Rust" Отправлено Аноним, 10-Янв-17 11:42
> Уже писал тут уже не раз. Например есть на сайте ФНС база недействительных паспортов, > каждый день новый файл с 100млн строчек. Надо засосать обновления. Если грузить тупо > в SQL базу поверх с UNIQUE CONSTRAINT - полчаса. На жабе скачать старую базу в hashset > (примерно 60 сек), выделить дельту (40 сек), заинсертить обновления (10 сек). 1. Загрузить в пустую временную UNLOGGED таблицу 2. Сделать UPSERT из нее в целевую таблицу. 3. TRUNCATE временную таблицу

Ваше сообщение

Имя*:

EMail:

Для отправки ответов на email укажите знак ! перед адресом, например, !user@host.ru (!! - не показывать email).
Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.

Заголовок*:

Сообщение*:

При общении не допускается: неуважительное отношение к собеседнику, хамство, унизительное обращение, ненормативная лексика, переход на личности, агрессивное поведение, обесценивание собеседника, провоцирование флейма голословными и заведомо ложными заявлениями. Не отвечайте на сообщения, явно нарушающие правила - удаляются не только сами нарушения, но и все ответы на них. Лог модерирования.

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру