[#] [Из песочницы] Чтение больших объемов данных в Python/Postgresql
habrabot(difrex,1) — All
2016-04-04 13:30:03


**Стек рассматриваемых технологий**: Postgresql 9.3, Python 2.7 с установленным модулем «psycopg2».

# Проблема

Как часто в вашей практике приходилось сталкиваться с задачей обработки таблиц большого объема (более 10 млн. записей)? Думаю вы согласитесь, что данная задача является довольно ресурсоемкой как в плане времени обработки, так и задействованных ресурсов системы. Сегодня я постараюсь показать альтернативный способ решения задачи.

# Предложение:

В СУБД Postgresql есть прекрасный оператор для работы с большими объемами информации, а именно «COPY». Применение данного оператора позволяет нам читать и записывать огромные объемы информации в таблицу. В данной статье мы будем рассматривать режим чтения. Согласно документации оператора «COPY» нам доступны несколько режимов чтения в файл либо в поток STDOUT, а также различные форматы, в том числе и «csv». Как раз его мы и постараемся использовать с максимальной пользой. [Читать дальше →][1]

[1]: https://habrahabr.ru/post/280822/#habracut