[#] [Перевод] Использование morph.io для веб-парсинга
habrabot(difrex,1) — All
2015-07-19 22:30:04


Если вы читали предыдущие две статьи, [Веб-парсинг на Ruby][1] и [Продвинутый парсинг веб-сайтов с Mechanize][2], то у вас есть базовые знания как написать парсер, который получает структурированные данные с веб-сайта. Следующим логичным шагом будет запускать парсер регулярно, чтобы всегда иметь свежие данные. Этим как раз и занимается [morph.io][3] от талантливых людей из [OpenAustralia][4]. Morph.io позиционирует себя как «Heroku для парсеров». Вы можете выбрать либо запускать парсеры вручную, или им работать автоматически каждый день. При этом вы можете использовать API для извлечения данных в JSON/CSV и использования их в своем приложении или скачать sqlite базу с данными. Morph.io заполняет пробел, оставленный [Scraperwiki Classic][5]. Парсеры в morph.io хостятся на GitHub, что означает что вы можете их «форкнуть» и исправить в дальнейшем, если они перестанут работать. [![image][6]][7] [Читать дальше →][8]

[1]: http://habrahabr.ru/post/252379/
[2]: http://habrahabr.ru/post/253439/
[3]: https://morph.io/
[4]: https://www.openaustraliafoundation.org.au/
[5]: https://classic.scraperwiki.com/
[6]: https://habrastorage.org/getpro/habr/post_images/67a/9b9/bb8/67a9b9bb8daa45d7e0cd73ff3b220add.jpg
[7]: http://habrahabr.ru/post/262991/#habracut
[8]: http://habrahabr.ru/post/262991/#habracut