Совсем недавно тематические медиа сделали новый ресурс - GeekTimes http://habrahabr.ru/company/tm/blog/240135/ http://geektimes.ru
, куда переносятся все нетехнические и "оффтоповые" хабы и статьи. Как я понял, вся новостная лента IT, всё про Роскомнадзор, копирайты, космонавтику и прочее переносится туда.

Так как ленты хабра у нас пока нет, прошу принять во внимание, что теперь придётся фетчить 2 ресурса.

Давайте уже хоть что-нибудь попробуем зафетчить =)

>Давайте уже хоть что-нибудь попробуем зафетчить =)
Аккаунт на Хабре у Андрея, поэтому все вопросы к нему =)

>Так а зачем там акк нужен? Можно тащить хаб linux, например.
Чтобы сделать полный список подписок из кучи хабов и тащить их все вместе, а не каждый по-отдельности

>Чтобы сделать полный список подписок из кучи хабов и тащить их все вместе, а не каждый по-отдельности

Хм, мне было бы интересней по-отдельности. Например, мне не очень хочется читать про очередную перестановку кнопочек у убунточке. По-этому на какую-нибудь эху habra.ubuntarium.999 я бы не подписывался :)

>Хм, мне было бы интересней по-отдельности.
Не слишком ли много эх будет?

> Например, мне не очень хочется читать про очередную перестановку кнопочек у убунточке.
> По-этому на какую-нибудь эху habra.ubuntarium.999 я бы не подписывался :)
А как же нескучные обои? =)

Вообще, и правда неплохо бы было разделение.
Хотя с другой стороны, удобнее получать все статьи сразу в одной эхе. Тут уж как Андрей решит, так и будем читать.

Так а зачем там акк нужен? Можно тащить хаб linux, например.

>Аккаунт на Хабре у Андрея, поэтому все вопросы к нему =)

Блин, ребят. Извините =)

Сегодня запущу тестовую эху с подписками на хабре какие есть. Информацию по разделению хабра учту чуть позже.

>Хм, мне было бы интересней по-отдельности. Например, мне не очень хочется читать про очередную перестановку кнопочек у убунточке. По-этому на какую-нибудь эху habra.ubuntarium.999 я бы не подписывался :)

С одной стороны, да. С другой стороны, очень уж не хочется плодить кучу эх, так как это ложится на плечи сисопа и придётся много перекатываться.

>есть вероятность что если у нас и будет хабр, то не с моей ноды =(

Давай код. Могу развернуть у себя =)

>Тут уж как Андрей решит, так и будем читать.

Тестовую эху запущу в кучу, а дальше как пойдёт.

Чем парсишь, кстати?

>Чем парсишь, кстати?

feedparser + lxml

Первым выдираю ленту, вторым выдираю целые статьи. Но в силу того, что lxml так просто на сервере мне нынче не поставить, есть вероятность что если у нас и будет хабр, то не с моей ноды =(

Тестовая эха отменяется в ближайшее время. Мне не хватает кое чего на сервере -- придётся упростить парсер.

>>есть вероятность что если у нас и будет хабр, то не с моей ноды =(
>Могу на своём домашнем сервере запустить гейт. Только вот по ночам мне его держать включённым нельзя, и очень жаль.

Айда ко мне на сервак :D

>>Какая там ОС? :D
>Убунту 12.04

Но я тебе могу твой любимы дистрибутив развернуть, если что =)

Точнее я тебе могу дать шелл у себя.
Скажешь только какие тебе пакеты поставить.

>>Убунту 12.04
Чужой сервер, от которого мне отец дал доступ - тоже на Ubuntu 12.04. Но там как-то рисково запускать всякие штуки: админ придёт и всё удалит, а то ещё и пароль сменит :)

>Но я тебе могу твой любимы дистрибутив развернуть, если что =)
Спасибо, не надо мне ещё серверов :)
А вообще, у меня на домашнем сервере стоит Арч.

>Но в силу того, что lxml так просто на сервере мне нынче не поставить
А скомпилить нельзя?

>есть вероятность что если у нас и будет хабр, то не с моей ноды =(
Могу на своём домашнем сервере запустить гейт. Только вот по ночам мне его держать включённым нельзя, и очень жаль.

>Какая там ОС? :D
Убунту 12.04

>Уже почти свой фетчер хабры написал :D

Блин. Я забыл Т__Т

https://github.com/spline1986/habr2ii вот мой вариант =)

>Но я тебе могу твой любимы дистрибутив развернуть, если что =)

Это ни к чему. Может, развернём там ноду для хабра? =)

>Может, развернём там ноду для хабра?
Ага, я так и хотел сделать =)
Уже почти свой фетчер хабры написал :D

А у меня вот такой скрипт рассылки используется в твоём rss-фетчере ii://lenta.dark.14

#!/usr/bin/python2
# -*- coding:utf8 -*-

import urllib,base64,os

authstr="мой пароль от ноды"
adress="http://ii-net.tk/ii/ii-point.php?q=/u/"

files=os.listdir("tosses") # каталог с раскиданными сообщениями

for file in files:
        f=open("tosses/"+file).read()
        code=base64.b64encode(f)

        data = urllib.urlencode({'tmsg': code,'pauth': authstr})
        out = urllib.urlopen(adress + 'point', data).read()
        print out

        if out.startswith('msg ok'):
                os.remove("tosses/"+file)

Тут совсем всё просто и понятно

>У меня стоят эти пакеты =)

Тогда надо смотреть что

html.tostring (page.find_class ("content html_format")

Выдаёт там. Я никаких воркэраундов не лепил просто и у себя на системе только тестировал.

Ему нужны две дополнительные либы: feedparser и html2text. Причём второе требует соответствующий пакет в системе (это и послужило препятствием внедрению у меня на ноде).

У меня стоят эти пакеты =)

>Так, а как он должен работать, фетчер?

Кладём в директорию tools/client-toss вот такой скрипт и создаём поддиректорию msgs/RSS-bot. В неё скриптом habr2ii.py буду ссыпаться сообщения для тоссинга.

#!/bin/bash

#cd /srv/www/spline.rooker.ru/data/ii/tools/client-toss/
HISTORY=1 # Если установлено в 0, сообщения удаляются. Иначе переносятся в директорию histo

IIURL=http://127.0.0.1:62220/u/point
POINTS='../points.txt' # Путь к списку поинтов относительно данного скрипта
MKTOSS='../../mktoss.py' # Путь к тоссеру относительно директории поинта

ROOT_PWD=$(pwd)

for DIR in $(find ./msgs/ -maxdepth 1 -type d); do
    POINT=$(echo $DIR | sed 's/.\/msgs\///')
    if [[ $POINT != '' ]]; then
	PAUTH=$(cat $POINTS | grep $POINT | sed 's/:.*//')
	cd $DIR
	for MSG in $(find ./ -maxdepth 1 -type f -name "*.txt"); do
	    python2.7 $MKTOSS $MSG
	    wget -q --header="Host: spline.rooker.ru" $IIURL -O - --post-data "pauth=$PAUTH&tmsg=$(cat $MSG.toss)"
	    if [[ $HISTORY == 0 ]]; then
		rm $MSG
	    else
		if ! [ -d ./histo ]; then
		    mkdir ./histo
		fi
		mv $MSG ./histo
	    fi
	    rm $MSG.toss
	done
    fi
    cd $ROOT_PWD
done

Добавляем поинта в points.txt. Потом в habr2ii.py указываем путь для сыпания сообщений, линк на feed и название эхи.

$ python habr2ii.py && autotosspost.sh всё.

Немного путано, но это создавалось для моей ноды, а там такая система сложилась исторически и сейчас нет ни времени ни особого желания её переделывать.

python habr2ii.py
Traceback (most recent call last):
  File "habr2ii.py", line 40, in <module>
    f.write (get_content (rss.entries[i].link).encode ("UTF-8"))
  File "habr2ii.py", line 18, in get_content
    text = h.handle (html.tostring (page.find_class ("content html_format")[0]))
IndexError: list index out of range

Так, а как он должен работать, фетчер?

Версии python-html2text и lxml какие? Пока я нашёл неприятный баг со старой версией html2text.

Ура, товарищи! Я уже загейтовал.

Отлично, но для этого сгодился бы любой RSS-фетчер на самом деле =)

Соль была в репосте статей целиком в формате markdown. Как учёбу разгребу, попробую накалякать что-нить менее требовательное к сторонним библиотекам. Где-то на уровне lxml проблема, судя по всему. Причём отловить её мне так и не удалось -- на одном и том же линке получаю разные данные и никогда статью целиком. Всегда это какой-то кусок страницы.

http://ii.difrex.ru/habra.14 -- гейтуйте, если хотите. Хабра фетчится.

Оу, тут куча пустых мест, хтмл теги и до хабраката :(
Ну ничего, и так читать можно =)

Спасибо, что даже так у нас есть, чего почитать =).

До кучи сделай замену вот такого вот [img habrastorage.org/files/112/e60/c80/112e60c801d640e9be72430911ab5abd.jpg" align="right" width="300] на директ-линки на изображения =)

Сырцы https://github.com/Difrex/iitools/tree/master/habrafetch

Да, проблемы есть. Набросал на коленке.

Можете в один пост баги написать, я все поправлю? :)

>Я просто заменяю > на '\n'
Лучше заменять на пробел, а то с \n читать совсем неудобно.

>Не вижу смысла тянуть всю статью. Она может быть не интересна совсем. А так, если захочется, то можно кликнуть на "читать дальше" и перейти на всю статью.
Логика понятна, жаль, что у нас тянутся все хабы, а не только те, которые нужны. Но просто удобнее не ходить по ссылкам постоянно, а читать всё в ii

>Куда сохранять? Линки же вроде остаются...
Теперь вижу :)

> Можете в один пост баги написать, я все поправлю? :)

1. Много пустых мест и отступов в содержимом
2. Отображается не вся статья, а только начало
3. Вместо нормальной читаемой разметки html-теги
4. Неплохо бы сохранять ссылки на картинки, чтобы посмотреть можно было

>жаль, что у нас тянутся все хабы, а не только те, которые нужны
Сейчас тянется только hub/linux/

Говорите, на какие подписаться :)

И еще такой вопрос:
Тянуть статьи из песочницы или нет? Сейчас они пропускаются.

>1. Много пустых мест и отступов в содержимом
Я просто заменяю <br> на '\n'

>2. Отображается не вся статья, а только начало
Не вижу смысла тянуть всю статью. Она может быть не интересна совсем. А так, если захочется, то можно кликнуть на "читать дальше" и перейти на всю статью.
Хотя смысл во всей статье тоже есть. Подумаю над этим. Собственно говоря, добавить фетчер всей стать -- совсем не проблема.

>3. Вместо нормальной читаемой разметки html-теги
Работаю над этим =)

>4. Неплохо бы сохранять ссылки на картинки, чтобы посмотреть можно было
Куда сохранять? Линки же вроде остаются...

Проба markdown. Там у них на хабре переодически прилетают всякие div, s и прочие html-теги. Надо придумать, как их правильно пропускать.

Кто там говорил про статью про парсилку хабры на хабре? =)

> Кто там говорил про статью про парсилку хабры на хабре? =)
Я говорил =) К примеру, вот эта статья: http://habrahabr.ru/post/192670/

Парсилка html на легко делается с помощью html2text.

ii://HwArNq5Jtn2XGcZ0dg4A
ii://RwDkjN6NVBLt0feRdTi7
+ ещё lisp предлагали

можно простым регэкспом вырезать все html теги. как вариант

>можно простым регэкспом вырезать все html теги. как вариант

Так и сделал