по какому принципу ходят эхи? или они больше вообще не ходят? что-нибудь где-нибудь вообще гейтуется? и в obsd.rss уже больше недели ничего нет...

> по какому принципу ходят эхи?
Твои эхи ходят, когда я дома. Когда я на даче, наши эхи ходят с большим интервалом, а твои не ходят (мне лень настраивать пока)

> или они больше вообще не ходят?что-нибудь где-нибудь вообще гейтуется?
ходит и гейтуется, правда сегодня я вручную с телефона фетчер дёргаю.

> и в obsd.rss уже больше недели ничего нет...
странно, разберусь

Просто не пишут люди, поэтому и кажется, что ничего не ходит. В случае поднятия трафика я, конечно, уменьшу интервал фетчинга.

я пишу. но сообщений своих не вижу. в мою-то сторону фетчинг ещё со времён царя гороха работает, на отдельную станцию. и уже с нею моя 51t.ru частично синхронизируется.

Список эх, с тебя гейтуемых, можно посмотреть на http://irk38.tk/ii/lenina-fetch.php
Какие ещё добавить?

ООО, посыпались message saved :)

fetch http://51t.ru/u/e/obsd.talk.14
fetch http://51t.ru/u/e/obsd.rss.14
obsd.rss.14
fetch http://51t.ru/u/m/EBSAiAP9XcRy24uBhVNf/qrkboGNZSu9nciFUTomb/s96BrMLQ4qufsBs2JgfM/EpVZ3fvl10PBx4vE21ie/Iyl9zDoDc7l8JBCYtWcP/xZtkSeAFPfrpxAYm1LJo/zxfCmaKiwIlmsIpuUsyc/eONucAPxMnDVyDk9zYaA/SQAAhWyNs8pCn65Wpp15/EyeDTS1Sq9oRY37OxAKy/cKZZWEadF9FszZohFmNt/XliFFh8f6OesIMkCxV2C
invalid message: EBSAiAP9XcRy24uBhVNf
invalid message: qrkboGNZSu9nciFUTomb
invalid message: s96BrMLQ4qufsBs2JgfM
invalid message: EpVZ3fvl10PBx4vE21ie
invalid message: Iyl9zDoDc7l8JBCYtWcP
invalid message: xZtkSeAFPfrpxAYm1LJo
invalid message: zxfCmaKiwIlmsIpuUsyc
invalid message: eONucAPxMnDVyDk9zYaA
invalid message: SQAAhWyNs8pCn65Wpp15
invalid message: EyeDTS1Sq9oRY37OxAKy
invalid message: cKZZWEadF9FszZohFmNt
invalid message: XliFFh8f6OesIMkCxV2C
fetch http://51t.ru/u/e/gazeta.14
gazeta.14
fetch http://51t.ru/u/m/
fetch http://51t.ru/u/e/think.aloud.14
fetch http://51t.ru/u/e/od.ii.dev.14
fetch http://51t.ru/u/e/ru.humor.14
fetch http://51t.ru/u/e/younglinux.info.14
fetch http://51t.ru/u/e/txt.drafts.14

указанные сообщения - сообщения только с сабжем, но без текста. оно их так и будет каждый раз дёргать?

кстати, а чего она все эхи не одним запросом запрашивает, а кучей?

я не знаю, какие эхи нужно добавить. я гейтую следующие:

ECHOLIST='obsd.rss.14 lor-opennet.2014 ru.humor.14 obsd.talk.14 txt.drafts.14'

сборщик, который собирает - тот кучу эх собирает. все существующие в базе эхи выведены на http://r.51t.ru/ и там видно, что обновляется, что нет.

> указанные сообщения - сообщения только с сабжем, но без текста. оно их так и будет каждый раз дёргать?
Оно их не сохраняет. Это предупреждение для тебя идёт, что сообщения кривые, и их чистить надо.

> кстати, а чего она все эхи не одним запросом запрашивает, а кучей?
Потому что такова логика фетчера. У меня в туду есть пункт исправить это в фетчере. Займусь этим потом, но пока и сейчас нормально работает.

> я не знаю, какие эхи нужно добавить. я гейтую следующие:
Приду домой и добавлю, чего у меня нет.

> Оно их не сохраняет. Это предупреждение для тебя идёт, что сообщения кривые, и их чистить надо.

ну, раз рендер их рендерит - значит это валидные сообщения, стандартов не нарушают... ну, не знаю, в блеклист их или ещё куда-нибудь, зачем каждый раз запрашивать и скачивать?

> Займусь этим потом, но пока и сейчас нормально работает.

оно кучу запросов создаёт...

> ну, раз рендер их рендерит - значит это валидные сообщения, стандартов не нарушают...
У меня в проверке стоит, что сообщения с пустым телом невалидны. Раньше всегда думал, что так и должно быть, что стандарт.

> ну, не знаю, в блеклист их или ещё куда-нибудь
В блэклист, либо просто затереть, да и всё.

> зачем каждый раз запрашивать и скачивать?
Чтобы привлечь моё внимание (и ваше), как сисопа, для исправления. Делать автоблэклист не рационально, и может наплодить ошибок.

> оно кучу запросов создаёт...
Знаю, нехорошо

> У меня в проверке стоит, что сообщения с пустым телом невалидны. Раньше всегда думал, что так и должно быть, что стандарт.

ну, раз рендерит - значит нормально :) вообще, у нас такое ловится на тех, кто отправляет, а не на тех, кто принимает

> В блэклист, либо просто затереть, да и всё.

а они потом не прилетят ниоткуда? автоблеклист не нужен, нужно просто блеклист.

> ну, раз рендерит - значит нормально :) вообще, у нас такое ловится на тех, кто отправляет, а не на тех, кто принимает
Хм, хорошая мысль. Есть, над чем работать.

> а они потом не прилетят ниоткуда?
Андрей обещал почистить.

Собственно, блеклисты для того и нужны были публичными, чтобы ими хитрым способом меняться. Но там нужен реально хитрый способ, чтобы не делать их огромными без практического смысла... а вы вообще что-то не то стали приделывать, в общем эта идея заглохла.

Ну, ещё блеклист нужен для того, чтобы ничего не раздавать и не показывать, даже если эти сообщения у тебя есть. Поэтому и распространяться не будут.

Ну, ещё, в новом фетчере, который будет сделан на базе 51talk, будет и блеклист, и многое другое. Там уже дубли и бэды не забалуют.

собрал новый фетчер в /tools/gate

поддерживает загрузку с разных серверов и блеклисты, но теоретически легко приделываются разные фильтры, которые, наверное, и будут прикручены... но, наверное, уже отдельным проектом, чтобы не перекручивать основной сервер.

> Собственно, блеклисты для того и нужны были публичными, чтобы ими хитрым способом меняться.
А я вот думаю, что не всегда. Иногда бывают такие ситуации, когда обмен блэклистами нежелателен (вспомни, к примеру, porno.2014 или какой-нибудь ~exchange.#, но это, наверное, не слишком удачный пример). Например, для какой-то служебной информации или когда сообщения надо время от времени скрывать или показывать.

> а вы вообще что-то не то стали приделывать, в общем эта идея заглохла.
Блэклист уже реализован в ветке фич ii-php, даже тестовая нода есть. Правда ставить эту ветку на главную ноду пока нет желания.

> Ну, ещё блеклист нужен для того, чтобы ничего не раздавать и не показывать, даже если эти сообщения у тебя есть. Поэтому и распространяться не будут.
Иногда нужно скрывать сам факт наличия сообщений, но это, наверное, просто моя паранойя. Для публичного обмена списками есть совет нодов.

Я не могу понять, как иначе ты собрался за всеми плохими сообщениями бегать, если у тебя несколько нодов? Каждое вылавливать вручную? Проще заблеклистить, и оно потом расползётся по нужному направлению. У меня было несколько вариантов, как это лучше реализовать, а сейчас оно мне не особо интересно - на моей ноде блеклистится, а что там за её пределами мне пофиг.

Что такое порно.2014? Почему нежелателен? Номер в блеклисте блокирует этот номер и его появление в дальнейшем.

>собрал новый фетчер в /tools/gate

>поддерживает загрузку с разных серверов и блеклисты, но теоретически легко приделываются разные фильтры, которые, наверное, и будут прикручены... но, наверное, уже отдельным проектом, чтобы не перекручивать основной сервер.

Звучит вкусно. На битбаккете уже есть?

> Я не могу понять, как иначе ты собрался за всеми плохими сообщениями бегать, если у тебя несколько нодов? Каждое вылавливать вручную?
Вылавливать всё равно придётся. А потом блэклистить. Ничего особенного.

> Проще заблеклистить, и оно потом расползётся по нужному направлению.
Ага. Предположим, станцию номер 2 взломали и/или заблэклистили там не те сообщения. Моя станция номер 1 это автоматически примет и пропишет. Итог - я не вижу сообщений, которые мне нужны.

> Что такое порно.2014?
Это пример, который показывает нежелательность отдачи блэклиста.

> Почему нежелателен? Номер в блеклисте блокирует этот номер и его появление в дальнейшем.
Но не блокирует упоминание о том, что ты его заблокировал. К примеру, поинт опубликовал в эху неподобающее сообщение, но то, которое удалять не надо. Я делаю блэклист, а другие потом могут узнать, что это сообщение у меня есть. Возможно, это звучит параноично, но почему бы и нет?

> Вылавливать всё равно придётся. А потом блэклистить. Ничего особенного.

Ага. Неделю бегать за сообщениями, включать а потом выключать фетчи, раздавать эти сообщения пойнтам, потом получать их ещё раз. И по кругу, и по кругу. Помню, да.

Проще заблеклистить и раздать по кругу, и тогда они моментально исчезнут везде, и не нужно ничего ловить что-то вручную.

> Ага. Предположим, станцию номер 2 взломали и/или заблэклистили там не те сообщения. Моя станция номер 1 это автоматически примет и пропишет. Итог - я не вижу сообщений, которые мне нужны.

И что? Блеклист это вообще рекомендация, к тому же изначальный вариант подразумевал, что внос в блеклист виден всем. Если кто-то взломал станцию, то возможны проблемы гораздо серьёзнее блеклиста.

> Я делаю блэклист, а другие потом могут узнать, что это сообщение у меня есть.

и чё? это распределённая сеть. его уже могли скачать до этого. если это сообщение не раздаётся - то и смысла блеклистить нет, ибо блеклист прежде всего на распределённость влияет - можно просто удалить и всё. вообще, основная задача блеклиста - это именно уведомить, хоть пойнтов, хоть ноды, о текущем сообщении. ну и не показывать его. а что делается локально - так можно просто удалять, всё, что в пределах станции. только оно может потом ещё раз прилететь. в случае же с блеклистом не важно, прилетит оно или нет, есть оно в базе или нет - это и сигнал "не раздавать" и сигнал для других узлов.

я ещё в самом начале объяснял механизмы удаления сообщений в такой сети (именно в качестве рекомендации для всей сети - если кто-то не хочет, то он не удаляет). потому что все эти вещи изначально спрашивались, по 50 раз, всем лором, и приходилось объяснять всё это - и это был нормальный вариант.

а что ты на своей станции будешь делать или не делать с сообщением - это вообще твоё дело, никого не интересующее. там сейчас в клиентах да фетчерах каких только фильтров нет, а может быть ещё больше...

> Звучит вкусно. На битбаккете уже есть?

мне битбакет вообще не понравился. обычный hg serve мне гораздо удобнее для навигации и просмотра изменений

http://hg.51t.ru/ii/

в tools/gate оно и есть..

заодно буду делать "Великий ИИзатор" на базе фетчера, который ест всё, типа rss, html и прочего. Примерно работает оно, например, вот так: http://r.51t.ru/allhockey.1407 но там ещё я не решил, как лучше делать - на конфигах или на python-плагинах...

> Ага. Неделю бегать за сообщениями, включать а потом выключать фетчи, раздавать эти сообщения пойнтам, потом получать их ещё раз. И по кругу, и по кругу. Помню, да.
Такое раньше было, когда не было эффективного способа зачистки.
> Проще заблеклистить и раздать по кругу, и тогда они моментально исчезнут везде, и не нужно ничего ловить что-то вручную.
Так я про то и говорю - нашёл плохие сообщения, заблэклистил, а потом удалил.
> Проще заблеклистить и раздать по кругу, и тогда они моментально исчезнут везде, и не нужно ничего ловить что-то вручную.
Если заблэклистились какие-то сообщения по ошибке, то вот это не есть хорошо.

> а что ты на своей станции будешь делать или не делать с сообщением - это вообще твоё дело, никого не интересующее. там сейчас в клиентах да фетчерах каких только фильтров нет, а может быть ещё больше...
Ок, можно пойти на компромисс и сделать 2 блэклиста: один личный, другой публичный. Более того, это в пару строчек реализуется.

Но таки распределённый обмен блэклистами всё равно не одобряю, так как это может наплодить ошибок.

> Такое раньше было, когда не было эффективного способа зачистки.

А он появился? Я смотрю чужие логи - и там куча ошибок, игнорируемых сообщений, дублированных, и так далее... и всё всегда везде приходится делать вручную, на каждой станции.

> Если заблэклистились какие-то сообщения по ошибке, то вот это не есть хорошо.

Если ты с кого-то что-то фетчишь - там может быть всё, что угодно. Включая миллион сообщений. То, что кто-то внёс сообщение в блеклист - это вообще ничего не значит. Из блеклиста можно и вытащить. Можно не фетчить чужие блеклисты принципиально, а только вручную запускать "автоудалялку" по этому списку. Это просто список плохих сообщений, который ведёт кто-то, а пользуются все остальные. Как пользуются - только их дело.

> Ок, можно пойти на компромисс и сделать 2 блэклиста: один личный, другой публичный. Более того, это в пару строчек реализуется.

Какой это даёт смысл в рамках сети? Не проще тогда вообще поставить обычный нераспределённый форум, и никем ни с чем не обмениваться?

Блеклист может быть только один, публичный. Он служит для информирования и сервиса, что на такой-то станции такие-то сообщения объявлены плохими. Например, если пойнту прилетело 1000 сообщений спама во всех эхах, он может у себя в клиенте нажать кнопочку "удалить по блеклисту", а не выискивать, какие сообщения там плохие, а какие - нет.

blacklist.txt - это то же самое, что list.txt, только чёрный. они позволяют автоматизировать многие вещи, не дёргая ничего вручную, и были задуманы с самого начала. впрочем, как я понял по вашей реализации, практичность там вообще стоит на последнем месте, поэтому мне, если честно, мало интересно, что вы будете делать у себя. у меня моя реализация ровно такая, какая задумано, и работает оно ровно так, а не иначе.

> А он появился? Я смотрю чужие логи - и там куча ошибок, игнорируемых сообщений, дублированных, и так далее...
Да, просто удаляю сообщение из эхи, и оно уже сюда никогда не прилетит. Либо можно его просто в блэклист записать (но пока не здесь). Так называемые ошибки - это просто напоминание, что на определённой станции есть плохие сообщения, что с ними надо что-то делать.

> и всё всегда везде приходится делать вручную, на каждой станции.
А разве запись в блэклист - это не ручная операция? Надо сначала прочитать сообщение, убедиться, что оно плохое, а потом записать. Не так?

> Можно не фетчить чужие блеклисты принципиально, а только вручную запускать "автоудалялку" по этому списку. Это просто список плохих сообщений, который ведёт кто-то, а пользуются все остальные. Как пользуются - только их дело.
Так и можно.

> Какой это даёт смысл в рамках сети?
Личный блэклист нужен не в рамках сети, а в рамках станции, то есть этого сообщения не просто нет, а его никогда не было и просто не существует, но только у меня. Если поинт получил такое сообщение с другой станции, то я тут никаким боком не отношусь и не виноват.

> Например, если пойнту прилетело 1000 сообщений спама во всех эхах, он может у себя в клиенте нажать кнопочку "удалить по блеклисту", а не выискивать, какие сообщения там плохие, а какие - нет.
Для таких случаев нужен публичный блэклист, а не личный. Публичный блэклист нужен для того, чтобы оповестить других о наличие плохого сообщения. Личный же нужен, чтобы не оповещать об этом никого. Пока что даже на моей php-ноде блэклист публичный (он хранится просто в txt файле на сервере), но при возникновении надобности можно сделать ещё и личный. Этой надобности ещё нет, но я не исключаю её появления.

> как я понял по вашей реализации, практичность там вообще стоит на последнем месте
Не так.

> поэтому мне, если честно, мало интересно, что вы будете делать у себя. у меня моя реализация ровно такая, какая задумано, и работает оно ровно так, а не иначе.
Ну и ладно, тебе никто не запрещает.

Что list.txt, что blacklist.txt - это оповещение, для всех.

Отличие от эхи в том, что туда может писать только один человек. Потом по этой информации можно строить очень многое (хоть вручную перед этим опросив каждую станцию скриптом). И от этой служебной информации очень много пользы - разумеется, в рамках нормального развития сети.

В блеклист помещаешь вручную. Но только у себя. И этим ты декларируешь, что это сообщение плохое. В нормально работающей сети этого достаточно, чтобы оно больше не плодилось и никому не мешало, и не нужно было заниматься какой-то вознёй. Достаточно только заставить инфраструктуру нормально воспринимать эту информацию.

Если этой информации нет - то её просто нет. Это надо искать владельца станции, расспрашивать его, что там ходит и почему, что не ходит, и почему. list.txt и blacklist.txt дают исчерпывающую информацию. Разница как между елью и фреком, если говорить фидошным языком. Можно поручать многие дела автоматике. Это не рассыпется при росте сети. Это всё - одна из основ нормального функционирования сети - я вообще никогда не представлял сети с более менее разумным трафикм без блеклиста.

А личный блеклист называется "удаление". Что не исключает, что потом каким-нибудь путём это сообщение снова придёт.

Да понятно это всё.

За исключением
> А личный блеклист называется "удаление". Что не исключает, что потом каким-нибудь путём это сообщение снова придёт.
Путём фетчинга - не придёт. Это немного больше, чем удаление, если сообщения на станции нет, но может быть и чуточку меньше, чем удаление, если сообщение там ещё осталось. В настоящее время в этом надобности нет, но это может быть полезно, например, в darknet-ii, где уровень информации отличается от того, что существует здесь.

> ps. нахрена в даркнете блеклист?
К примеру, есть даркнет. В нём есть несколько полностью скрытых узлов (ну i2p там, tor), и есть узлы, ip которых известны власти, и их могут прижать (к примеру, или скомпрометированные, или части даркнета в обычном интернете). Так вот, к примеру, даркнет узел опубликовал "запрещённый" контент. Известный даркнет узел этот контент получил, но чтобы его не прижали и не заблокировали, он добавляет сообщение в личный блэклист. Получается, что этого сообщения нет, его никогда не было, его не получали и не будут получать. Но само сообщение цело и присутствует в базе. Сисоп "известного" узла после блэклистинга либо ждёт, когда информацию можно будет опубликовать (и даёт скачать её всего на пару минут, а потом снова блэклистит), либо шифрует и отправляет в crypto.im.* нужным людям.

>впрочем, как я понял по вашей реализации, практичность там вообще стоит на последнем месте

Нет.

>поэтому мне, если честно, мало интересно, что вы будете делать у себя.

Для "мало" ты слишком много внимания уделяешь тому, как неправильно всё делают недальновидные глупцы.

>в общем, ваше нормальное занятие - изобретение какой-то фигни

Нет.

>чтобы было как-то "не так, как изначально задумывалось"...
>Не проще тогда вообще поставить обычный нераспределённый форум, и никем ни с чем не обмениваться?

Ты тоже этим грешен. Вместо сети пилишь сейчас форум.

> Для "мало" ты слишком много внимания уделяешь тому, как неправильно всё делают недальновидные глупцы.

мне неинтересно, насколько вы сломаете сеть, потому что я уже с этим смирился. когда не ломаете - тогда мне интересно :)

> Ты тоже этим грешен. Вместо сети пилишь сейчас форум.

вообще-то я делаю всё то, что обещал ещё тогда, когда у сети только-только появились txt-клиент и сервер, и большая часть сети была только в моих фантазиях да в обсуждениях на лоре...