собрал новый фетчер в /tools/gate

поддерживает загрузку с разных серверов и блеклисты, но теоретически легко приделываются разные фильтры, которые, наверное, и будут прикручены... но, наверное, уже отдельным проектом, чтобы не перекручивать основной сервер.

ух, кунхюрент.

Я не могу понять, как иначе ты собрался за всеми плохими сообщениями бегать, если у тебя несколько нодов? Каждое вылавливать вручную? Проще заблеклистить, и оно потом расползётся по нужному направлению. У меня было несколько вариантов, как это лучше реализовать, а сейчас оно мне не особо интересно - на моей ноде блеклистится, а что там за её пределами мне пофиг.

Что такое порно.2014? Почему нежелателен? Номер в блеклисте блокирует этот номер и его появление в дальнейшем.

> Вылавливать всё равно придётся. А потом блэклистить. Ничего особенного.

Ага. Неделю бегать за сообщениями, включать а потом выключать фетчи, раздавать эти сообщения пойнтам, потом получать их ещё раз. И по кругу, и по кругу. Помню, да.

Проще заблеклистить и раздать по кругу, и тогда они моментально исчезнут везде, и не нужно ничего ловить что-то вручную.

> Ага. Предположим, станцию номер 2 взломали и/или заблэклистили там не те сообщения. Моя станция номер 1 это автоматически примет и пропишет. Итог - я не вижу сообщений, которые мне нужны.

И что? Блеклист это вообще рекомендация, к тому же изначальный вариант подразумевал, что внос в блеклист виден всем. Если кто-то взломал станцию, то возможны проблемы гораздо серьёзнее блеклиста.

> Я делаю блэклист, а другие потом могут узнать, что это сообщение у меня есть.

и чё? это распределённая сеть. его уже могли скачать до этого. если это сообщение не раздаётся - то и смысла блеклистить нет, ибо блеклист прежде всего на распределённость влияет - можно просто удалить и всё. вообще, основная задача блеклиста - это именно уведомить, хоть пойнтов, хоть ноды, о текущем сообщении. ну и не показывать его. а что делается локально - так можно просто удалять, всё, что в пределах станции. только оно может потом ещё раз прилететь. в случае же с блеклистом не важно, прилетит оно или нет, есть оно в базе или нет - это и сигнал "не раздавать" и сигнал для других узлов.

я ещё в самом начале объяснял механизмы удаления сообщений в такой сети (именно в качестве рекомендации для всей сети - если кто-то не хочет, то он не удаляет). потому что все эти вещи изначально спрашивались, по 50 раз, всем лором, и приходилось объяснять всё это - и это был нормальный вариант.

а что ты на своей станции будешь делать или не делать с сообщением - это вообще твоё дело, никого не интересующее. там сейчас в клиентах да фетчерах каких только фильтров нет, а может быть ещё больше...

тестировал sendvia в клиенте - а оно сразу не сработало :), и ушло в результате в test.14 на эту станцию :) можно и удалять :)

зато теперь в клиенте есть sendvia, и можно не только получать эхи с разных станций, но и указывать, через какую станцию какая эха будет отправляться.

> Звучит вкусно. На битбаккете уже есть?

мне битбакет вообще не понравился. обычный hg serve мне гораздо удобнее для навигации и просмотра изменений

http://hg.51t.ru/ii/

в tools/gate оно и есть..

заодно буду делать "Великий ИИзатор" на базе фетчера, который ест всё, типа rss, html и прочего. Примерно работает оно, например, вот так: http://r.51t.ru/allhockey.1407 но там ещё я не решил, как лучше делать - на конфигах или на python-плагинах...

> Такое раньше было, когда не было эффективного способа зачистки.

А он появился? Я смотрю чужие логи - и там куча ошибок, игнорируемых сообщений, дублированных, и так далее... и всё всегда везде приходится делать вручную, на каждой станции.

> Если заблэклистились какие-то сообщения по ошибке, то вот это не есть хорошо.

Если ты с кого-то что-то фетчишь - там может быть всё, что угодно. Включая миллион сообщений. То, что кто-то внёс сообщение в блеклист - это вообще ничего не значит. Из блеклиста можно и вытащить. Можно не фетчить чужие блеклисты принципиально, а только вручную запускать "автоудалялку" по этому списку. Это просто список плохих сообщений, который ведёт кто-то, а пользуются все остальные. Как пользуются - только их дело.

> Ок, можно пойти на компромисс и сделать 2 блэклиста: один личный, другой публичный. Более того, это в пару строчек реализуется.

Какой это даёт смысл в рамках сети? Не проще тогда вообще поставить обычный нераспределённый форум, и никем ни с чем не обмениваться?

Блеклист может быть только один, публичный. Он служит для информирования и сервиса, что на такой-то станции такие-то сообщения объявлены плохими. Например, если пойнту прилетело 1000 сообщений спама во всех эхах, он может у себя в клиенте нажать кнопочку "удалить по блеклисту", а не выискивать, какие сообщения там плохие, а какие - нет.

blacklist.txt - это то же самое, что list.txt, только чёрный. они позволяют автоматизировать многие вещи, не дёргая ничего вручную, и были задуманы с самого начала. впрочем, как я понял по вашей реализации, практичность там вообще стоит на последнем месте, поэтому мне, если честно, мало интересно, что вы будете делать у себя. у меня моя реализация ровно такая, какая задумано, и работает оно ровно так, а не иначе.

Что list.txt, что blacklist.txt - это оповещение, для всех.

Отличие от эхи в том, что туда может писать только один человек. Потом по этой информации можно строить очень многое (хоть вручную перед этим опросив каждую станцию скриптом). И от этой служебной информации очень много пользы - разумеется, в рамках нормального развития сети.

В блеклист помещаешь вручную. Но только у себя. И этим ты декларируешь, что это сообщение плохое. В нормально работающей сети этого достаточно, чтобы оно больше не плодилось и никому не мешало, и не нужно было заниматься какой-то вознёй. Достаточно только заставить инфраструктуру нормально воспринимать эту информацию.

Если этой информации нет - то её просто нет. Это надо искать владельца станции, расспрашивать его, что там ходит и почему, что не ходит, и почему. list.txt и blacklist.txt дают исчерпывающую информацию. Разница как между елью и фреком, если говорить фидошным языком. Можно поручать многие дела автоматике. Это не рассыпется при росте сети. Это всё - одна из основ нормального функционирования сети - я вообще никогда не представлял сети с более менее разумным трафикм без блеклиста.

А личный блеклист называется "удаление". Что не исключает, что потом каким-нибудь путём это сообщение снова придёт.

ну, теоретически, можно сделать везде проверки, и ни отдавать ни списков ни чего либо ещё, если файл удалился...

правда, тогда, например, может быть случай, что файл не дошёл :) сломался где-нибудь в фетчере, запись сделалась, а файл не записался. и этого никто не заметит, это уже обиднее.

кроме того, если блеклисты после автоматического аудита всей сети можно очищать, то по такому списку сверку не проведёшь...

в общем, ваше нормальное занятие - изобретение какой-то фигни, чтобы было как-то "не так, как изначально задумывалось"...


ps. нахрена в даркнете блеклист?

если не видо, то вот!

http://51t.ru/nz0P6Y

http://dostalgia.51t.ru

> Для "мало" ты слишком много внимания уделяешь тому, как неправильно всё делают недальновидные глупцы.

мне неинтересно, насколько вы сломаете сеть, потому что я уже с этим смирился. когда не ломаете - тогда мне интересно :)

> Ты тоже этим грешен. Вместо сети пилишь сейчас форум.

вообще-то я делаю всё то, что обещал ещё тогда, когда у сети только-только появились txt-клиент и сервер, и большая часть сети была только в моих фантазиях да в обсуждениях на лоре...

мне б ваши проблемы... у меня там добрый человек ext4 в ядро добавил, так ext2 напрочь убило...

возникает ощущение, что я вообще единственный тестер ext2 в openbsd... пойду опять шороху нагонять, а то опять так релиз выпустят, а потом скажут, что так и було, и что проблема не касается безопасности и в починке не нуждается...

> Ух ты. А я думал что поддержка на домашних машинах уже так для галочки =)

десктоп - это одно из основных предназначений openbsd. если руки дойдут до перевода статьи, как его мне тут назвали, Антошки, то закину в obsd.talk статью про его многотысячное использование на рабочих станциях. ну и сами разработчики постоянно смотрят на этот десктоп.

если смотреть за изменениями портов, то почти все приложения - десктопные. вон, сегодня 0ad добавили. из где-то 26 гб всего репозитория пакетов - примерно 11 гб это игры.

первый совсем тестовый билд с бэкендом на peewee (пока только сообщения, эхи - по старому)

peewee - простенькая орм для sqlite, mysql и postgresql

http://51t.ru/s/ii-peewee.tar.gz

openbsd? если прям таки - то нет, а вообще - удобнен.

в общем, сейчас на http://r.51t.ru/ru.humor.14 я загейтовал сайт, который собирался

поскольку эха гейтуемая, то - пока не у себя. вопрос в том, стоит ли её на себя гейтовать, или лучше сделать отдельную эху, и сграбить там всё?

ps. гейтую с помощью фетчера http://51t.ru/s/build3.tar.gz в котором добавлено новое слово subjmode

http fab
fab.echo ru.humor.14

fab.render text
fab.subjmode onlytext

fab.cp utf8
fab.re /f\d+
fab.appendurl http://fabella.info

fab.geturl http://fabella.info

fab.startart <div class="text">
fab.endart </div>

fab.author fabella.info
fab.addr wf,4

блин, я и забыл, что я сам через r.51t.ru гейтуюсь, и эхи из моей подписки уже загейтованы :)

в общем, оно уже ходит :) пусть ходит

кому интересно, или хочется отборных анекдотов в офлайн закачать - вот необновляемая эха с архивом:
http://r.51t.ru/ru.humor.fabella.info.14

загейтуйте linux.14, кто-нибудь... а то я там пишу-пишу, а куда пишу...

давай протянем ii://pipe.2032

сюжет обрисую позднее :)

> точно.. GNOME 3 просто не хватает рекламы.. типа..

скорее, проблема в том, что когда что-то идёт не так, все пытаются найти крайнего.

вот сейчас во всём виноват gnome3, потому что сделал что-то новое. и все, хоть и не знают, как на самом деле правильно, уже уверены, что там всё делают не так.

всё, что выбивается из стереотипа толпы - будет встречать резкое противодействие. :) третьему гному надо не в it и не для мужиков, а в домашнем хозяйстве и для домохозяек ориентироваться. лично мне приятнее ощущать себя домохозяйкой, когда оно работает само, и я даже не знаю, как, чем иметь выбор из 1000 настроек, которые я всё равно трогать никогда не буду :)

потому что самоизоляция - это самоубийство...

и, ладно бы, старые друзья сделали закрытую ноду, чтобы иметь собственное общение... так тут просто несколько человек собралось, до этого мало знакомых друг с другом - и на каких принципах собираются друг друга удержать?

большинство в любом случае уходит - у меня ушло много пойнтов, которые когда-то писали довольно много, редкопишущие так вообще - постоянная ротация. А если нет никакой ротации, никакого свежего взгляда, то смысл вообще существования сети как средства общения - просто ускользает.

"Жить в обществе и быть свободным от общества нельзя".

> знаю твои дела; ты ни холоден, ни горяч; о, если бы ты был холоден, или горяч!

> Но, как ты тепл, а не горяч и не холоден, то извергну тебя из уст Моих.

> Ибо ты говоришь: "я богат, разбогател и ни в чем не имею нужды"; а не знаешь, что ты несчастен, и жалок, и нищ, и слеп, и наг.

> Советую тебе купить у Меня золото, огнем очищенное, чтобы тебе обогатиться, и белую одежду, чтобы одеться и чтобы не видна была срамота наготы твоей, и глазною мазью помажь глаза твои, чтобы видеть.


Апокалипсис, глава третья..

пацанва, а мы свободный проект? :) нам нужен этот самый... сертипихкат?

> Не думаю, что он бросил нас, он просто специально давит, чтобы мы снова стали его поинтами =)

наоборот, я постоянно вас передразниваю, чтобы у вас такой мысли не возникло :) наоборот, интересный проект с вашей самостоятельностью, и хочется, чтобы вы что-то тоже предпринимали, развивались, подстёгивали, а не сидели тут, как суслики на привале... чтобы людей больше было... один фиг, тематические эхи общие, а для болталок есть pipe.2032 :)


> Но я не хочу дважды "наступать на одни и те же грабли": а то опять он захочет уйти, потом опять кучу раз позакрывает свою станцию

как 27 число, так у меня нет денег, чтобы заплатить за сервер... причём, там и чужие проекты есть, но люди тоже не шевелятся, чтобы заплатить, пропадают куда-то... так что, эта музыка будет вечной :) зато потом интересно придумывать новые вызовы, чтобы новых пользователей завлекать. :) вам-то точно сеть и пойнтов доверить нельзя, к тому же у вас неудобно просто подключаться к общению и всякое такое... мож, когда проблемы с сервером решатся - тогда наступит долгожданная СТАБИЛЬНОСТЬ :) а пока - только эксперименты... судьба такая, значит :)

> Жалко только что Рома нас бросил =) Тем более что то, в чём он нас обвиняет, так и не появилось пока нигде.

Вот этот момент мне тоже непонятен. Ладно бы, было новое видение, устыдили бы меня. А пока у меня сеть развивается, пользователи появляются, даже одного из разработчиков OpenBSD в секту :) вовлёк, есть и другие идеи (если переживу это 27 число, сейчас это делать - бессмысленно), приделал и проверку на обновляемость эх, о которой много говорили, и новую ноду, и новый фетчер, в общем, всё гармонично развивается, есть планы, есть отчёты.

А что вы тут месяц группой делали - я так и не понял. :) К чему было вот это разделение, какие были цели и желания, что добились... в общем, непонятно.

> Рогалики тут обсуждать не с кем -- их кроме теб никто не играет, видимо, но я ангбанд так и не продолжил осваивать. Ты же не будешь осваивать DCSS, хотя там игра за какого-нить минотавра берсерка тоже месилово. Причём я даже понимаю почему не будешь. Нет тебе смысла осваивать ещё одну игру раз ангбанд устраивает =)

И в debian, и в openbsd старые версии. я её поставил, но ничё не понимаю. angband тем и выделяется от кучи подобных ему игр, что там ничего осваивать не надо, это чисто мочилово безо всяких отклонений :)

> Кабы она была преднамеренная. Я периодически рекламирую сеть, но народ реагирует по типу "а зачем? есть же вконтакт". Одного заинтересовал, но он мало пишет. Сам же я не хочу писать о том, что людям вряд ли будет интересно.

Ну, у меня люди заводятся понемногу...

> То что люди уходят или не приходят это замкнутый круг. Они уходят или не приходят потому что тут мало народу, но тут мало народу потому что они уходят или приходят. Я, к сожалению, не могу генерировать много контента

Главное всё-таки люди, а не контент. В клубе должна быть какая-то цельность, какая-то общая сущность, которая объединяет, и, я бы даже сказал, подчиняет. Просто "мы тут собрались, и вот" - это не особенно понятно. Собственно, я все свои идеи "как я вижу ii" очертил ещё в самом-самом начале, и по этому настуканному плану всё и развиваю. А что и как хотели добиться вы - я как не понимал, так и продолжаю не понимать. Какой-то "просто клуб" или "клуб ни о чём". Тоже непонятно, почему это должно быть интересно :)

я знаю, что не нужен :)

> Ага, каждый доверяет только самому себе. И именно поэтому мы не подняли один единственный нераспределённый форум. И именно поэтому у нас две станции, где каждый сам себе хозяин.

Я всем доверяю, если есть такая возможность. Просто тут есть вопрос целесообразности, и вопрос доверия других людей лично ко мне - прошлый переезд отбросил сеть на два шага назад, поэтому даже простой в несколько дней будет иметь меньше проблем, чем такой переезд.

Кстати, я не вижу принципиальной разницы между пойнтами и нодами в этом вопросе. Зачем вообще нужны ноды - это я уже объяснял. Про "эффект левонеток", когда все набирались в ноды, просто потому что ноды - я тоже насмотрелся :), поэтому не вижу тут ничего плохого и ничего хорошего. Но принципиально это вообще ничего не меняет.

А как строить клуб без доверия - я не знаю. Я, кроме блеклистинга спама, вообще никогда ни к кому не применял административных мер, потому что не представляю себе построение сети с позиции силы. Выходил в народ, пользовался только теми же самыми средствами, что есть у них, и основная цель этого была одна - установить доверие. Люди должны понимать, что у них ответственность не перед каким-то там администратором (делай то, что ему нравится, и будет хорошо, а если наоборот - плохо), а только перед всеми остальными членами клуба, которые не делятся на касты.

а судя по опеннетовским комментам - проще купить, чем это :)

> Посмотри на скрытосети: доверия нет, а клубы есть. Но этот пример к нам однозначно не подходит.

Там другой совсем эффект, на котором они держатся. Это модная вещь, к тому же, сам товарищ Сноуден, один из самых цитируемых мировой прессой людей, о них говорит. Если бы Алла Пугачёва спела бы песню "друга я никогда не забуду, если с ним подружилась в сети ай ай", у нас бы тоже была совсем другая жизнь, и совсем другие критерии. :)

К тому же, какие именно там клубы?

Это субкультуры. Их просто прёт, от самого факта. :) Оно работает в основном потому, что они никому, кроме таких же бедолаг :) , неинтересны, некому труба шатать :)

Да и то, насколько я вижу, такие вещи не особенно устойчивы. Как и аудитория на них. Это скорее не клуб, а лавочка у "Натали" - сколько бы лет не прошло, там всегда будут толпы собираться... но с каждыми годами это разные толпы. И контингент там очень ограниченный :) Я тоже там когда-то собирался по ночам... в отличие от шифрованных сетей :) А кто-то в сетях собирался, все мы грешны :)

Это не совсем то, что я хочу построить. Там речь даже не в доверии, а в условностях общения (это касается не только личного). Впрочем, я не много видел, поэтому не знаю, создаётся ли там зона комфорта, и если да - то на чём. Возможно, там есть какой-то опыт, который следует перенять, чтобы тоже создавать подобное.

Хотя лично моё мнение, что там тупо асоциальные личности собираются, которые понимают проблемы, потому что у противоположной стороны они точно такие же, и на этой круговой поруке всё и держится. :) Даже не знаю, хорошо это или плохо. В общем, слово эксперту :)

> Есть там зона комфорта. Она возникает зачастую из-за технических причин - анонимность, скрытность. Ну и отсутствие народа, конечно. Хотя абсолютно это я не могу рассказать, потому что для этого там побывать надо.

Ну, например, что мешает мне в каждом сообщении писать "покупайте наших слонов" или "там соси, того тряси"? Да и вообще, всячески мешать общаться?

это он услышал о принятии на бон linux.14 и возрадовался!

а iistax, дистрибутив для тестирования ii, где?

у миня бери, не пожалееш!

да сколько угодно:

http://r.51t.ru/lit.14

у меня всё гейтуется на r.51t.ru, вся связь - там. моя станция только обменивается почтой с r.51t.ru, больше ни с кем :)

а эху для себя прокинуть - только если ты её обратно фетчить будешь - тогда я прокину.

http://51t.ru/lit.14

я написал.... :)

ps. Я не знаю, во сколько завтра или даже послезавтра отключат сервер, и на какой срок, поэтому попробуй гейтовать всё, и почаще... потому что, если отключат надолго - удалят всё содержимое, жалко будет терять сообщения :(

> С тебя список эх.

http://51t.ru/list.txt?n=1

мой фетчер вообще может по списку работать - скармливаешь ему ссылку на list.txt?n=1, и он качает :)

у них сабжа нет, но это нормальные валидные сообщения

http://51t.ru/q/zrLYdwgWLDqvmnNNz87Z/TJVHc3lfTLfuLSLfr51m/BnRaLEdGEOqgtv0bA6Nm/vAkkY555FWIGm0WFEgt7/8JxzeevHkYSAXdovAvj9

делай регулярные бэкапы, почаще

рендерится - значит валидное. :) главное, что поле есть, а какое оно - не так важно. это уже на конечных станциях проверяется, причём тут вообще фетчеры? :)

мея видо? пустые сообщения, проваливающиеся сообщения.

какая локалка, куда загейтована???

не понял, зачем. для гейта - есть pipe.2032. зачем мне писать что-то на своей станции.

я писал, но мои письма даже не проходили :) в смысле, отправилось нормально, а в базу не попали... а с той стороны шли пустые... вот и надоело писать... тем более, у меня там выясняем вопросы кой-какие :)

нифига не фетчится, и остальное многое не работает... траляляляля зато на openbsd! :)

у меня неет pipe.2032

ничегооо нееет!
я бездаааарность!

http://www.youtube.com/watch?v=Ggp6bUL23mk

вообще, архив не помешает - но сейчас оно вроде бы переехало в Голландию, на восхитительную OpenBSD :)

ps. Новости с сети правоверов:

1. На замену obsd.rss.14 появилась obsd.info.14... на там пока не гейтуется, но уже есть на тут http://obsd.odii.ru

2. Ограбление новостного сайта russian.rt.com - эха http://51t.ru/russian.rt.1407

скоро мы весь мир завернём в ii! хо-хо-хо...

ээээ, я правильно по названию понял содержимое сайта?

если да... то вы совсем офигели... ладно бы, когда 1000 эх, и тогда там есть и такие... но когда сеть только началась, эхи по пальцам пересчитать можно, а вы с подобного начинаете... странные у вас принципы построения :)