Экспериментирую с лором - там похоже надо научиться пропускать лишние пробелы и убирать тэги:




Разработчик компании «Яндекс» Ахтям Сакаев разместил свой pull request на GitHub в первых числах октября. Запрос висел около месяца и был отклонён.
( [ читать дальше... ]( https://www.linux.org.ru/news/opensource/17787377#cut ) )





[ opensource ]( /tag/opensource ) , [ санкции ]( /tag/%D1%81%D0%B0%D0%BD%D0%BA%D1%86%D0%B8%D0%B8 )


Ссылка: https://www.linux.org.ru/news/opensource/17787377

Вроде сделал (репу тоже обновил, включив поправленный ii-rss.php)
Теперь оно удаляет пустые строки, а также строки, состоящие из одних пробелов
Также удаляет строки, в которых есть /tag/ и линки на лого твиттера и фейсбука (в ii://bot.slashdot оно было и последнее могло вызвать недоразумения с силовыми структурами РФ)
Ну и ссылка на статью теперь добавляется только если эта ссылка не встечалась в тексте сообщения
Снял таверну с фетча и начал сам качать LOR и OPENNET (поначалу некоторые статьи повторятся)

shaos> И потом меня ii/IDEC полностью устраивает как транспорт для моих будущих поделок - эх для ретрокомпов, распрелелённых игр, экспериментов с моделированием криптовалют и т.д. ;)
shaos> Кстати раз уж все «отцы» IDEC свалили, а Создатель ii Рома всё ещё с нами, то может стоит это всё обратно называть ii? :)
shaos> Точнее ii с расширениями ( я для себя свою расширенную версию называю iii - см. ii://iii.nizya )…

Как расшифровывается ii кстати?

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Как расшифровывается ii кстати?

Это надо у Ромы спросить :)

Это расшифровывается как 2

Во всех старых сообщениях из ii://bot.slashdot тоже убрал ссылки на лого твиттера и лицокнижки - теперь можете подписываться не опасаясь уголовного преследования ;)

О - а у меня тогда 3 :)

P.S. Между тем таверна продолжает меня фетчить, хоть и лежит уже второй день:

176.109.111.240 - - [12/Nov/2024:00:00:11 -0800] "GET /ii-point.php?q=/x/features HTTP/1.1" 200 286 "-" "Python-urllib/3.11"
176.109.111.240 - - [12/Nov/2024:00:00:11 -0800] "GET /ii-point.php?q=/u/e/idec.talks/idec.test/lor-opennet.17/develop.16/linux.14/plan.9/zx.spectrum/z80.coding/580.vm80a/nedopc.1801/pdp.11/robby.lang/balanced.ternary/english.talks/silicon.valley.local/sprinter.computer/sprinter.software/sprinter.hardware/sprinternet.io/circuits.cc/nedopc.org/shaos.net HTTP/1.1" 200 390757 "-" "Python-urllib/3.11"
176.109.111.240 - - [12/Nov/2024:00:00:49 -0800] "GET /ii-point.php?q=/u/m/zfkRMILDiolHZm7mdc8u HTTP/1.1" 200 1531 "-" "Python-urllib/3.11"
176.109.111.240 - - [12/Nov/2024:00:30:03 -0800] "GET /ii-point.php?q=/x/features HTTP/1.1" 200 286 "-" "Python-urllib/3.11"
176.109.111.240 - - [12/Nov/2024:00:30:03 -0800] "GET /ii-point.php?q=/u/e/idec.talks/idec.test/lor-opennet.17/develop.16/linux.14/plan.9/zx.spectrum/z80.coding/580.vm80a/nedopc.1801/pdp.11/robby.lang/balanced.ternary/english.talks/silicon.valley.local/sprinter.computer/sprinter.software/sprinter.hardware/sprinternet.io/circuits.cc/nedopc.org/shaos.net HTTP/1.1" 200 390799 "-" "Python-urllib/3.11"
176.109.111.240 - - [12/Nov/2024:00:30:11 -0800] "GET /ii-point.php?q=/u/m/k58vlTNniOGMj4Rq6wAE/36KuzmgAtlllEsM60tnQ HTTP/1.1" 200 1805 "-" "Python-urllib/3.11"

Перезабрал LOR - теперь ещё и списки обрабатываются (правда вместо звёздочки как было раньше я ставлю знак минус). Репу также обновил:

https://gitlab.com/shaos/iii-php/-/blob/master/ii-rss.php?ref_type=heads

Мне как с тебя тянул так и тянуть?

Удалил дублирующиеся статьи, что нагенерились со сломанными списками (если кто успел забрать - сорри, теперь у вас будет 3 копии последних 30 сообщений с лора) - теперь всё должно быть хорошо

> Мне как с тебя тянул так и тянуть?

Угу - я ещё сколько-то дублей опеннета удалил из свежезабранного - с текущего момента всё должно быть норм и без дублей (таверну я качать перестал)

В общем сейчас оно съедает пустые строки разделяющие абзацы - наверное надо поправить, чтобы съедало только двойные пустые строки, а одинарные оставляло…

Исправил, заодно добавив юникодовских буллетпоинтов для списка:

Unicode Character “•” (U+2022)

Пример: ii://JdzId4SKzbAKBjz0FWzz

А вот это кто такой на Go появился из Ижевска? :)

217.114.158.151 - - [12/Nov/2024:18:00:04 -0800] "GET /iii-point.php?q=/x/features HTTP/1.1" 200 4041 "-" "Go-http-client/1.1"
217.114.158.151 - - [12/Nov/2024:18:00:04 -0800] "GET /iii-point.php?q=/list.txt HTTP/1.1" 200 1370 "-" "Go-http-client/1.1"
217.114.158.151 - - [12/Nov/2024:18:00:04 -0800] "GET /iii-point.php?q=/u/e/iii.nizya/-1:1 HTTP/1.1" 200 202 "-" "Go-http-client/1.1"

На этом адресе сидит вот такой сайт:

https://foxears.su/

Непонятно только как к ноде IDEC там подцепиться ;)

Это походу клиент

На Go? Долбит по часам - в ноль минут каждого часа :)

ii://rpzzk4jE8lZsJ0WRdzrM

зачем ему только эха из то ли трёх то ли семи сообщений за год? :)

shaos> А вот это кто такой на Go появился из Ижевска? :)
shaos> ====
shaos> 217.114.158.151 - - [12/Nov/2024:18:00:04 -0800] "GET /iii-point.php?q=/x/features HTTP/1.1" 200 4041 "-" "Go-http-client/1.1"
shaos> 217.114.158.151 - - [12/Nov/2024:18:00:04 -0800] "GET /iii-point.php?q=/list.txt HTTP/1.1" 200 1370 "-" "Go-http-client/1.1"
shaos> 217.114.158.151 - - [12/Nov/2024:18:00:04 -0800] "GET /iii-point.php?q=/u/e/iii.nizya/-1:1 HTTP/1.1" 200 202 "-" "Go-http-client/1.1"
shaos> ====
shaos>

А кто сказал, что там нода?

И да, привет, у меня на этой неделе слегка завал, поэтому за свою ноду пока так и не сел. Письма видел, базу скачал, но давай уж как всё, что хотел, смержишь из старого, пришли обновлённую базу, пжлст. Тогда уже в скулайт сконвертирую и захощу у себя тоже.

ahamai> зачем ему только эха из то ли трёх то ли семи сообщений за год? :)

Тестировать фетчер/клиент мб
я кстати так и не осилил в парсинг aio/ait (на питоне)
Тупо делить на \n не выходит ибо оно затрагивает и строки в сообщениях
chr(15) тоже самое
как этот формат вообще парсить? или перейти/взять на другой?

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Не заметил :)

не -- там полный набор
я просто не стал всё приводить
там типа "адаптивный фетч" - причём с самыми разными "слайсами":

217.114.158.151 - - [12/Nov/2024:01:02:58 -0800] "GET /iii-point.php?q=/u/e/lor.opennet/-512:1 HTTP/1.1" 200 204 "-" "Go-http-client/1.1"
217.114.158.151 - - [12/Nov/2024:01:02:58 -0800] "GET /iii-point.php?q=/u/e/lor-opennet.17/-64:1 HTTP/1.1" 200 207 "-" "Go-http-client/1.1"
217.114.158.151 - - [12/Nov/2024:01:02:58 -0800] "GET /iii-point.php?q=/u/m/NecbthJjVy8CqmL20ENp/MH6nfAPKNbRuleqHqrHJ/ueCfv1spMp0TmWPSXZOI/1RbgJBc2B4l6JID3e4hC/XMuZAC1gGWOdA6jhJ8BK/dwKaHOQtw48H9xfm9kyu/aZ3V9TlXVb794nr5YQvT/Y1g9fx7dzMXmo9UTIiSz HTTP/1.1" 200 3027 "-" "Go-http-client/1.1"
217.114.158.151 - - [12/Nov/2024:01:02:58 -0800] "GET /iii-point.php?q=/u/e/bot.habr.rss/-65536:1 HTTP/1.1" 200 205 "-" "Go-http-client/1.1"

Но это странно - зачем брать 1 сообщение со смещением 65536?...

что такое aio/ait ?

> А кто сказал, что там нода?

Ну клиент по крону в течение суток каждый час не будет забирать как мне кажется :)

> давай уж как всё, что хотел, смержишь из старого, пришли обновлённую базу

Да я уже вроде всё слил, что хотел - могу выложить database2 ;)

Когда я доделаю nastene 0.7, я выпущу новость на лоре (возможно, и на опеннете). И если в сеть заглянут любопытные, тут нужен контент и его нормальная подача.

Предлагаю следующее. Shaos сделать хабом, который таскает бонные эхи. spnet.uplink сделать эхой по вопросам бона. Вывести на бон эхи:

1. retro.talks

2. нужна болталка "о погоде", не всё же в retro.talks сидеть. pipe.2032 где только старые сообщения я таскать не хочу, у меня есть эха im.24, предлагаю её сделать болталкой

3. ru.humor.24 тоже предлагаю сделать бонной, как минимум я туда буду периодически сообщения закидывать

4. spnet.uplink - мы все аплинки. кстати, нужно будет вести списки, кто что с кого фетчит, чтобы наглядно видеть роутинг и схему сети.

5. retro.talks, её тоже буду наполнять

6. linux.14

эхи роботов на бон ставить смысла нет, их можно с любой станции тягать

1. idec.talks?

Да, конечно, потом у себя поправлю

Исправил

Вроде судя по старым перепискам идея с бонами в сети IDEC не прижилась - ведь каждый сисоп хочет иметь свой набор эх (т.к. каждый имеет свои приоритеты)

1. да

2. я уже писал много раз, что идея болталки "ни о чём" мне не нравится т.к. любая такая болталка неминуемо превращается в потоки бреда и кидание какашками друг в друга (тот же pipe почитать) - мы ведь тут взрослые люди, которым есть куда потратить своё свободное время, но я подумаю ;)

3. "хумор" я тоже не очень люблю - напомню, что я в штатах живу 20 с лишним лет и русский юмор перестал понимать лет 10 назад, в особенности тот, который пересказан компьютерщиками (баш тому пример - он мне разонравился ещё в нулевых)

4. ок, по поводу тех кто кого фетчит я уже предлагал вести node.json и держать в доступности на ноде - см. https://sprinternet.io/node.json (у себя я вообще хочу фетчинг прям по нему настраивать автоматом)

5. да

6. да

shaos> что такое aio/ait ?

Форматы хранение сообщений в эхоконференциях где 1 строка - 1 сообщение и вместо \n используется символ 15 (aio)
в ait добавлен индекс
Подробнее в мане цезия: https://github.com/idec-net/caesium/blob/master/docs/formats.md
Или пересказ по памяти от меня: http://club.hugeping.ru/5tlFfmAkNAGGZNALLURO#5tlFfmAkNAGGZNALLURO

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Что такое бон? Вроде читал архивы, а не нашел где это обьясняется

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Исправил, заодно добавив юникодовских буллетпоинтов для списка:

> Unicode Character “•” (U+2022)

Блин, последнее лоровское сообщение разъехалось (у себя поправил без изменения хеша, но вот у других кто забрал оно будет разъехавшееся) - ну вот кто делает вот такие вот списки:

<p>Из особенностей:</p>
<ul>
<li>
<p>Проверки выхода за границы массива. В TrapC применяется фундаментально иной способ работы с указателями и специальный механизм перехвата ошибок на основе обработчиков исключений (trap).</p>
</li>
<li>
<p>Проверки use after free.</p>
</li>
<li>
<p>Наличие GC.</p>
</li>
<li>
<p>Выделение памяти через new. *alloc и free нет.</p>
</li>
<li>
<p>Явная инициализация нулями.</p>
</li>
<li>
<p>Строгая типизация.</p>
</li>
</ul>

У меня и <li> переод строки, и <p> перевод строки - вот оно и получилось типа

Из особенностей:

•

Проверки выхода за границы массива. В TrapC применяется фундаментально иной способ работы с указателями и специальный механизм перехвата ошибок на основе обработчиков исключений (trap).

•

Проверки use after free.

•

Наличие GC.

...

Понятно

У меня txt в директориях echo и msg работают достаточно быстро с 93 тыщами сообщений (подпольная архивная нода).

Я было хотел в iii-php как в гите по поддиректориям разложить по скажем первому символу хеша - в таком случае в msg будет 62 директория (0,1,2,3,4,5,6,7,8,9,A,B,C...x,y,z) и в каждом будет в 62 раза меньше файлов (примерно 1500 на поддиректорию), но остановился т.к. пока и так быстро...

> Что такое бон? Вроде читал архивы, а не нашел где это обьясняется

https://neolurk.org/wiki/%D0%A4%D0%B8%D0%B4%D0%BE/%D0%A2%D0%B5%D1%80%D0%BC%D0%B8%D0%BD%D1%8B#%D0%91%D0%B5%D0%BA%D0%B1%D0%BE%D0%BD

> Бекбон (англ. backbone; в RU.* говорили просто "бон"; то есть хребет, нечто основное) — это узлы и эхи, образующие «каркас» сети, возможно, соединяющие несколько местных (городских, региональных) сегментов сети.

Как я это понимаю - список эх обязательный к прокидыванию всеми узлами в сегменте

Ещё вот на такую реализацию IDEC ноды на Go наткнулся:

https://gitrepo.ru/neonxp/idecnode/src/branch/master/etc/node.yaml

В конфиге написано

listen: :8000

node: iinet.ru

Но ни по этому адресу, ни на этом, ни на каком другом порту никакой ноды нет...

shaos> Вроде судя по старым перепискам идея с бонами в сети IDEC не прижилась - ведь каждый сисоп хочет иметь свой набор эх (т.к. каждый имеет свои приоритеты)

И вот это на самом деле не очень. Без бона подход «все фетчат всё у всех» из рекомендуемого для нод становится вообще обязательным для нод и рекомендуемым для поинтов. Благо, не во времена тотального диалапа живём.

Другое дело — если вводить бон, то, например, idec.talks по идее должна перекочевать в ru.idec.talks, ну ты понял.

shaos> Да я уже вроде всё слил, что хотел - могу выложить database2 ;)

Если не сложно, выложи, пжлст.

> Вроде судя по старым перепискам идея с бонами в сети IDEC не прижилась - ведь каждый сисоп хочет иметь свой набор эх (т.к. каждый имеет свои приоритеты)

было мало трафика.

когда сеть только начиналась, новые станции появлялись, нужна была координация. именно потому, что каждый сисоп хочет иметь свои эхи (в фидо тоже каждый сисоп таскал свои эхи), и нужен общий бон. иначе смысл в распределённости? ну и чтобы все сразу знали, в каких эхах есть жизнь :)

> 2. я уже писал много раз, что идея болталки "ни о чём" мне не нравится т.к. любая такая болталка неминуемо превращается в потоки бреда и кидание какашками друг в друга (тот же pipe почитать) - мы ведь тут взрослые люди, которым есть куда потратить своё свободное время, но я подумаю ;)

в pipe.2032 несколько тысяч сообщений, в :besedka было 19 тысяч. всё норм было. сейчас нет эхи, где новичок мог бы написать "привет, я новичок", не в idec.talks же такое писать. И я не буду в idec.talks писать "насквозь промок. сейчас буду сушиться, греться, и попробую довести 0.7 хотя бы до работоспособности на моём узле хоть как-то, и буду доделывать уже так". вот, пойду напишу это в im.24 :)

по юморной эхе согласен, это посути ридонли эха, можно тянуть откуда угодно

ahamai> в pipe.2032 несколько тысяч сообщений, в :besedka было 19 тысяч. всё норм было. сейчас нет эхи, где новичок мог бы написать "привет, я новичок", не в idec.talks же такое писать. И я не буду в idec.talks писать "насквозь промок. сейчас буду сушиться, греться, и попробую довести 0.7 хотя бы до работоспособности на моём узле хоть как-то, и буду доделывать уже так". вот, пойду напишу это в im.24 :)

Я прямо в idec.talks и писал. Хотел в pipe, но она read-only

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

Неудивительно. Ведь ты ещё и куришь в общественном месте :)

http://ii.blcat.ru/s/dnm.png

ahamai> Неудивительно. Ведь ты ещё и куришь в общественном месте :)
ahamai> http://ii.blcat.ru/s/dnm.png

Ни в коем случае! Я за ЗОЖ, а скрин выше это фотошоп

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

> Я прямо в idec.talks и писал. Хотел в pipe, но она read-only

Ну она на tgi только read-only :)

А что насчёт idec.test? Чтобы народ свои клиенты-ноды тестировал на какой-то общей эхе?

Новая нода стабилизировалась - стучится ровно каждый час адаптивным фетчем:

[6] 217.114.158.x point=24 web=4 up=0.9MB (1%) <--- 217.114.158.x (1/hr)

А вот таверна продолжает таки меня фетчить откуда-то из подполья каждые полчаса :)

[2] 176.109.111.x point=46 web=0 up=17.2MB (28%) <--- tavern (2/hr)

> Ни в коем случае! Я за ЗОЖ, а скрин выше это фотошоп

Побежал создавать эху skandali.intrigi.rassledovaniya и заполнять её шок-контентом

эти эхи нет смысла распространять по сети, это обычно локальные эхи станций. у меня blcat.test даже в списке эх не отображается

вот. наш путь начинается. теперь без девочек :) тем более, они курят