жди моего ответа, когда хаос его польнет :)

ps. поэтому я и не люблю, когда все всех фетчат. по мне пойнты фетчат только свои станции, а у фетчинга узлов есть топология

hugeping>> Как это возможно?
hugeping> Вероятно, кто то отдает по фетчу не в том порядке..

Поясню ещё раз по другому.

Есть сообщение от ahamai ii://fiTy34vIAoqowA6GTpxX (написано на станции blcat) 20:43:39
Есть сообщение-ответ ii://d9fGfA6s7AVhMIQb0we9 от revoltech (написано на станции spnet) 20:51:24

Очевидно, что чтобы ответить на сообщение, сообщение ahamai сначала должно было быть получено станцией spnet. (Иначе, reply будет указывать на несуществующее сообщение.)

После этого, revoltech фетчит его и пишет ответ. Отправляет его на станцию spnet. И этот ответ НЕ МОЖЕТ встать РАНЬШЕ сообщения от ahamai. Но в индексе shaos он стоит РАНЬШЕ. Где-то есть проблема.

Надо разбираться.

Повторяю, меня не смущает сам факт нарушения порядка, но конкретно эта ситуация выглядит как невозможная. Кто то может меня разубедить?

я уже полдня назад ответ написал, только шаос медленный :)

http://ii.blcat.ru/rCu2q7hJ6T7vqKWjikjW

когда rt пишет свой ответ на shaos, моего сообщения там нет, физически

У меня появилась ГИПОТЕЗА.

1) revoltech фетчит себе куда-то локально эхи из разных мест
2) revoltech сфетчил сообщение ahamai с ноды blcat
3) revoltech формирует в своём клиенте ответ на сообщение и отправляет его spnet. reply указывает на сообщение с blcat
4) spnet НЕ ПРОВЕРЯЕТ reply вообще и берет это сообщение (считаю, должен был отбросить)
5) ЗАТЕМ spnet забирает сообщение на которое был ответ с blcat

Это всё объясняет. revoltech? shaos? я прав?

iiii> я уже полдня назад ответ написал, только шаос медленный :)
iiii> http://ii.blcat.ru/rCu2q7hJ6T7vqKWjikjW
iiii> когда rt пишет свой ответ на shaos, моего сообщения там нет, физически

Ага, я эту гипотезу и выдвинул тоже (см ii://5R0bd1lXAfHAJH9bFWvs )
Но spnet не должен был принимать сообщение с битым reply! В этом проблема. Это надо фиксить.

> 4) spnet НЕ ПРОВЕРЯЕТ reply вообще и берет это сообщение (считаю, должен был отбросить)

почему он должен его отбросить-то? это абсолютно нормальная ситуация для распределённой сети, штатная, в фидо тоже такое было сплошь и рядом

почему оно битое-то? это абсолютно штатная ситуация и так было всегда

iiii> почему оно битое-то? это абсолютно штатная ситуация и так было всегда

Поинт шлет ноде сообщение с reply на несуществующее сообщение и это ок? Я не согласен. Я рублю и буду дальше это делать. Ну, главное что причина понятна.

> Поинт шлет ноде сообщение с reply на несуществующее сообщение и это ок?

Естественно. Что значит несуществующее, у тебя на ноде его нет не значит, что оно не существующее. В этапе фетчинга может сбойнуть фетчер или сервер, и у тебя сразу 40 сообщений могут вылететь из базы, и прийти только следующим фетчингом.

>> Поинт шлет ноде сообщение с reply на несуществующее сообщение и это ок?

iiii> Естественно. Что значит несуществующее, у тебя на ноде его нет не значит, что оно не существующее.

Если у меня его нет, то у поинта его тоже нет и ответить он на него не может. Если поинт одновременно питается у нескольких нод - это ненормальная ситуация. Ну я так это воспринимаю. Пусть пушит свое сообщение на ту ноду с которой взял оригинальное.

> Если поинт одновременно питается у нескольких нод - это ненормальная ситуация.

тут я согласен :) но в рамках распределённой сети ситуация вообще штатная

по мне так тут shaos-у надо почаще фетчить других :)

iiii> тут я согласен :) но в рамках распределённой сети ситуация вообще штатная

Я устал объяснять, почему эта ситуация не штатная. Конкретно эта, а не вообще некоторые абстрактные перемешивания. Выше все детально описано. Кому надо, разберутся.

iiii> по мне так тут shaos-у надо почаще фетчить других :)

Это не спасло бы от конкретно этой ситуации.

iiii>> по мне так тут shaos-у надо почаще фетчить других :)

hugeping> Это не спасло бы от конкретно этой ситуации.

Ладно, я реально устал. Пока перестаю читать idec.talks, а то напрягаюсь слишком.

> Я устал объяснять, почему эта ситуация не штатная.

я тоже говорю, что даже выпадение целых сегментов, по любым причинам, ситуация тоже абсолютно предполагаемая при проектировании сети. ну, в рамках распределённости. тут нельзя ничего гарантировать.

и ровно то же самое было в фидо. в том числе пропадание целых сегментов с концами :) у нас то можно хоть что-то выфетчить, а в фидо аутбаунд.

и я про то и говорил, что не люблю, когда все всех выфетчивают, а потом ищут кто где на ком лежал. лучше поллинг чаще, но только одной станции, и схема рутинга. так было в 2014, всё работало, никто никуда раньше паровоза не бежал. что не застрахавывает всё равно от различных выпадений.

иначе это уже не распределённая сеть. вообще, базовое сообщение могут вообще удалить, прежде чем оно распространится, а ответы будут и дальше жить своей жизнью. может быть, что угодно.

> Это не спасло бы от конкретно этой ситуации.

это спасло бы от медленно ходящих сообщений по сети :) как будто реально голубями из США :)

> Если у меня его нет, то у поинта его тоже нет и ответить он на него не может

какая вообще разница, исходное оно или нет? какая вообще разница, перемешанное оно или нет. в самой базе каждое сообщение самодостаточное, и приклеплено к конкретной эхе, repto вообще просто для формального удобства. и вся основа это именно конкретное сообщение, какой бы repto там не стоял, если на него отвечают, то дальше ответы уже идут от этого сообщения

вообще, у кого база неполная, repto вообще может ссылаться на сообщение, которое было написано 5 лет назад, у одного нода оно есть, у другого нет. консистентность эх же не гарантируется.

или у одного удалено, а у другого нет.

куча способов потери исходного сообщения, а обсуждение от ответа может пересылаться дальше.

в аликорновских архивах почему-то для некоторых тем нет исходных сообщений.

есть только два объекта, эха и сообщение. сообщение должно быть только формально валидным, а куда оно ссылается это вообще только личное дело этого сообщения. ровно так же, как в fido - в фидо вообще, когда ты подключаешься к эхе, тебе приходят только новые сообщения, и это почти всё будут ответы - то есть, ты подключаешься к дискуссии, вообще никогда в жизни не увидев исходного сообщения.

я вот даже не вспомню, в фидо вообще хоть какой-то аналог repto был?

repto я прикрутил уже вообще в последний момент, поэтому он таким кривым видом прописывается, сначала его вообще не было как такового

Ну я ж вчера ещё объяснил сей феномен - всё так, но при приёме сообщений никто не отбрасывает сообщения по несуществующему repto, т.к. оно может прийти позже (и приходит в некоторых случаях) или вообще может быть уже удалено - так всё норм. А фетчить всех со всех это надёжно. Вот сделаю себе адаптивный фетч и буду опрашивать всех чаще, чем раз в полчаса (кстати если бы с ноды blcat фетчил не только я, а и другие ноды, то сообщение на которой отвечал revoltech могло бы всплыть в сети и пораньше).

> фидо было популярно только на русском языке. на остальных скорее мертво, чем живо

Да ну конечно - фидо в штатах же родилось и до сих пор как-то шевелится, хоть и по IP.
И левонеты кстати некоторые до сих пор существуют - я вопрос немного поизучал пару-тройку лет назад...

> жди моего ответа, когда хаос его польнет :)

шаос :)

это мой неизменный интернетовский ник с 1998 года...

Я говорю про популярность. Будучи уже нодой, я был подписан на разные мировые эхи и знаю, какой там был трафик. idec.test по сравнению с этим это твиттер.

Всё равно все фетчат все ведёт к перемешке, хотя, конечно, если пойнт отвечает на той же станции, что и забирает, то кроме случаев сбоев и удалений там по определению есть сообщение, на которую отвечает.

Для подобных вещей в elp и bosfor был тэг topicid
http://blcat.ru:15555/m/53NZLKKTR2OS6NVZZP5W

.. который содержал исходный msgid и наследовался при каждом ответе. То есть, даже при выпадении сегмента, включая исходное сообщение, цепочку можно было восстановить. Я ОЧЕНЬ жалею, что не догадался вставить topicid в изначальный ii. Вообще, я очень долго думал и решал, и решил окончательно - в 0.7 я буду вставлять topicid в сообщения. Хоть это и будет касаться только сообщений, созданных на моей станции, ну хоть в чём-то археологи будущего будут мне благодарны. :)

да я заметил, когда отправил. но что написано в ii, не вырубишь топором :) я не на своей станции это писал :)

фишка в том что возможность неполных эх и обязательности стартового сообщения невозможны в одной сети, это противоположные понятия.

> Я говорю про популярность. Будучи уже нодой, я был подписан на разные мировые эхи и знаю, какой там был трафик

В каком году это было? Всемирный пик фидо был в 1996 году, а потом пошёл спад

Я был немножко фидошником ещё когда жил в Екатеринбурге в 1997-1998 (всё как надо с модемом и т.д.)

Потом немножко левонетчиком (ZXNet в начале нулевых) - мне не понравилось т.к. там был трешак...

> В каком году это было? Всемирный пик фидо был в 1996 году, а потом пошёл спад

не помню, 2000 или 2001. не важно, суть в том, что и узлов, и контента у нас было суммарно больше, чем во всём остальном мире, вместе взятом

Это я в том смысле, что по ex-USSR оно с запозданием прошлось, когда во всём остальном мире уже был спад...

ну фидо в СССР ещё появилось. я про то, что суммарное количество узлов, трафика, популярности у нас и где-то ещё несравнимо. пни любого лоровца любого возраста и скажи FIDO и он поймёт о чём речь. А у вас в Калифорнии поймёт?

Ну в начале нулевых наверное

Ну так как FidoNet родилось в Сан-Франциско, то наверное в Калифорнии можно найти тех, кто помнит :)
Да даже тех кто до сих пор там сидит тоже можно найти ;)

> И кстати у меня ведь теперь есть ii://spnet.uplink где можно это обсуждать :)

Чото похоже ты у меня не забираешь обратно spnet.uplink т.к. у тебя всё ещё там 2 сообщения...

Там "можно найти". А тут "пни любого лоровца", разная степень популярности.

hugeping> У меня появилась ГИПОТЕЗА.
hugeping>
hugeping> 1) revoltech фетчит себе куда-то локально эхи из разных мест
hugeping> 2) revoltech сфетчил сообщение ahamai с ноды blcat
hugeping> 3) revoltech формирует в своём клиенте ответ на сообщение и отправляет его spnet. reply указывает на сообщение с blcat
hugeping> 4) spnet НЕ ПРОВЕРЯЕТ reply вообще и берет это сообщение (считаю, должен был отбросить)
hugeping> 5) ЗАТЕМ spnet забирает сообщение на которое был ответ с blcat
hugeping>
hugeping> Это всё объясняет. revoltech? shaos? я прав?

Да, всё так. Но это не должно быть проблемой вообще, как по мне. Там же AL объяснял уже: как прилетают в базу, так и прилетают, а упорядочивать — это уже задача клиента. Так что я в своей ноде такую проверку тоже делать не буду.

ahamai>> да, разумеется. клиентов сейчас нет.
revoltech> Так это следствие мною указанного неосиляторства.

Ни один из существующих клиентов меня не устраивает (на тикле не пробовал, он же ещё не готов?). В планах есть попробовать написать клиент, аналогичный какому-нибудь aerc или newsboat, так как caesium на мой скромный зумерский вкус не очень. Не застал я FIDO, видел его только через webBBS - https://wfido.ru/ .

Однако чтобы такой клиент сделать нормально, нужно писать его на каком-нибудь C/Go/Rust и т.п. А я только python хорошо знаю, тыкался в C и Go только чуть-чуть. Поэтому планы остаются пока в мечтах.

Остаётся сидеть через веб ii-go.

tuple> Ни один из существующих клиентов меня не устраивает
tuple> Остаётся сидеть через веб ii-go.

С помощью ii-tool из состава ii-go ты можешь забирать и отправлять письма. И в принципе, даже смотреть. Так что остаётся только набрать сообщение в каком-то текстовом редакторе. Ну или написать обёртку - визуализатор всего этого дела.

Что то подобное представляет из себя mu4e например (надстройка над mu утилитой).

tuple>> Ни один из существующих клиентов меня не устраивает
tuple>> Остаётся сидеть через веб ii-go.
hugeping> С помощью ii-tool из состава ii-go ты можешь забирать и отправлять письма. И в принципе, даже смотреть. Так что остаётся только набрать сообщение в каком-то текстовом редакторе. Ну или написать обёртку - визуализатор всего этого дела.
hugeping> Что то подобное представляет из себя mu4e например (надстройка над mu утилитой).

Я планировал так сделать. Поэтому хочу написать конвертер для всех форматов в которых только можно хранить эху (txt, aio, ait, Maildir и т.д). Лучше пока написать PoC на питоне или сделать как практику для изучения C++?

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

doesnm> Я планировал так сделать. Поэтому хочу написать конвертер для всех форматов в которых только можно хранить эху (txt, aio, ait, Maildir и т.д). Лучше пока написать PoC на питоне или сделать как практику для изучения C++?

Вскрылась проблема: в mat сообщения разделяются новой строкой, а само сообщение символом 15. Но походу содержимое сообщений содержит новую строку и скрипт сходит с ума. Как это решить?

+++ Никто не знает, как правильно. Так зачем же выдумывать правила?

А что с таверной? Лежит уже дня 3:

Service Unavailable

The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

Apache/2.4.62 (Debian) Server at idec.spline-online.ru Port 80

У нас нет клиентов

У нас нет инфрастуктуры

У нас нет заинтересованности писать клиенты

Сейчас не 2014

shaos>> Настоящие пацаны БД на текстовых файлах держат ;)
revoltech> Да кто против-то, только не жалуйтесь на тормоза при запросе кучи эх со слайсами.

У нас столько эх нет, чтобы оно тормозило.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

Нода почти готова (на первое время будет с регистрацией вручную), но /u/push пока решил не реализовывать. У меня вообще нода от клиента структурно отличается только парой новых таблиц в скулайте, которые на клиенте не используются — для авторизации и публичного списка эх.

Существуют ли какие-то реальные юзкейсы у /u/push?

AL> У нас столько эх нет, чтобы оно тормозило.

«Нет? Будут!» © Операция Ы/Напарник

Другое дело, что при запросе именно большого количества эх в /u/e можно опять уткнуться в тот же лимит на GET-запросы, что и в /u/m. Надо бы подумать, что с этим делать. Теоретически длина имени в эхе может быть и 120 символов, дык что, максимум |8000/121| = 66 эх за раз запрашивать?

ahamai> Юпуш вообще для закидывание на 10 бесплатных хостингов и резервирования на них

А что, по старинке скрипт + файлик с базой закидывать — уже не вариант, обязательно нужно какое-то хитровыдуманное апи для этого?

Нет, я правда не понимаю, какие реальные задачи это решает.

AL> revoltech> Существуют ли какие-то реальные юзкейсы у /u/push?
AL>
AL> Да.

Борода. Какие, например?

И что должно произойти, если не у всех сообщений в бандле будет то же самое имя эхи, что и в поле echoarea? Зачем там это поле вообще нужно?

revoltech> Существуют ли какие-то реальные юзкейсы у /u/push?

Да.

+++ Лично я вижу в этом перст судьбы – шли по лесу и встретили программиста.

AL> Например, узел в изолированной сети без внешнего адреса.

Если сеть действительно изолирована, оттуда и пуш не пройдёт. В противном случае gsocket, zerotier и прочее решают.

AL> А где в бандле имя эхи, если не в поле сообщений?

В каждом сообщении в одном из полей (строчка номер два) есть имя эхи. Что произойдёт, если в поле echoarea в POST /u/push будет указана не та эха, что в теле сообщения в бандле? Что должно произойти?

1) Такое сообщение отбросится?
2) Содержимое поля echoarea в POST-запросе проигнорируется?
3) Сообщение перепостится и туда, и туда?