продолжение:

каких-то механизмов для пуша - нет. также - где-то отмечать, какие последние на какую-ноду отправились, создавать точно такие-же бандлы, и их пушить с заданной периодичностью, дубли тоссер просто отбрасывает.

суть в том, что на каждой ноде (или пойнте) может быть разный порядок сообщений, но одинаковое общее содержание эх

у отдельной эхи нет ничего, что можно было бы назвать "мастер-веткой"?

> у отдельной эхи нет ничего, что можно было бы назвать "мастер-веткой"?

чего нет у отдельной эхи?

это я по аналогии с гитом.
ладно, проехали, это я глупость сказал.

Видится мне в этом грядущая проблема с длинными эхами. В поиске диффа между эхами на разных нодах, например.

длинная эха - это сколько? не думаю, что даже 100 тыс сообщений - это проблема

и я не думаю, что будут эхи по 100 тыс сообщений. большие эхи надо делить, или тематикой, или номером (делить на месяцы, на дни, на индексы, чтобы оставлять в эхах только актуальную информацию, а не полное собрание сочинений - для этого ОБЯЗАТЕЛЬНЫЕ номера и нужны.

а вообще - межнодовый обмен пока только в абстракциях. мне интересно было сделать готовую реализацию, чтобы реальные проблемы испытывать практически, а не теоретически. :)

>большие эхи надо делить
как их предполагается делить "на лету"? И на ком будет за это отвечать - тоссер?

> мне интересно было сделать готовую реализацию, чтобы реальные проблемы испытывать практически
на мой взгляд, довольно спорно. Некоторые проблемы могут проявиться только на больших объемах данных.

> как их предполагается делить "на лету"? И на ком будет за это отвечать - тоссер?

юзеры. пишут, пишут, потом бах - а пойдёмте все в эху "новый префикс"

а старую куда-нибудь на заморозку, технически или юридически.

ты сейчас можешь создать эху ii.dev.2015, просто написав в неё. впоследствии такие вольности будут только у нодов.

> на мой взгляд, довольно спорно. Некоторые проблемы могут проявиться только на больших объемах данных.

ну, после спам-атаки нормально было, куча эх с 3500 сообщений. не вижу целесообразности плодить такие эхи - эхи "болталки", которые оканчиваются на im.ЧИСЛО можно вообще хоть каждый день менять. а в эхах обсуждалках - много писем не наберётся, особенно, если их разделять ещё и тематически.

скажу прямо - то, что я тут собрал, мне нравится. недостатков полно, но примерно то, что я ожидал, я и получил. текущая сеть - тестовый полигон, развивать сеть я, ввиду полнейшей потери концентрации, не смогу, наверное, а вот развивать потихоньку технологию - буду.

> юзеры. пишут, пишут, потом бах - а пойдёмте все в эху "новый префикс"
постфикс, ты хотел сказать.
в этом меня смущает следующий момент - нод-опам придется постоянно обновлять списки обрабатываемых эх. следовательно, на мой взгляд, нужны какие-то методы их автообновления, замены старых эх новыми.

> то, что я тут собрал, мне нравится
мне нравится общая идея, но не очень нравится реализация.
и вот как раз в тему - какой ты видишь модель распространения изменений(новых сообщений)? я не был в фидо, так что могу не знать чего-то, что тебе кажется очевидным и общеизвестным.
так вот, я вижу навскидку два основных варианта, назовем их "каскад" и "меш".
"каскад" - организованный вариант: для каждой эхи есть группа нод N1, N2, ..., NK, которые можно назвать корневыми. ноды второго уровня, например, N11 и N21, которые знают, что эту эху нужно и пуллить, и пушить в/из N1 и N2 соответственно. ноды третьего уровня делают аналогичное с нодами второго уровня, etc.
то есть, для каждой эхи нода, кроме корневой, знает, куда пушить и откуда пуллить новые сообщения, а корневые ноды объединены в пуш- или пулл-кольцо. в этом случае достаточно легко минимизировать траффик внутри сети.

"меш" - хаотичный вариант. каждой ноде для отдельной эхи известно несколько нод с различным доступом(только пуш, только пулл, оба), синхронизация производится согласно этим данным, без какой-либо логики и синхронизации.
как оптимизировать такой вариант я не смог пока придумать даже в общих чертах.

> постфикс, ты хотел сказать.

такого слова я даже не знал, знал преффикс, суффикс, корень и окончание :) значит, постфикс.

> в этом меня смущает следующий момент - нод-опам придется постоянно обновлять списки обрабатываемых эх. следовательно, на мой взгляд, нужны какие-то методы их автообновления, замены старых эх новыми.

ну, мы всё-таки не в фидо, поэтому бон особо не нужен. эхи могут менять сами юзеры, и просто переподписываться. да, будет list.txt, который будет раздаваться с каждой ноды (всё забываю прикрутить), и в веб-интерфейсах будет только ограниченный список эх. а так - юзеры перебежали - немного кросспостят, немного призывают всех в новую, немного держат паралелльно обе, потом забывают старую, и она метится, как архивная.

а у тех, кто вне "бонных" эх - могут быть вообще свои порядки :)

> мне нравится общая идея, но не очень нравится реализация.

мне не совсем нравится, как оно работает, но мне нравится, что оно работает, и мне нравится, что оно очень простое. хотя всегда хочется ещё проще :)

> и вот как раз в тему - какой ты видишь модель распространения изменений(новых сообщений)? я не был в фидо, так что могу не знать чего-то, что тебе кажется очевидным и общеизвестным.

в фидо не могли все коннектиться к любому узлу, а в интернете - все. поэтому топология фидо особо не нужна. да и то, в оконцове все висели на двух крупных московских аплинках, дёргая их по ip.

у меня в своё время было вообще два аплинка.

> так вот, я вижу навскидку два основных варианта, назовем их "каскад" и "меш".

прочёл, но не совсем понял.

Этот анекдот будет понятен только тем, кто помнит фидо и рекламу 90-х, но я его всё-таки расскажу:

Зима. Снежная пустыня. Около проруби сидит бородатый мужик с надписью на тулупе "ФИДО - рулез" и напряженно думает.
Неожиданно снег взлетает комьями и из-подо льда высовывается страусиная голова:
- Хаба-хаба!
Мужик медленно поворачивает голову и произносит:
- Ну вот, так уж сразу тебе и хаба?


У моей сети точно всё просто. Каждый нод договаривается со мной, как, каким образом, как часто и по каким эхам ему обмениваться. И мы обмениваемся.

Потом, если трафика будет слишком много, ты берёшь самого крупного и уважаемого ноду, заглядываешь ему в глаза и говоришь "Гиви, мы с тобой давно знакомы...". И вешаешь часть нодов на него.

Кроме того, каждый нод может наладить взаимодействие с кем угодно - просто он всегда отвечает за своих аплинков, а что на его узле творится - это его личное дело, и делается как бы от его имени.


Тем более, у нас нет "проблемы аутбаунда", когда на мёртвых линков мёртвым грузом копится почта. Бери, сколько хочешь! Поэтому можно делать не по-фидошному, а по-простому. Можно хоть всех нодов на меня повесить, это не вопрос.