AL> docs/formats.md кратенько так описывает всё это дело.

Спасибо, прочитал. Вот это уже другое дело. Правда, для уточнения кое-каких моментов всё же придётся мне порыться в исходниках.

Заказал себе простенький VPS-сервер на дебиане. Первая 64-битная машина, с которой имею дело ;)

В общем, попробую экспортировать базу данных и перенести весь сайт целиком.

С репозиториями дебиана, увы, придётся распрощаться из-за недостатка места. А насчёт хранилища MLP у меня есть идея получше.

Когда Андрею делать нечего, он костыли лепит.

Встречайте! Новый формат базы сообщений ait (all in two) =) Представляет собой симбиоз базы aio и индекса txt. За счёт этого сохранят удобство и скорость "прочёсывания" формата aio и скорость построения индекса txt.

Так же полностью упразднены фетчер и сендер. Их роль теперь может исполнять мейлер с помощью параметров fetchonly и sendonly. Так же мейлер теперь один и использует апи для того или иного формата базы.

Цезий умеет передавать информацию о формате базы мейлеру. Теперь достаточно изменить только один параметр в умолчальном конфиге для переезда на тот или иной формат базы.

// Написать поддержку x/file или интерфейс для подписок было бы более трудоёмко и посему я пока не берусь за это. Предпослений семестр адов =)

Зашёл ради интереса на сабж и приятно удивился. Вот такой дизайн гораздо лучше предыдущего. Тем более, в стиле Solarized.

vit01>> 3. Есть 3 вида лжи: ложь, наглая ложь и статистика

AL> В данном случае это не та статистика, которая ложь. Тем более, что никто не делает никаких выводов из неё.
AL> На самом деле неплохой результат. Я думал будет хуже.

Вот сам же и сделал из неё вывод :)
Для реальной картины надо брать промежуток 1 месяц, но не всё время.

То высказывание про статистику было вообще в шутку.

Для нашего маленького сообщества не так уж и мало нафлудили =)

vit01>> Для реальной картины надо брать промежуток 1 месяц, но не всё время.

AL> А как, если не всё время? Или ты имеешь в виду охватывать не всё время существования сети?

Второе. Чтобы делать высказывания уровня "мы не так уж плохо общаемся", нужно брать небольшие и недавние промежутки. Например, месяц или 2-3 недели.

Ну а полная статистика отвечает на вопросы:
1. Сколько строк должно быть в таблице БД архива
2. Кто самый большой болтун
3. Кто меняет имена поинтов, а кто нет
4. Какие эхи перекатывают, а какие держат так

Вот у роботов разброса в активности почти не наблюдается (за исключением мёртвых эх), поэтому для них можно давать более-менее адекватную оценку.

vit01> Второе. Чтобы делать высказывания уровня "мы не так уж плохо общаемся", нужно брать небольшие и недавние промежутки. Например, месяц или 2-3 недели.

ii://ii.stat содержит еженедельную статистику, если что.

AL> Не так уж и плохо у нас всё =)
Около 20 человеко-сообщений в день в среднем - капля в море. Тем более, оно держится за счёт 2014 года и болталок.

Выводы:
1. Главный флудер всех времён - Рома. Догнать и перегнать его будет сложно ещё несколько месяцев минимум.
2. Самое потрясное имя поинта - <script>alert('xss');<
3. Есть 3 вида лжи: ложь, наглая ложь и статистика

Сабж уже почти две недели работает на новом сервере, но сегодня вдруг оказалось, что "отключение канала откладывается, так что ещё месяц-другой пользуйся; а может быть мы вообще отключать его не будем".

Станцию я на старый сервер заново ставить не буду, поэтому надо будет его под что-нибудь другое приспособить. Например, те же торренты и виртуалки.

// далее следовало бы в linux.14
Недавно загнал туда QEMU (+KVM) в связке с Windows XP. На всякий случай, ибо может пригодиться. Есть какие-нибудь идеи насчёт этого? Есть смысл туда эмулятор андроида установить, правда сомневаюсь, что на двух гигах хост-ОЗУ он тормозить не будет.

AL>> В данном случае это не та статистика, которая ложь. Тем более, что никто не делает никаких выводов из неё.
AL>> На самом деле неплохой результат. Я думал будет хуже.
vit01> Вот сам же и сделал из неё вывод :)

То не вывод, а оценка же =)

vit01> Для реальной картины надо брать промежуток 1 месяц, но не всё время.

А как, если не всё время? Или ты имеешь в виду охватывать не всё время существования сети?

vit01> То высказывание про статистику было вообще в шутку.

Дык отож.

AL>> Не так уж и плохо у нас всё =)
vit01> Около 20 человеко-сообщений в день в среднем - капля в море. Тем более, оно держится за счёт 2014 года и болталок.

На самом деле неплохой результат. Я думал будет хуже. Если интересно, могу статистику хоть по месяцам, хоть по годам раскидать и выложить куда-нить. Понятно, что у нас сейчас затишье, но я плохой привлекун в сравнении с Ромой и новые поинты у меня не задерживаются.

vit01> Выводы:
vit01> 1. Главный флудер всех времён - Рома. Догнать и перегнать его будет сложно ещё несколько месяцев минимум.

Рома он да. Тот ещё флудераст. Правда по мне, так его сообщения можно надвое делить, так как был и откровенный бред и обсуждение не очень для меня интересных вещей. Ну и драма, конечно.

vit01> 2. Самое потрясное имя поинта - <script>alert('xss');<

Я помню его на 51t. Точнее, деятеля, зарегавшего этот поинт. Он тогда проверял ii-0.3 на уязвимости.

vit01> 3. Есть 3 вида лжи: ложь, наглая ложь и статистика

В данном случае это не та статистика, которая ложь. Тем более, что никто не делает никаких выводов из неё.

AL>> ii://ii.stat содержит еженедельную статистику, если что.
vit01> Уже давно на неё подписан.

Дык и вот. А тут просто собрал всё в кучу. Показалось занятно. Решил поделиться.

vit01> Кстати, а почему ты этот еженедельный скрипт вручную запускаешь, а не запишешь его в Cron?

Потому что я ленивая жопа и мне до сих пор лень прикручивать тоссер к аналайзеру.

AL>> В сабже пошли странные дубли.
vit01> Можно поконкретнее? Желательно с указанием msgid и/или заголовка новости.

А вот блин же. Это у меня дубли. Причём на клиентской стороне. Видимо, ночные косяки с нодой дают о себе знать.

AL> ii://ii.stat содержит еженедельную статистику, если что.

Уже давно на неё подписан. Кстати, а почему ты этот еженедельный скрипт вручную запускаешь, а не запишешь его в Cron?

vit01>> Кстати, а почему ты этот еженедельный скрипт вручную запускаешь, а не запишешь его в Cron?

AL> Потому что я ленивая жопа и мне до сих пор лень прикручивать тоссер к аналайзеру.

Взять sender.py из ii-db-utils, написать один баш-скрипт и поправить crontab. Чего может быть проще? :)

AL> В сабже пошли странные дубли.

Можно поконкретнее? Желательно с указанием msgid и/или заголовка новости.

AL>> Потому что я ленивая жопа и мне до сих пор лень прикручивать тоссер к аналайзеру.
vit01> Взять sender.py из ii-db-utils, написать один баш-скрипт и поправить crontab. Чего может быть проще? :)

Мне не трудно. Мне лениво =)

Вообще, надо бы автоматизировать ага.

Сегодня случился какой-то неизвестный сбой на сабже. Сейчас всё вроде работает как надо, но подробностей не знаю пока.

В сабже пошли странные дубли.

vit01> Прикольные рассказы, правда, как и вся крипота, шаблонные донельзя.

Именно поэтому я уже давно не ищу оригинальных сюжетов. Но вот подача бывает очень хорошей. А в якутских этих историях есть что-то этакое, что зацепило.

Чёт сабж случился =)

AL> Зато теперь всё в порядке :)

Хотя нет. Только что при фетчинге этого сообщения он мне сообщил, что получил 0 сообщений. Хотя скачал его.

Прикольные рассказы, правда, как и вся крипота, шаблонные донельзя.

Один мой товарищ каждое лето в Якутию ездит к родственникам. Говорит, несмотря на перепады температур, там довольно интересно. Всякими страшилками не делится. Но я б не рискнул туда отправляться, ибо за +30 уже самочувствие сильно ухудшается. Да и зимой там под -50 бывает.

Сабж. В цезии появилась возможность быстрой навигации по эхе. Теперь в режиме чтения можно нажать "L" ("T" для пользователей андроид-устройств) и открыть список сообщений с именем отправителя, темой сообщения и датой. Фичи кочуют из цезия в iing и обратно =)

Наконец-то снова завёл сабж. Как же это круто.

Так и не понял что с ним было, но в какой-то момент он перестал фетчить сообщения из некоторых эх.

Зато теперь всё в порядке :)

AL> Чёт сабж случился =)

Вроде бы хочется чего-нибудь написать, но нечего. Получаю почту ежедневно.

Мне настолько понравился цикл историй про сабж, что я не только его закинул в ii://creepy.14, но и решил здесь анонсировать. 27 историй о якутских поверьях. Не столько страшные (хотя местами весьма прохладные), сколько интересные. Ну и общая целостность доставляет почти как у Лавкрафта =)

Недостаток один, как по мне, это язык. Не то, чтобы сильно плохой, но местами присутствует неоправданная ненормативная лексика и специфичные обороты. Если же это не пугает, то рекомендую к ознакомлению.

Мелкофикс: подправил регулярку ii-ссылок, добавив туда поддержку дефиса в имени. Дабы ii://lor-opennet.17 из предыдущего сообщения нормально отображалось :)

vit01> Всё, вперёд обновляться на нормальную версию
vit01> https://ii-net.tk/ii/files/app-debug.apk

Спасибо. А то я ж лентяй и ламер. Сам то собирать не умею :) Хотя на самом деле это только из-за того, что у меня сейчас есть только дохлый нетбук и смартфон из личных вычислительных устройств.

btimofeev> Возможно просто складывается количество одинаковых сообщений из разных нод.

Да, так и есть. Клиент наивно предполагает, что ты на разных нодах подписан на разные эхи.

Подсчёт происходит по схеме /x/c (т.е. просто число у ноды запрашивает), поэтому количество именно уникальных сообщений узнать, увы, нельзя.

Это не баг, это архитектурный косяк.

// Вообще, удобнее переключаться на другую ноду только тогда, когда первая в дауне, а в остальное время держать "резервные" с выключенным фетчем

vit01> // Вообще, удобнее переключаться на другую ноду только тогда, когда первая в дауне, а в остальное время держать "резервные" с выключенным фетчем

Я у Ромы в поинтах ещё. Но там эхи другие, так что не критично. Да и нотификатором я не пользуюсь, так как у меня уведомления вызывают зуд для проверки почты.

А на тему архитектурного косяка хочу заметить, что такой подход шибко экономит трафик. Так что это не баг, а фича %)

AL>> Зато теперь всё в порядке :)

AL> Хотя нет. Только что при фетчинге этого сообщения он мне сообщил, что получил 0 сообщений. Хотя скачал его.

Чёрт. Это значит, что на сервере осталась старая версия.
Потому что этот баг Борис пофиксил уже давно, и у меня на телефоне стоит исправленная версия.

Зайду в IDE сейчас и закину актуальную сборку.

// лучше собирать с Гитхаба из сорцов, потому что свежак всегда только там

Эха просуществовала уже 2 года, и ради порядка в базе решил перекатить её в ii://lor-opennet.17

Сабж уже в архиве; боты, списки фетча и эх изменены, на irk39.tk содержимое удалено. С mira station lor-opennet.15 исчезнет дня через два.

Кстати, по-моему, еще в notification'е тоже неправильно считает. У меня показывает большее количество сообщений, чем скачивает. Возможно просто складывается количество одинаковых сообщений из разных нод. Надо будет тоже поправить.

Всё, вперёд обновляться на нормальную версию
https://ii-net.tk/ii/files/app-debug.apk

А вот тот самый коммит с фиксом бага:
https://github.com/vit1-irk/idec-mobile/commit/0810e05211e18cf68db985c0d41c6681ffe65a7b

Как видно, ещё с 7 ноября. Что ж, бывает.

AL> Почему бы не добавить поле Location для обозначения географической принадлежности сисопа? Не то чтобы это было остро необходимо, но было бы классно. Нет?

Географическое положение сисопа не равно ГП датацентра, где находится сервер. Поэтому более рационально записывать в location именно эти данные.

При обычной ситуации имеет смысл подключаться к ноде, которая ближе к твоему городу (скорость больше). В условиях же цензуры преимущество у той, которая за пределами РФ.

А знать о том, кто где живёт, нужно только для того, чтобы пьянки устраивать или морду сисопу набить :)
Эти проблемы можно и без нодлиста успешно решать.

vit01> Эха просуществовала уже 2 года, и ради порядка в базе решил перекатить её в ii://lor-opennet.17

Прокинул эху на станцию13 и таверну. Приношу извинения за задержку.

AL>> Почему бы не добавить поле Location для обозначения географической принадлежности сисопа? Не то чтобы это было остро необходимо, но было бы классно. Нет?
vit01> Географическое положение сисопа не равно ГП датацентра, где находится сервер. Поэтому более рационально записывать в location именно эти данные.

Кому какое дело, где находится датацентр узла? В современных реалиях это может быть любая страна мира и она никак не привязана ни к чему.

vit01> При обычной ситуации имеет смысл подключаться к ноде, которая ближе к твоему городу (скорость больше). В условиях же цензуры преимущество у той, которая за пределами РФ.

У меня под столом дома старый нетбук вполне справляется с необходимой для функционирования сети нагрузкой даже если ко мне ходят из ближнего зарубежья и получают не то что сектантскую почту, а качают файло на гигабайты. А для наших нужд хватило бы и коннекта на 33600 бод и даже, пожалуй, меньше бы тоже хватило =)

vit01> А знать о том, кто где живёт, нужно только для того, чтобы пьянки устраивать или морду сисопу набить :)
vit01> Эти проблемы можно и без нодлиста успешно решать.

Ну вот подключается человек к сети. Кому писать? Пишет наугад. А тут видно будет какой сисоп под боком. Это мы друг друга знаем уже почти три года, пусть и виртуально.

Когда назаказываешь себе товаров из интернет-магазинов, становится слишком влом их вручную отслеживать.
Как-то мне надоело каждый день заходить в приложение, тыкать по кнопочкам и смотреть, где там находятся посылки.

Поэтому решил написать бота, который будет это делать без участия человеков.

Лежит здесь: https://github.com/vit1-irk/idec-post-tracker

Используется API сервисов 17track и global.cainiao.com
Нужный сайт можно указать для каждого трек-номера в отдельности. Если для первого не сработал, то второй должен точно подойти.

Надеюсь, кому-нибудь пригодится.

У меня какой-то странный баг случился. В один прекрасный момент клиент просто перестал скачивать сообщения. В логе писал одну строку fetch ..., затем одну строку removed pipe.2032 и потом сразу получено сообщений 0. Хотя при этом приходили уведомления, что есть новые сообщения. Так продолжалось пару дней.

Я сделал экспорт настроек, удалил данные и кэш приложения, затем импортировал настройки. Теперь если в эхе нет новых сообщений, то приложение не скачивает ничего, если в эхе появляется новое сообщение приложение скачивает сразу по 2-3 тысячи последних сообщений.

У меня буквально два дня назад случился тот же баг с removed pipe.2032
Но так как это произошло после обновления на Android 7.1, я списал сначала это на новое API. Кстати, это вполне даже может быть серверная ошибка, а не клиента.

Временное решение - отключить /x/c
Исправлять точно буду, ибо важно.

А как бороться с тем что клиент качает по несколько тысяч сообщений? Я вот опять обрезал эху до 50 штук, в эту эху пришло новое сообщение и клиент скачал после этого ~1500.

Хочу вынести на всеобщее обсуждение сабж. Почему бы не добавить поле Location для обозначения географической принадлежности сисопа? Не то чтобы это было остро необходимо, но было бы классно. Нет?

vit01>> Ладно, допустим. Но это была единственная объективная причина указывать координаты. Ну, если постоянно что-то скачивать и загружать сервер по полной сообщениями.

AL> До таких объёмов нам как до Китая пешком. Когда это нода вдруг стала ориентироваться на высоконагруженные системы?

Никогда ещё не стала. Получается, что если скорость трафика и обслуживания для ноды из любого города практически не меняется, то информация о координатах станций в равной степени бесполезна. Минус один вариант.

А насчёт сисопов и людей высказался выше.

AL>> Хотя по сути мы сеть анархическая. Без чёткой структуры и обвеса кучи правил. И это прекрасно.
AL>> Вести поинт-листы.
vit01> Давай тогда формат для поинтлистов
vit01> Предлагаю что-то вроде образца about.users.51, например:

Много лишней информации.

{
"point": "12309",
"realname": "Vasiliy Pupkin".
"location": "Moscow",
"contact": ["tel:1234567890", "mailto:example@domain.com", "https://github.com/XXX", "https://example.com"]
}

Более, чем достаточно. И взять уже существующую практику: поинтлист от ноды поинткиперу, а он уже компилирует.

То есть сделлать что-то вроде

{
"node": "tavern",
"points": {
...
}
}

и потом компилировать это добро уже в глобальный поинтлист.

AL> У меня под столом дома старый нетбук вполне справляется с необходимой для функционирования сети нагрузкой даже если ко мне ходят из ближнего зарубежья и получают не то что сектантскую почту, а качают файло на гигабайты.

Ладно, допустим. Но это была единственная объективная причина указывать координаты. Ну, если постоянно что-то скачивать и загружать сервер по полной сообщениями.

AL> Ну вот подключается человек к сети. Кому писать? Пишет наугад. А тут видно будет какой сисоп под боком.

Писать он будет просто в эху. Например, анекдоты заценить, или по GNU/Linux вопрос задать, или опытом поделиться.
Какая человеку разница, в каком городе живёшь конкретно ты или я? В гости ходить что ли или на флешке почту бандлами таскать? Может быть, устраивать сисоповки и поить нас пивом по традициям фидо? ;) Кому это нафиг сдалось?

Население Курганской и Иркутской областей вместе взятых составляет 2,24% от всего в РФ, судя по Википедии. Вероятность встретить кого-нибудь из твоего же города ещё меньше (ибо не все живут в областном центре). Если взять Дениса с Минском, то у него под 20%, но тут тоже не так много. Поэтому шанс на близкое расположение новопоинтов в любом случае крайне мал.

vit01>> Писать он будет просто в эху. Например, анекдоты заценить, или по GNU/Linux вопрос задать, или опытом поделиться.
AL> Писать в эху для подключения к сети? Это мы кареху с распределением базы придумали чтоль? =)

Для подключения к сети надо же сисопу на емейл писать. А какая разница для случайного Васи, кого из нас двоих выбрать? Если убрать различия в вебморде и в серверах, конечно.
Или человек вдруг резко поменяет станцию, когда узнает, что живёт в одном городе с одним из нас?

Сисоп у нас вообще понятие фиктивное. Почему? Потому что хостинг нынче можно приобрести за 100 рублей в месяц, а то и вообще бесплатно. Поднять свою станцию новичок может за час, не больше (а старожилы вроде меня и тебя справятся с этим за 15 минут). Принципиально разница между мной и Борисом, например, лишь в том, что я здесь с 2014 года сижу, вот и всё.

vit01>> Какая человеку разница, в каком городе живёшь конкретно ты или я? В гости ходить что ли или на флешке почту бандлами таскать? Может быть, устраивать сисоповки и поить нас пивом по традициям фидо? ;) Кому это нафиг сдалось?

AL> Я понимаю, что нынче всем пофиг. Люди стесняются реалнеймов, боятся засветить личную информацию и вот это вот всё. Некоторые (как я, например) прикрывают это паранойей.

Нет, не совсем. Взять, к примеру, социальные сети. Там люди часто публикуют настоящую информацию, иногда с точностью даже до дома. Но, думаю, мало у кого возникнет вообще желание общаться вживую со своими сетевыми знакомыми, пусть даже вы живёте на соседних улицах.
Если конечно, вы свидание не решите устроить или тематическую вечеринку, посвящённую крипоте, линуксу и рогаликам. Но тогда не надо делать исключение только для держателей нод. Пусть все желающие публикуются в списках.

Моя позиция кратко: либо свои города записывают все поголовно, либо вообще никто. В наших реалиях сисоп и поинт по сути своей не отличаются.

AL>> У меня под столом дома старый нетбук вполне справляется с необходимой для функционирования сети нагрузкой даже если ко мне ходят из ближнего зарубежья и получают не то что сектантскую почту, а качают файло на гигабайты.
vit01> Ладно, допустим. Но это была единственная объективная причина указывать координаты. Ну, если постоянно что-то скачивать и загружать сервер по полной сообщениями.

До таких объёмов нам как до Китая пешком. Когда это нода вдруг стала ориентироваться на высоконагруженные системы?

AL>> Ну вот подключается человек к сети. Кому писать? Пишет наугад. А тут видно будет какой сисоп под боком.
vit01> Писать он будет просто в эху. Например, анекдоты заценить, или по GNU/Linux вопрос задать, или опытом поделиться.

Писать в эху для подключения к сети? Это мы кареху с распределением базы придумали чтоль? =)

vit01> Какая человеку разница, в каком городе живёшь конкретно ты или я? В гости ходить что ли или на флешке почту бандлами таскать? Может быть, устраивать сисоповки и поить нас пивом по традициям фидо? ;) Кому это нафиг сдалось?

Я понимаю, что нынче всем пофиг. Люди стесняются реалнеймов, боятся засветить личную информацию и вот это вот всё. Некоторые (как я, например) прикрывают это паранойей. Но паранойя на то и паранойя, что бесполезна. Сетевой профиль создаётся очень легко и просто, если кому приспичит.

vit01> Население Курганской и Иркутской областей вместе взятых составляет 2,24% от всего в РФ, судя по Википедии. Вероятность встретить кого-нибудь из твоего же города ещё меньше (ибо не все живут в областном центре). Если взять Дениса с Минском, то у него под 20%, но тут тоже не так много. Поэтому шанс на близкое расположение новопоинтов в любом случае крайне мал.

На вырост же %)

btimofeev> А как бороться с тем что клиент качает по несколько тысяч сообщений? Я вот опять обрезал эху до 50 штук, в эту эху пришло новое сообщение и клиент скачал после этого ~1500.

Сними галку "Качать индекс дальше, если все сообщения новые". Или поставь принудительную обрезку индекса.

Вообще, это очень странный баг, даже нет идей, что это есть такое. Отладчиком в IDE можешь воспользоваться?