vit01> В сабже баг. Если очистить эхоконференцию на определённое количество сообщений (с помощью clean.py из состава idec-utils), то при заходе в эху через клиент происходит падение.

Такое поведение было когда индекс укорачивался на одно сообщение и я его даже пофиксил примерно тогда же, когда clean.py написал, но забыл закоммитить. Вроде поправил, в общем.

vit01> Убрано много дублирований кода

Можешь показать где? А то я тот ещё быдлокодер =)

vit01> Скрипты для статистики были сначала сильно сокращены и упрощены (например, эхи вводятся из stdin, а не через конфиг), затем вовсе слиты воедино. Теперь через параметр указывается, какую статистику хочется. Например, -t points или -t echoareas.

Вот про конфиг это зря. ИМХО, конечно.

vit01> 2016.05.09 => 2016.05.17

Я традиционно больше всего пишу в creepy.14 и иногда в lit.14. Смотри ii://ii.stat. А в последнее время шибко вывалился в реал. На работе свободного времени почти нет нынче, а дома за комп не сажусь.

vit01> Есть несколько вариантов для многосерверного клиента:
vit01> 1. Расширить формат исходящего сообщения, прописывая станцию (и, может быть, authstr) прямо внутри сообщения
vit01> 2. Использовать названия нод и раскидывать сообщения изначально по разным каталогам
vit01> 3. Создать отдельный файл, куда прописывать, что на какую станцию и с каким паролем слать
vit01> 4. Вариант 3, но с отличиями (отмечать назначение не для каждого сообщения отдельно, а распределять их по своим станциям)

vit01> И почему для Цезия ты выбрал именно №2 ?

Мне этот вариант кажется наиболее оптимальным с точки зрения отношения затраченных сил к результату. Кстати, пока что в цезии вообще это всё сломано нафиг.

Прошу прощения за сабж. Как-то замотало меня. Тем не менее, я вернулся и даже залил удручающую статистику за прошлую неделю.

Поставил цезий на смартфон. Теперь
буду здесь чаще. А то до компа так
и не добираюсь каждый день.

Спасибо Виктору за рецепт и патч.

Приложи эту инструкцию к пулл-реквесту. Чтоб было в отдельном ридми.

vit01> Круто. Теперь будет ещё повод написать скрипт для уведомлений, чтобы сабж сам почту проверял. Всё на днях думаю сделать, да откладываю.

Пулл-реквест видел, но пока не пробовал. Как попробую, так смержу.

vit01> А по самому андроиду спрашивай совета, если что; способы выживания на этой необычной платформе весьма неочевидны.

По большей части он мои скромные потребности перекрывает. Осталось только SBCL под Termux собрать и будет полная сатисфакция. Но буду иметь в виду, так как после месяца пользования всё равно чувствую себя пришельцем из каменного века :)

vit01> Уже давно приложил. До сих пор не проверял реквест?

Извини, но да. Сейчас без задних ног валяюсь с ноутом на пузе и так лень думать и пробовать. На днях обязательно попробую и смержу.

Что-то на работе ныне жесть полнейшая. Прямо не продохнуть. А ещё инстедоз этот замыслил за каким-то лешим.

vit01> Перенёс в Git страницы https://ii-net.tk/iidownload и https://ii-net.tk/station.html

Хорошее дело. А я всё время выкроить на цезий не могу. Есть желание на sqlite перевести базу сообщений а то.

vit01> Хотя вот прямо сейчас нам не о клиентах и базах хлопотать надо на самом деле. А о том, что молчание.

Мне как-то совершенно нечего написать.

Так сложилось, что на меня в том числе свалилась работа по контролю блокировок ресурсов в интернете (а то роскомзапрет сам не справляется со своими же блокировками). Работа тупая и нудная. Страдают пока больше всех имейджборды, онлайн казино и всяческий досуг для взрослых. Хотя недавно целая плеяда сайтов иеговистов попала под раздачу, но неясно почему.

А ещё на этой неделе ездил по командировкам в составе комиссии. Проверяли состояние необслуживаемых РКП (радиоконтрольных пунктов). Не то чтобы тяжело, но ехать 5 часов и 3 часа работать не по мне. Тем более, что впятером в легковой машинке тесновато и ноги затекают сильно.

Пожалуй, это всё интересное, что со мной произошло в последний месяц. Но не за горами отпуск. Если всё сложится, как планировалось, то отпишусь про Миасс и Тургояк. И фоток положу.

vit01> Ты имеешь в виду msg ok: <msgid> или error: blablabla?

Их самых.

vit01> У нас эти самые ответы вообще в стандарт не включены. Могу, конечно, взять те, которые сейчас в PHP-ноде, но для остальных нод они могут отличаться.

Ну по доброму бы их надо стандартизировать, так как клиенты должны парсить ответ ноды. Я за образец брал ii-0.3.

Хотя не факт, что это необходимо. Подумать надо.

В документации не хватает информации о стандартных ответах ноды. Этот момент было бы неплохо уточнить, хотя и не критично.

vit01> Итак, можно смотреть в репозиторий new-docs в файл errors.md. На сайте пока не синхронизировал, потому что пока рано. Специально заглянул в сорцы ii-0.3 и своей ноды, чтобы всё это записать. Надо бы в скором времени стандартизировать записи об ошибках.

Здорово. Молодец, что пишешь документацию, а то плохо без неё было.

vit01> // А ещё у моего верного нетбука сдох разъём питания. Самому его не починить, так что придётся заказывать эту мелкую деталь отдельно и несколько дней подождать из-за отсутствия свободного времени.

Удачного ремонта =)

Вспомнил как сам в прошлом году жил практически без разъёма питания на нетбуке, а это у меня основная машинка (есть десктоп, но нетбук мне удобней). Бр-р-р.

vit01> // почему у тебя в ii.stat включена music.14? Она же в архиве давно.

Этот момент как-то мимо меня прошёл просто =)

На самом деле жалко эху, но в текущих реалиях хватит и трубы. Сегодня сниму её отовсюду.

На http://ii-net.tk/ дублируется ii://Z1rb9LRFqSlIzt94tt5k Не критично, но всё же.

vit01> Добавил в фетчер (и в GUI-конфигуратор) сабжа возможность принудительной обрезки удалённого индекса. Такую же функцию реализует Цезий, работая со старыми станциями на 0.3, которые не поддерживают расширенный /u/e

vit01> Теперь можно с уверенностью сказать, что этот фетчер умеет всё подряд. Ну, по крайней мере, все фишки с фетчем, которые мы когда-либо придумывали.

Умеет ли он клонировать эхи и есть ли возможность задавать все параметры (ноду, эхи, клонируемые эхи) через CLI? А то я подумываю не велосипедить, а прикрутить к цезию твой фетчер.

Сабж задумался. Определение смещения для расширенной схемы u/e мы можем хранить как константу (или передавать как константу в качестве параметра), а можем вычислять из результата работы схемы x/c. И всё это просто замечательно пока мы работаем с одной единственной нодой. Но если ноды две и более, то порядок сообщений в индексе у них скорее всего разный и мы можем потерять сообщения при фетчинге одной и той же эхи с разных узлов.

На стороне клиента ещё возможны костыли вида каждому аплинку по базе (хотя мне эта затея и не нравится), но на ноде мы уже так делать не можем.

В процессе раздумий на эту тему меня посещали разные идеи, но все они отметались в силу своей несостоятельности или замороченности. Пока лучше достаточно большой минимальной длины запрашиваемого индекса я не придумал. Но это всё равно достаточно мороченный вариант. Может действительно имеет смысл просто забирать индекс фиксированной длины и не заморачиваться на лютую оптимизацию трафика (что такое +- несколько десятков килобайт в наши дни?).

Что думаете на этот счёт?

2vit01: Да я могу взять твой навороченный фетчер, но мне он показался достаточно сложным (не в духе нашей сетки, так сказать). Хочется максимальной простоты а-ля изначальный ii, но с шахматами и гимназистками.

vit01> Для начала не надо мешать мух с котлетами, то есть сервера с клиентами.

Фетчинг есть фетчинг. Мечта идиота у меня - создать фетчер, который бы экономил трафик и гарантировал получение всех новых сообщений.

vit01> 1. Вычисление смещения из результата /x/c - это порочная практика. Её никто никогда не предлагал и не реализовывал.

Вот я и начинаю предлагать =)

vit01> 2. На сервере /x/c не нужен. Более того, ни один серверный фетчер его не поддерживает. Эта схема необходима только для того, чтобы клиенту не фетчить creepy.14, mlp.15 и прочие питоны, в которые пишут не больше раза в неделю. Самая частая работа /x/c - это выдать на экран надпись "новых сообщений нет".

Поверх этого вычисляем максимальное приращение в эхах у аплинка и принимаем этот результат за смещение. Теряем в трафике (например, если подписаны на ленту и забираем почту раз в день, то гарантированно получаем около 100 сообщений в индексах), но получаем всё новьё. Если запоминать количество сообщений для каждой ноды отдельно, то может получиться вполне сносно. Пока в эту сторону размшляю.

vit01> 3. Расширенный /u/e используется и там, и там. Различие лишь в том, что оптимальное значение на клиенте - это 50-100, а на сервере - немного больше. Mira station фетчит каждого аплинка со смещением 200. Уже как очень долгое время.

Эту практику я считаю приемлемой, если нас не интересует гарантированное получение всех новых сообщений.

vit01> Так и надо. Для гейтоскриптов вообще можно и не использовать кучу оптимизаций.

Гейты да. Можно хоть от 0.3 фетчер оторвать и оно будет оправдано =)

vit01> Чтобы все были счастливы, надо

vit01> 1. Делать ровно один запрос /u/e вместо того, чтобы опрашивать каждую эху

В процессе. Пока не пишу в апстрим свои эксперименты потому как лучше плохая работа, чем поломатый клиент.

vit01> 2. Добавить в Цезий поддержку /x/c, чтобы не фетчить все 40 эх из подписок, когда новые сообщения только в пайпе или в новостях (или когда их вообще нет).

Это будет, но хочу шире использовать.

vit01> Этих двух пунктов достаточно и для скорости, и для комфорта.

И для потенциальной потери сообщений. Вот именно это мне покоя не даёт.

vit01> Дальше нода1 гейтует ноду2, забирая у неё недостающие 10 сообщений (мы же не забыли, что сервера оптимизации не используют, да?). Клиент фетчит ноду1, и недостающие 10 сообщений также к нему приходят. Всё разрешилось само собой.

Я хочу оптимизацию на серверах применять %) Отсюда и наступление на грабли.

vit01> Без обид, но у тебя плохая память :)

Я знаю. Очень плохая =)

vit01> В моём фетчере эта проблема уже решена. Передаёшь параметр pervasive_ue=True, и ни одного сообщения потеряно не будет.

vit01> Алгоритм:
vit01> Запрашиваем последние -N. Если все из них новые, то запрашиваем -2N:N и так далее, подсовывая в начало.

У меня на данный момент так же точно происходит (по крайней мере при построении индекса). Фигня случается, когда одна и та же эха забирается с разных узлов. В таком случае этот подход приводит к потере сообщений из-за разного порядка сообщений на разных нодах.

vit01> А насчёт максимального приращения новых сообщений идея нравится. Но большой погоды она вряд ли сделает. В любом случае, рад буду посмотреть на рабочее решение.

Самое главное, что она решит вышеозвученную проблему. Но пока я её не реализовал.

vit01> Тогда пиши сам, какой считаешь идеальным и юниксвейным :)

Мой девиз "Велосипедостроительство и отвага" =)

vit01> И она работать пока отказывается.
vit01> https://ii-net.tk/ii/files/I7D9Pr9GzoFkojC1mSix.png

Что очень странно, так как я ей сейчас как раз и пользуюсь. Ошибка странная. С какой нодой возникает? Кинь caesium.cfg без auth.

vit01> Тогда ничего против не имею. Надо как-то лучше друг друга понимать учиться :)

Ну с формулировками у меня всю дорогу проблему. Именно поэтому по юности в фидо я молчал =)

vit01> Реализую-ка у себя тоже этот хак с /x/c, чтобы от прогресса не отставать.

Я уже написал. Осталось только запоминание x/c для разных нод реализовать, но уже сейчас фетчер просто молниеносный.

Сейчас допишу поддержку нескольких нод и подсуну этот фетчер в цезий дабы погоняю немного. Если всё нормально будет, то внедрю в апстрим.

Ещё хочу добавить возможность формировать строку вызова фетчера в конфиге. Тогда останется только чтобы фетчер умел принимать через аргументы адрес ноды, список эх для фетча и список эх для клонирования (последнее опционально).

AL> Сейчас допишу поддержку нескольких нод и подсуну этот фетчер в цезий дабы погоняю немного. Если всё нормально будет, то внедрю в апстрим.

Как и писал, получается весьма годно. Конечно, из-за того, что индекс получается одним запросом, мы получаем лишние записи в нём (в эхе 1 2 новых сообщения, а в эхе 2 - 1 и получаем индекс на обе эхи по 2 сообщения).

Ещё надо чтобы необновлённые эхи в запрос не попадали, но это вечером или завтра.

vit01> Реализую-ка у себя тоже этот хак с /x/c, чтобы от прогресса не отставать.

На пробу можно взять мою версию (непричёсана и как всегда с дублирующим кодом пока) тут http://spline-online.tk/stuff/fetcher.py можно просто подложить её цезию и она будет работать.

В первый коннект с нодой забирает индекс со смещением 200 (можно изменить значение в конфиге или через параметр). Если подписаться на новую эху, то тоже берёт смещение 200. В остальных случаях юзает этот финт с x/c.

Надо причёсывать скорее и внедрять. Можно даже 0.3 цезия под шумок выпустить. Хотя теперь я думаю на тему а действительно ли надо от цезия отделять фетчер, если остальное всё равно монолитно.

vit01> И зря. Всегда включаю дебаг, это одна из самых нужных настроек.

Новый фетчер гораздо проще по своему устройству и его можно отлаживать и так. Могу вернуть, но сперва в цезии поправлю функцию вызова фетчера и впихну команды вызова в конфиг (две, так как для клонирования придётся отделять).

vit01> Ну а так новая версия работает, большое спасибо. Теперь ждать меньше буду с мобильным интернетом.

Меня тоже радует ага.

vit01> Видимо, с самой первой, mira station. От изменения подписок ошибка не уходит. Скинул конфиг на email

Ошибку исправил. Забыл проверку на пустые строки сделать. И ещё дебаг опцию надо отключить. Лежит так же. Коммитить не буду пока. потестирую немного сперва.

vit01> Это оказалось значительно проще, чем себе представлял.

Вот да.

>> Через некоторое время были срачи по поводу нового цитирования.
gadfly>> Этого вообще понять не могу.

> Это вообще глупая и неинтересная история, которую вспоминать лишний раз жалко. Тут Андрей больше рассказать сможет (потому что это с его клиента началось), но лучше зря на больное место не наступать.

Андрей просто подумал, что было бы неплохо в цитатах помечать кого цитируют, так как не всегда можно легко и просто определить кто что сказал в процессе беседы. Как оказалось, это моё желание является неуважением к пользователям и идеологически неверно, усложняет технологию и вообще за такое мне положен пожизненный эцих с гвоздями.

Я ещё в 2014-м понял, что я средоточение мирового зла =)

> ОНО ШЕВЕЛИТСЯ

Офигеть. Иногда они возвращаются =)

>> Ну а самый последний из неприятных случаев здесь: http://ii-net.tk/ii/ii-web.php?echo=pipe.2032&page=95

> Тема такая, сложная и многогранная. Трудно не наступить кому-нибудь на мозоль.

Всю дорогу стараюсь её обходить стороной. Потому как праздник победы это хорошо. А вот во что его превратили это плохо. И ветеранов чтить надо не раз в год, а постоянно. Но это я уже на второй круг пойду, если продолжать =)

> А для чего сидим -- вопрос хороший.

Why? Why? Because! Удобно и люди хорошие.

> Я сейчас обновил цезий и он мне накачал каких-то старых сообщений, за 2014-2015 годы. И расположил их после более новых (по времени написания) сообщений. Не знаю баг ли это.

Это не баг. Просто он забрал больше сообщений, чем у тебя было в базе. С точки зрения фетчера это новые сообщения для тебя и потому он расположил их в хвосте индекса. Можешь удалить папку msg и почистить echo (оставь favorites, если там есть чего) и забрать последние сообщения в нормальном порядке.

> Новый фетчер быстро работает, вечером попробую его на работе, там интернет плохо ловит, раньше цезий по несколько минут сообщения загружал.

Отпишись как там что с узкими каналами. По факту, новый фетчер в разы меньше информации забирает с ноды. Чем реже качаешь сообщения, тем больше будет индекс и медленнее качаться будут. Зато никаких потерь в случае чего. Ещё он оптимизирует запрос индекса с ноды.

> И я всё-таки задам этот вопрос: каковы нынче цели проекта (форка)?

Цели форка были в создании удобного инструмента для обмена текстовой информацией. И по большей части они уже достигнуты. А вот цели нашей сетки хорошо выражены на http://ii-net.tk/ то есть неторопливое общение в стороне от суеты интернета.

> Пока мне всё видится неким социальным экспериментом.

Эксперимента нет. Просто общаемся.

Вынес команду вызова фетчера в конфигурационный файл. Сделано это для более простого прикручивания сторонних фетчеров и упрощения запуска на андроиде. Так как пока есть некоторые непонятки с гитхабом и роскомзапретом, то репозиторий временно переехал ко мне домой: http://spline-online.tk/gitlist/caesium.git/ В связи с моей ленью, качать можно только архивы.

В следующий понедельник я буду на Урале и скорее всего без сети. Так что сабж или задержится на неделю или, если вдруг кому не тяжело, её выложит кто-нибудь другой.

Штука не критичная, но на всякий случай решил предупредить заранее.

Сабж, товарищи. Отвалилась сессия во время обновления системы и, похоже, обновлися серверок мой очень криво. Так что до воскресения сабж. Уж простите. Перенастройте фетчеры на станцию 13.

Давно хотел написать сабжевого бота для iing, но всё руки не доходили. Сегодня дошли =)

https://github.com/spline1986/rss2idec

Для цельности проекта своего нодового комплекта написан на python3.

// Требует наличия feedparser и html2text (отучаюсь писать лисабеды).

Немного изменил интерфейс в части статусной строки. Заодно теперь отображается описание конференции в режиме чтения. Для узких терминалов (например, телефонов) теперь урезается отображаемая информация для более адекватного внешнего вида.

> При среднем пинге до rooker.ru в 3800 миллисекунд 200 сообщений загрузились примерно за 1.5 минуты.

Ну тут прироста не будет. Он после первого фетчинга проявляется. Когда фетчер начинает сравнивать статистику.

> И после этого наверху не отображается msgid. Как теперь с телефона блэклист наполнять или сослаться на какое-нибудь сообщение?

Это, как и отображение адреса отправителя будет отображаться в message box'е по хоткею, но пока просто спрятано да.

> // надо бы доработать набор патчей, т.к. некоторое уже неактуально; напишу, как сделаю

Надо там многое перелопатить да. Но пока до задуманного функционала то руки не доходят. Например, до сих пор подписки только через правку конфига и всё такое.

На самом деле просто лень писать всё это дело =)

На всякий случай продублировал архив Виктора в виде бандлов.

http://spline-online.tk/ii_archive/

>О нет! Только не Awesome Font! Есть пользователи браузеров, которые принудительно ставят свой собственный шрифт на все страницы, и сайты перестают нормально отображаться. Нехорошо.

Но не картинки же туда пихать. Это ещё хуже. А простые надписи по нынешним меркам слишком уж невзрачно будут смотреться. Что поделать? Дань времени.

>Проверю утром на конфигурациях без cookie

Самое вкусное без печенек не взлетит. Я об отслеживании новых сообщений.

В таверне случился сабж. Посмотреть можно как всегда по адресу http://idec.spline-online.tk/

Что же нового, кроме смены цветов и главной?

1. Чтение конференций теперь напоминает реализацию в цезии. По одному сообщению на страницу (посмотрю как оно будет выглядеть на медленном интернете, но вообще странички легковесные, а awesome-font кешируется.

2. На главной есть панель со списком конференций. При первом посещении нода прописывает в куки браузеру последние сообщения из каждой и при появлении новых сообщений, подкрашивает соответствующие ссылки на панели и отображает количество новых сообщений. Чуть позже я хочу добавить возможность скрывать конференции. Что-то вроде механизма подписок в php-ноде.

Прошу как всегда потыкать в это дело и сообщить о багах.

> Сабж, товарищи. Отвалилась сессия во время обновления системы и, похоже, обновлися серверок мой очень криво. Так что до воскресения сабж. Уж простите. Перенастройте фетчеры на станцию 13.

Работа таверны возобновлена.

vit01> А какие у тебя планы по Цезию? (если исключить sqlite и автоподписки).

Все возможные настройки в интерфейсе, парсер ссылок (как внешних, так и ii), который бы позволял вызывать меню найденных в сообщении ссылок и открывать их оттуда. Последнее как раз решит проблему длинных ссылок. Так же хочется разбить цветовые схемы на большее количество составляющих. Ну и рефакторинг с оптимизацией провести. Это из текущего туду. Может, я что-нибудь и забыл туда занести, так как идеи зачастую в самых неудобных для записи местах приходят и не всегда удаётся удержать их в голове.

В сабже появился скрипт aio_stat.py. Полный аналог stat.py для aio-базы.

> P.S.: Кто мне скажет почему при этой фиче существенно возрастает время выхода из эхи?

Уже не надою Пофиксил.

> А давайте устроим чистку по чёрным спискам!
> Blacklist.txt на Mira Station, например, уже разжирел. Но в одиночку чистить боюсь, потому что могут налететь с других станций сообщения.

Блин. У меня от твоего blacklist.txt станция13 чуть ласты не склеила =) Надо бы её обновить. А то фиг знает какой давности там всё.