Тогда проблемы, наверное, на моей стороне. Но этот баг точно появляется, 100%.

Третья и четвёртая книги Гаттера добавлены в офлайнизатор. "Полдела сделано"

Теперь нужно что-то научно-популярное, про postgresql, про django, про openbsd, про старые игрушки.

Кроме того, по openbsd готовится к выпуску "распредпортал", позволяющий офлайнизировать целые наборы, включая html, textile-разметку и медиафайлы (намеренно несовместимый с ii, хотя проблем сделать это зачем-то совместимым - нет)

Ааа, ложная тревога! Настроил режим энергосбережения в телефоне так, чтобы не убивались фоновые приложения - всё работает. Извиняюсь.

> "кружок openbsd"

http://51t.ru/o/openbsd - are you sure? Если там и не должно быть ничего, ИМХО, лучше ссылку и не размещать. Потому что НИКТО второй раз по ссылке, давшей 404, не пойдёт. :)

Добавил ui файлы для сабж-интерфейса в гит своего клиента. Писать сам qt-клиент пока лень =)

Потому что на двух устройствах и в эмуляторах после разблокировки все нормально :/

все меню, доки и подписки убраны. вот на эту страницу: http://51t.ru/51t

"кружок openbsd" - это вообще будет не ii, но тоже круто... осталось только выяснить, когда будет...

Когда сделаем - все пойдут :) в очередь ломится станут... :)

Похоже, шесть нод какого-то ботнета пытались осуществить SQL-иньекцию:

188.120.227.83 - - [22/Aug/2014:06:45:59 +0200] "GET /lor-opennet.2014?lim=all1111111111111%20UNION%20SELECT%20CHAR(45,120,49,45,81,45)%20--%20%20/* HTTP/1.1" 200 3525803 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; iebar; acc=none; FunWebProducts; .NET CLR 1.1.4322)"
188.120.227.83 - - [22/Aug/2014:06:46:12 +0200] "GET /lor-opennet.2014?lim=all1111111111111%20UNION%20SELECT%20CHAR(45,120,49,45,81,45),CHAR(45,120,50,45,81,45)%20--%20%20/* HTTP/1.1" 200 3525853 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; iebar; acc=; YPC 3.2.0; .NET CLR 1.0.3705; .NET CLR 1.1.4322; IEMB3; IEMB3; yplus 5.1.04b)"
188.120.227.83 - - [22/Aug/2014:06:46:24 +0200] "GET /lor-opennet.2014?lim=all1111111111111%20UNION%20SELECT%20CHAR(45,120,49,45,81,45),CHAR(45,120,50,45,81,45),CHAR(45,120,51,45,81,45)%20--%20%20/* HTTP/1.1" 200 3525903 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; elertz 2.4.179[128]; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.04506.648)"
<...>
75.98.233.34 - - [22/Aug/2014:07:04:19 +0200] "GET /lor-opennet.2014?lim=all1111111111111%22%20UNION%20SELECT%20CHAR(45,120,49,45,81,45),CHAR(45,120,50,45,81,45),CHAR(45,120,51,45,81,45),CHAR(45,120,52,45,81,45),CHAR(45,120,53,45,81,45),CHAR(45,120,54,45,81,45),CHAR(45,120,55,45,81,45),CHAR(45,120,56,45,81,45),CHAR(45,120,57,45,81,45),CHAR(45,120,49,48,45,81,45),CHAR(45,120,49,49,45,81,45),CHAR(45,120,49,50,45,81,45),CHAR(45,120,49,51,45,81,45),CHAR(45,120,49,52,45,81,45),CHAR(45,120,49,53,45,81,45),CHAR(45,120,49,54,45,81,45),CHAR(45,120,49,55,45,81,45)%20--%20/*%20order%20by%20%22as%20/* HTTP/1.1" 200 2850816 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; iebar; acc=; YPC 3.2.0; .NET CLR 1.0.3705; .NET CLR 1.1.4322; IEMB3; IEMB3; yplus 5.1.04b)"
77.222.61.160 - - [22/Aug/2014:07:04:20 +0200] "GET /lor-opennet.2014?lim=all1111111111111%22%20UNION%20SELECT%20CHAR(45,120,49,45,81,45),CHAR(45,120,50,45,81,45),CHAR(45,120,51,45,81,45),CHAR(45,120,52,45,81,45),CHAR(45,120,53,45,81,45),CHAR(45,120,54,45,81,45),CHAR(45,120,55,45,81,45),CHAR(45,120,56,45,81,45),CHAR(45,120,57,45,81,45)%20--%20/*%20order%20by%20%22as%20/* HTTP/1.1" 200 380820 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; elertz 2.4.025; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0)"
87.242.64.24 - - [22/Aug/2014:07:04:22 +0200] "GET /lor-opennet.2014?lim=all1111111111111%27%20UNION%20SELECT%20CHAR(45,120,49,45,81,45),CHAR(45,120,50,45,81,45),CHAR(45,120,51,45,81,45),CHAR(45,120,52,45,81,45),CHAR(45,120,53,45,81,45),CHAR(45,120,54,45,81,45),CHAR(45,120,55,45,81,45),CHAR(45,120,56,45,81,45),CHAR(45,120,57,45,81,45),CHAR(45,120,49,48,45,81,45),CHAR(45,120,49,49,45,81,45),CHAR(45,120,49,50,45,81,45),CHAR(45,120,49,51,45,81,45),CHAR(45,120,49,52,45,81,45),CHAR(45,120,49,53,45,81,45),CHAR(45,120,49,54,45,81,45),CHAR(45,120,49,55,45,81,45),CHAR(45,120,49,56,45,81,45)%20--%20/*%20order%20by%20%27as%20/* HTTP/1.1" 200 1441384 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; iebar; acc=; YPC 3.2.0; .NET CLR 1.0.3705; .NET CLR 1.1.4322; IEMB3; IEMB3; yplus 5.1.04b)"

После этой строчки я добавил проблематичные адреса в список на блокировку (3 дня). Спасибо товарищу Ичинге за оперативное уведомление о недоступности сайта.

Да, недоступности. Мы упёрлись в однопоточность bottle.py. В связи с этим у меня вопрос: если запустить несколько несколько bottle.py параллельно, не будет ли гонок по доступу к ресурсам? То есть, нужна ли им какая-то синхронизация? Если да - прошу прикрутить, и я подредактирую скрипты запуска, чтобы стартовали несколько экземпляров bottle.py разом.

Так, дело пошло =)
Скоро будет Qt клиент, это точно

Да, вот собственно список заблокированных IP-адресов:

188.120.227.83
87.242.64.24
85.17.223.149 (пока больше не пытался постучаться)
77.222.61.160
75.98.233.34
69.28.199.140

почему-то с моего сервера с 17 числа пропал доступ к securitylab, поэтому эха на http://rss.51t.ru перестала ходить и снята с довольствия.

> Вот так новости... И кому мы понадобились?

Это чистая автоматика. Скайнет только-только оживает. :) Если б атака была целенаправленной, то никто бы не пытался сделать SQL-иньекцию.

Вот так новости... И кому мы понадобились?

И, может быть, оно вообще не на этом сайте будет...

Хотя, конечно, нужна возможность делать связанные объекты из сообщений ii. Если бы ещё прикрутить рассылки - можно было бы делать в трекере ленты, по типу http://bug.51t.ru/ чтобы можно было к странице приложения привязывать все бурные дебаты :)

Сейчас рассылки хреново гейтуются :(

В репозитории моего клиента (git clone https://github.com/vit1-irk/iicli-modular.git) появился долгожданный интерфейс на Qt! Умеет всё то же самое, что и tk gui (он не удалён, а лежит рядом), только на qt. Для использования надо установить пакет python2-pyqt4 и запустить файл ii-client-qt.py

> делать демона, который раз в n-минут обновляет состояние (понятия не имею, как это делается)

Что значит "обновляет состояние"? Вообще, я представлял себе фетчер так: сливает инфу во временную папку по соседству с папкой эхи (типа, myecho.tmp), как закончил - делает rename(2) для каждого файла в папку эхи. Остаётся лишь вопрос генерации постоянных уникальных идентификаторов для сообщений. При таком варианте гонок быть не должно при условии отсутствия параллельно работающих фетчеров (решается блокировкой какого-нибудь файла вроде /tmp/ii-fetch-myecho).

> третий вариант, что называется, в лоб - многопоточность через gevent. просто поставь py-gevent, и я её могу хоть щас включить, раз время подошло.

С радостью. Но проблемы с гонками-то никуда не денутся... Впрочем, это ты рулишь сервисом, тебе и решать. :) Стоит, в общем.

> а вообще, простой в несколько секунд - это не страшно.

Там не просто "несколько секунд", там уже простучаться было нереально вообще. Собственно, Icinga и рапортовала именно о превышении таймаута подключения. А про дозвон на скорости в пару килобод - тогда альтернатив не было (ограничения на клиенте), а сейчас страдания исключительно по серверной вине. :)

> > делать демона, который раз в n-минут обновляет состояние (понятия не имею, как это делается)
>
> Что значит "обновляет состояние"?

А, всё, понял. Ну, можно в bottle.py мониторить какой-то каталог (с теми же локами фетчера, например), и как только в нём удаляется лок-файл какой-то эхи (то есть, фетчер закончил работу) - запускать обновление кеша.

> Мне не очень нравится эта идея с файлами

Вариант с ловлей удаления лок-файлов полностью разделяет реализацию сервера и фетчера - ИМХО, это плюс.

> В фенде были разные SendMesage для окон, которые можно было ловить

Питон тут поможет только если фетчеры тоже делать на Питоне. В POSIX вроде бы есть какой-то механизм сообщений как часть IPC, но он весьма и весьма опциональный, и не факт, что вообще вменяемый. А так - у Web-сервиса по определению есть интерфейс для посылки сообщений под названием HTTP. :) Сделай тупо из Питона GET-запрос; можно даже просто открыть сокет (AF_INET, 127.0.0.1:80) и нагадить туда:

GET /update/ECHO HTTP/1.0\r
Host: 51t.ru\r
\r

поставил через gevent.... посморим, как жить будет...

мне не очень нравится эта идея с файлами. мне больше нравится, если можно как-то снаружи СООБЩИТЬ. в фенде были разные SendMesage для окон, которые можно было ловить :) чё есть в питоне - не знаю даже :)

да, lim=all рабоает медленновато для больших эх, и напрягать систему - запросто.

> В связи с этим у меня вопрос: если запустить несколько несколько bottle.py параллельно, не будет ли гонок по доступу к ресурсам?

они уже есть, из-за фетчеров. до них вообще почти все данные держались напрямую в памяти, и доступ к ним был мгновенно. после - практически всё это было отключено на тот случай, если упрёмся в лимиты. раз упёрлись - надо опять данные лимитировать, и или:

1. делать демона, который раз в n-минут обновляет состояние (понятия не имею, как это делается)

2. запустать фетчер изнутри сервера (проблемный вариант)

3. как-то фетчером сообщать, что данные обновлены (я вообще изначально хотел сделать url типа /update, и чтобы его фетчер дёргал, но, наверное, есть и другие пути) [если вот тут как-то по-умному придумать - будет хорошо]


второй путь - это много ботлепуев. это делается через gunicorn. но тогда, опять же, надо смотреть, какие данные НЕ ПЕРЕДАЮТСЯ в рамках процесса. python мне тем и хорошо, что я могу, в отличие от php, легко делать глобалы и не дёргаться по пустякам. мне не нравится вариант "много ботлепуев" именно из-за того, что нельзя делать простое кэширование многих данных

третий вариант, что называется, в лоб - многопоточность через gevent. просто поставь py-gevent, и я её могу хоть щас включить, раз время подошло.


а вообще, простой в несколько секунд - это не страшно. ты для сравнения irk38.tk помониторь, и посмотри, как он отдаётся... или представь дозвон до нода на 1200 без коррекции ошибок :) читать логи мониторинга - только себя пугать на каждый чих :)

можно, конечно, вообще отказаться от lim=all в пользу пажинации, но у меня ИДЕОЛОГИЯ! :) и своё представление о том, как это должно выглядеть. поэтому именно так, а не иначе :)

> Что значит "обновляет состояние"? Вообще, я представлял себе фетчер так: сливает инфу во временную папку по соседству с папкой эхи (типа, myecho.tmp), как закончил - делает rename(2) для каждого файла в папку эхи.

оно не требуется. потому что там две операции записи. одна - добавить новый файл. другая - добавить строчку в файл. всё, больше никаких операций не выполняется. возможно, там даже чисто теоретически не может возникнуть коллизий на современном оборудовании, потому что эта операция будет всегда глотаться мгновенно и целиком :)

> С радостью. Но проблемы с гонками-то никуда не денутся...

а они и сейчас есть, те же самые.

> Там не просто "несколько секунд", там уже простучаться было нереально вообще.

погоняем с gevent-ом, посмотрим...

не ругайтесь, молчел. имя мне "Сиа" и гугл транслэйт заверитель сего

MRD придё - порядок наведё!

> поставил через gevent.... посморим, как жить будет...

О, совсем другое дело! Небольшой стресс-тест пройден без проблем.

... а у меня и так миопия, кабальерос.

Сиииизя!

> А так - у Web-сервиса по определению есть интерфейс для посылки сообщений под названием HTTP. :)

та я знаю... но чё-то не хотелось :) пусть пока так поработает, а там посмотрим... у меня тут всяких разных вариантов навалом...

Хм, в другом арбузе лучше выглядит, но он не основной у меня.

Человек предполагае, а располагае не он. Нужен день свободного времени и желание, чтобы добить отправку сообщений и подготовить sis(x)-ки для ветеранских "осей" и 9-ки; тогда им можно будет пользоваться хотя бы на базовом уровне юзабельности. Пока не совпадают эти две компоненты, а урывками ничего не сделаешь. Плюс у мене крайзис, не тот, что игра, а в жизни (хотя игра хорошая вроде, вы играли, кстати? я нет).

Мы с тобой одной крови.

А я то причём к сепаратитским андроид-клиентам?

Надо делать свой. А я не знаю, как их собирают. Для pocketpc когда-то делал приложения... и где теперь тот pocketpc? :)


неее, брат, тут всю экосистему формировать надо. ii не причина и не следствие, ii только маленькая деталь :)

Забыл: "Мы с тобой одной крови. Ты и я"

не хотелось бы озвучивать очевидные вещи, но:
а.) Солнце встает там, где Рома живет;
б.) Ответ на твой вопрос зависит на 99% от позиции n*(не помню)*.exe.

И я нет

> OH, NO!! А здесь кроме пожарника есть кто-нить, кто не пилит клиенты?

Клиенты клиентам рознь.

Есть ключевые решения. А есть "мне так захотелось". Проблем сегментации не будет просто потому, что никто про эти клиенты не знает. :) А тот клиент, который решает нужные и важные задачи - это первейшая необходимость, независимо от того, сколько существует клиентов, которые эти задачи не решают. :)

Возникла мысль выложить андроид клиент в этот свободный репозиторий. Посмотрел требования - а там надо исходники в гите, лицензия и ещё что-то. Если автор желает, то, может, сделаем? :)

> сепаратитским
сепаратисты на окраине, а в огороде бузина
> Надо делать свой.
OH, NO!! А здесь кроме пожарника есть кто-нить, кто не пилит клиенты? Даже я, лентяй и бездарь, ковыряю палочкой чего-то там, зажимая нос.

Ты рассуждаешь как наичистейшей воды построитель "велосипедов", я горжусь тобой! И конечно, твой лисапед будет самый новенький и блестящий, подогнанный под твои ноги и руки. А у кого руки-ноги длиннее/короче -- тех на прокрустово ложе))
Эх, где мои семнадцать лет

>> кроме пожарника

Я и не собираюсь пилить клиенты или ещё что-то. Я тут типо как простой пользователь.
Потребляю и (в скором времени) создаю контент.

Твоё огорчение сможет сделать сеть лучше? Если нет, то без разницы, будешь ты огорчать или нет. :) Спи. :)

>а.) Солнце встает там, где Рома живет;
А я знаю :)

>б.) Ответ на твой вопрос зависит на 99% от позиции n*(не помню)*.exe.
Вопрос именно ему и был задан. Пока что в андроид клиенте нельзя заменить получателя (All)

> Я и не собираюсь пилить клиенты или ещё что-то.

Клиенты не пилят, клиенты творят. :)

Ну что ж вы опять тут такое развели? Хотя ладно, привыкли...

>Чтобы она работала, нужно, в том числе, чтобы и был андроид-клиент, который и рекламирует сеть, и проявляет её преимущества, и заставляет людей подчиняться тому, как тут заведено

Чтобы рекламировать сеть, недостаточно этот клиент просто иметь и/или в F-Droid положить. Если ты так озабочен рекламой ii, то могу посоветовать тебе, во-первых, отправить клиент в Google Play, а также заняться сборкой клиента под Windows. Эти способы плохи и проприетарны, я знаю, но они принесут больше, чем ничего. К тому же, все девочки именно там сидят :)

Лично я в рекламе сети не заинтересован, а также не люблю проприетарное, и предложил поместить клиент в F-Droid исключительно для удобства использования.

я не хочу тебя огорчать и ... не буду. лучше спать пойду. утром в Багдаде должно быть всё спокойно

> Ты рассуждаешь как наичистейшей воды построитель "велосипедов", я горжусь тобой! И конечно, твой лисапед будет самый новенький и блестящий, подогнанный под твои ноги и руки. А у кого руки-ноги длиннее/короче -- тех на прокрустово ложе))

Есть конкретные задачи, которые надо решать. Хоть одним клиентом, хоть 100 клиентами, но надо. И если они не решаются, то не имеет никакого значения, сколько существует клиентов, которыми они не решаются.


В ii важны не клиенты, или их отсутствие. И не серверы или их отсутствие. А следование общей задаче - создать конкретную среду обитания. ii должна работать. А она не работает. Чтобы она работала, нужно, в том числе, чтобы и был андроид-клиент, который и рекламирует сеть, и проявляет её преимущества, и заставляет людей подчиняться тому, как тут заведено (т.е., не превращает ii в то, чем она не является: человек не понимает, пытается это применить неверно, у него не получается, и он от этого страдает).


Подобной демагогией упрощения, которой действуют дети интернета, начитавшиеся типичных случаев, а потом на всё вешающих штампы ("велосипед" - это один из типичных случаев), я не страдаю. Поэтому мне без разницы, как это будет называться и восприниматься ими. Мне в любом случае нужен клиент, который соответствует моим представлениям. В том числе и для того, что было задумано сверх ii, в рамках odii (офлайнизация с разметкой). Потому что, если это сделать так, то мне кажется, это будет реально удобно. Подобные вещи уже есть, но это ничего не значит - ибо сделать там "последние штрихи" (сквозной обмен) это фактически переделать всё заново, но при этом оставив уши от "невелосипеда". Нужно исходить из таких реалий, как "время", "мои возможности", "чужие потребности", а не "велосипед" или подобное. Нужно делать то, что можно, а не объяснять самому себе, почему что-то делать - это неправильно, или панически бояться неверных ходов, потому что "велосипед", "костыль", а если говорить прямо - "сокамерники по лорам и прочим сайтам заругают".

Если не избавиться от из мировоззрения и их ограничений, то за рамки их (на самом деле - очень) узкого мирка не вылезти. Всё очень просто.


И, конечно, общая концепция, а не лоскуты "тут добавляем, зато тут теряем". Работать должна ii, а не её компоненты, которые по отдельности чудо как хороши, но всё вместе - доставляет непонятный дискомфорт. Потерять целостность просто, а жить без неё - сложно. Поэтому клиенты должны выдержать путь эволюции, отвечать реалиям и переживать новые проблемы, а не быть бесполезной вещью в себе "технически - работает, а зачем работает - не важно". Тем более, официальных клиентов у меня наперечёт, а все остальные... пусть расцветают сто цветов, если что прорастёт - хорошо, нет - никто и не узнает.

>Да я как-то над этим даже не думал, вроде если пишется новое сообщение, то по дефолту адресуется всем, но добавлю эту возможность

Да не, это я не просил даже, а просто ответил :)
Вот что действительно нужно добавить - это индикатор загрузки сообщений (желательно прогрессбар).

> Чтобы рекламировать сеть, недостаточно этот клиент просто иметь и/или в F-Droid положить.

Гениальная мысль.

> Если ты так озабочен рекламой ii

Пиздец.

> Лично я в рекламе сети не заинтересован

А, и правда, зачем она нужна. Потом просто останется только один, и можно будет самому себе письма писать... Чтобы шизофрению подогревать, чтобы она не вяла...