[#]
Путь развития ii
vit01(mira, 1) — All
2014-10-05 18:04:00
Последнее время кто-нибудь из вас задумывался над сабжем? Интересно послушать предложения.
У меня самого план развития сети уже имеется, позже расскажу, если интересно.
[#]
Re: Путь развития ii
vit01(mira, 1) — All
2014-10-07 10:44:32
Так кто что по этому поводу думает? Ведь не мешало бы как минимум обсудить.
[#]
Re: Путь развития ii
spline(station13, 1) — vit01
2014-10-06 15:23:59
>А разве ncurses клиента у тебя пока нет? =)
На данный момент есть недописанный огрызок на CL, который имеет критические проблемы в связи с корявостью биндингов. Есть в планах просто сделать это на пайтоне.
[#]
Re: Путь развития ii
vit01(mira, 1) — spline
2014-10-06 15:09:39
> Я думал над этим вопросом и пришёл к выводу что в том виде, в котором оно у нас есть, технологически оно если не завершено, то близко к этому состоянию.
Тоже так думаю. На текущее время ничего раздувать пока не надо.
> Конечно, я ещё хочу написать веб-морду для ноды и ncurses-клиент
А разве ncurses клиента у тебя пока нет? =)
> но в данный момент совершенно не располагаю свободным временем
Также не располагаю. Вроде бы, время есть, но по факту оно уходит практически в никуда - прокрастинация. Нехорошо от этого становится :(
> (поздравьте меня -- я продолжаю получать высшее образование).
Поздравляю =), похвально.
[#]
Re: Путь развития ii
spline(station13, 1) — vit01
2014-10-06 07:01:54
>Последнее время кто-нибудь из вас задумывался над сабжем? Интересно послушать предложения.
Я думал над этим вопросом и пришёл к выводу что в том виде, в котором оно у нас есть, технологически оно если не завершено, то близко к этому состоянию. Если, конечно, мы будем придерживаться изначальное идеи простоты. Конечно, я ещё хочу написать веб-морду для ноды и ncurses-клиент, но в данный момент совершенно не располагаю свободным временем (поздравьте меня -- я продолжаю получать высшее образование).
>У меня самого план развития сети уже имеется, позже расскажу, если интересно.
Будет интересно почитать. В любом случае, этот вопрос не повредит как минимум обсудить =)
[#]
Re: Путь развития ii
vit01(mira, 1) — vit01
2014-10-06 15:01:25
В общем, мой план по развитию сети таков:
1. Доделать клиенты и ноды до почти идеального состояния (+ веб-морда к ноде), выпустить стабильные версии и сделать полные паки с ними (как в 0.3 версии). Технология пока что замораживается.
2. Добавить БОЛЬШЕ rss лент (и Хабру, хабру!), разобраться и допилить Ромин фетчер, который, как мы знаем, фетчит всё.
3. Написать утилиты для работы с базой данных сети: поиск сообщений, запаковка и распаковка бандлов, сбор статистики, перемещение и удаление эх/сообщений, блэклисты и так далее. Очень полезные штуки.
4. Создать гейт Email to ii. Это должно следовать концепции "ii для всего". То есть, вся информация, которая только может быть автоматически получена, в том числе электронная почта, должна переводиться в формат ii. Всё должно читаться через ii. И в том числе, именно поэтому я жду, чтобы ntrknlmp.exe починил уведомления в андроид клиенте. И именно поэтому я добавил поддержку многосерверности в своём клиенте.
5. Доделать всё-таки документацию. Стандарт должен быть чётко расписан (Можно взять тот путь, что предложил Difrex, но можно и сделать wiki, как предложил gadfly. Над этим подумать надо), тексты должны ещё лучше читаться.
6. И в php ноде, и в стандартных клиентах добавить поддержку других хранилищ данных (mysql, sqlite или самодельная db), потому что переполнение места и инодов будет увеличиваться очень сильно.
7. Проводить эксперименты: поднять ноды в i2p/Tor, попробовать решать нагрузки в случае анонимного доступа, продумать поведение при переполнении эх, написать другие ii-транспорты (ssh, ftp, на файлах), поиграться с шифрованием и цифровой подписью на пути отправки сообщений от клиента к серверу, придумать некоторые новые схемы. В общем, это будет как бы разморозка технологии.
[#]
Re: Путь развития ii
Difrex(station13, 7) — vit01
2014-10-06 12:04:09
>У меня самого план развития сети уже имеется, позже расскажу, если интересно.
Рассказывай :)
[#]
Re: Путь развития ii
Difrex(station13, 7) — vit01
2014-10-07 12:31:11
>5
Можно для начала поднять вики и структурировать в ней все, а потом уже оформить, как rfc.
>1
Меня мой клиент на текущий момент устраивает. :)
>4
Вот это действительно было бы неплохо сделать.
>7
Могу поднять ноду в TOR.
[#]
Re: Путь развития ii
vit01(mira, 1) — gadfly
2014-10-07 18:17:53
Про базы данных я в 6 пункте написал.
Насчёт постфиксов: в php ноде за названия эх отвечает всего лишь одно регулярное выражение, поэтому не проблема.
И да, давай таки сделаем вики :)
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — vit01
2014-10-08 10:12:37
>3. Написать утилиты для работы с базой данных сети: поиск сообщений, запаковка и распаковка бандлов, сбор статистики, перемещение и удаление эх/сообщений, блэклисты и так далее. Очень полезные штуки.
Это все делается на уровне субд..
>4. Создать гейт Email to ii. Это должно следовать концепции "ii для всего". То есть, вся информация, которая только может быть автоматически получена, в том числе электронная почта, должна переводиться в формат ii. Всё должно читаться через ii. И в том числе, именно поэтому я жду, чтобы ntrknlmp.exe починил уведомления в андроид клиенте. И именно поэтому я добавил поддержку многосерверности в своём клиенте.
А зачем? максимум мэйллисты, а как привязать сюда личную почту без собственной ноды не знаю
>6. И в php ноде, и в стандартных клиентах добавить поддержку других хранилищ данных (mysql, sqlite или самодельная db), потому что переполнение места и инодов будет увеличиваться очень сильно.
Не надо, пожалуйста, самодельных..
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — vit01
2014-10-08 10:14:09
>7. Проводить эксперименты: поднять ноды в i2p/Tor, попробовать решать нагрузки в случае анонимного доступа, продумать поведение при переполнении эх, написать другие ii-транспорты (ssh, ftp, на файлах), поиграться с шифрованием и цифровой подписью на пути отправки сообщений от клиента к серверу, придумать некоторые новые схемы.
Что значит транспорты на файлах?
Шифрование на уровне транспорта или сообщения?
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 12:13:52
>Это все делается на уровне субд..
Смотря какая БД в клиенте используется. А если субд типа sqlite, то вводить запросы ручками всё равно неудобно. В этом случае я имел в виду именно клиентские утилиты для автоматизации подобной деятельности.
>А зачем? максимум мэйллисты, а как привязать сюда личную почту без собственной ноды не знаю
Затем, чтобы читать всё, даже личную почту, через ii клиент. Да, для этого как раз и понадобится собственная личная нода. Её можно и на локалхосте пускать.
>Не надо, пожалуйста, самодельных
Ну это, конечно, громко сказано. На серверной стороне вряд ли возможна такая база, я просто к примеру сказал.
[#]
Re: Путь развития ii
gadfly(mira, 7) — vit01
2014-10-07 17:00:03
Прикрутить уже, наконец, sqlite и сделать постфиксы опциональными. Но это по технической части.
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 12:18:17
>Что значит транспорты на файлах?
Это значит в виде бандлов или чего-то подобного. Чтобы сообщения можно было пересылать оффлайн на флешке, к примеру
>Шифрование на уровне транспорта или сообщения?
На уровне транспорта. Основная цель - защита от MITM и систем анализа трафика типа DPI провайдера или прокси серверов. А то строка авторизации и само сообщение передаются открытым текстом
[#]
Re: Путь развития ii
vit01(mira, 1) — Difrex
2014-10-07 13:10:11
>Можно для начала поднять вики и структурировать в ней все, а потом уже оформить, как rfc.
Неплохо бы было. Вики хороша тем, что её можно всем вместе заполнять, а сейчас это как раз кстати.
>Могу поднять ноду в TOR.
Давай =)
Только надо определиться, кого и как туда пускать, для аудитории создавать или просто для бэкапов базы данных.
[#]
Re: Путь развития ii
vit01(mira, 1) — vit01
2014-10-08 12:26:09
>На уровне транспорта.
а вообще, на уровне сообщения тоже можно, но тогда ii отойдёт от своего принципа простоты, и начнут появляться костыли с новыми зависимостями...
[#]
Re: Путь развития ii
Difrex(station13, 7) — Difrex
2014-10-08 12:21:13
А помогите фетчинг настроить.
Сейчас я беру wf51.py, конфиг:
server url http://spline.rooker.ru/ii/ii-point.php?q=/u/
echo ii.14
echo pipe.2032
echo linux.14
Ругается так:
url http://spline.rooker.ru/ii/ii-point.php?q=/u/
fetch http://url http://spline.rooker.ru/ii/ii-point.php?q=/u/e/ii.14/pipe.2032/linux.14
Traceback (most recent call last):
File "./wf51.py", line 138, in <module>
do_it()
File "./wf51.py", line 127, in do_it
fetch(uecholist,dlserver(userver))
File "./wf51.py", line 86, in fetch
out = getf('%se/%s' % (url, '/'.join(el)))
File "./wf51.py", line 53, in getf
response = urllib2.urlopen(request)
File "/usr/lib/python2.7/urllib2.py", line 127, in urlopen
return _opener.open(url, data, timeout)
File "/usr/lib/python2.7/urllib2.py", line 404, in open
response = self._open(req, data)
File "/usr/lib/python2.7/urllib2.py", line 422, in _open
'_open', req)
File "/usr/lib/python2.7/urllib2.py", line 382, in _call_chain
result = func(*args)
File "/usr/lib/python2.7/urllib2.py", line 1214, in http_open
return self.do_open(httplib.HTTPConnection, req)
File "/usr/lib/python2.7/urllib2.py", line 1184, in do_open
raise URLError(err)
urllib2.URLError: <urlopen error [Errno -2] Name or service not known>
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — vit01
2014-10-08 12:28:19
>>Что значит транспорты на файлах?
>Это значит в виде бандлов или чего-то подобного. Чтобы сообщения можно было пересылать оффлайн на флешке, к примеру
Так это и сейчас есть же вроде
>>Шифрование на уровне транспорта или сообщения?
>На уровне транспорта. Основная цель - защита от MITM и систем анализа трафика типа DPI провайдера или прокси серверов. А то строка авторизации и само сообщение передаются открытым текстом
допустим https, но каждой ноде нужен тогда будет сертификат и все клиенты отвалятся..
[#]
Re: Путь развития ii
spline(station13, 1) — Difrex
2014-10-08 12:36:11
А помогите фетчинг настроить.
server url http://spline.rooker.ru/ii/ii-point.php?q=
echo ii.14
echo pipe.2032
echo linux.14
Вот так попробуй.
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — vit01
2014-10-08 12:26:08
>>Это все делается на уровне субд..
>Смотря какая БД в клиенте используется. А если субд типа sqlite, то вводить запросы ручками всё равно неудобно. В этом случае я имел в виду именно клиентские утилиты для автоматизации подобной деятельности.
Ну это делается вьюхами и отчетами делается.. А пользователю смотреть данные в базы имхо не за чем
>>А зачем? максимум мэйллисты, а как привязать сюда личную почту без собственной ноды не знаю
>Затем, чтобы читать всё, даже личную почту, через ii клиент. Да, для этого как раз и понадобится собственная личная нода. Её можно и на локалхосте пускать.
Ну может быть
>>Не надо, пожалуйста, самодельных
>Ну это, конечно, громко сказано. На серверной стороне вряд ли возможна такая база, я просто к примеру сказал.
Я считаю что это и не надо, можно взять ту же монгу и все будет быстро летать, написать свою базу быстрее и лучше чем те, что уже есть, задача не из легких)
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 12:40:10
>Ну это делается вьюхами и отчетами делается.. А пользователю смотреть данные в базы имхо не за чем
Эти скрипты-вьюхи и отчёты ещё написать надо :) А то иногда каждый раз немного напряжно делать большой grep.
Вот самая элементарная задача для простого пользователя: "Я помню, что spline публиковал в ii ссылки на свою музыку, но это было так давно, что за это время эхи загромоздились сообщениями, и найти ссылку на альбом вручную невозможно. Но я знаю, что он публиковал ссылку в эхе im.*". Это простая задача поиска может решиться набором grep, но, согласись, что удобнее просто ввести нужные данные в скрипт, чтобы он сам всё нашёл. Таких примеров масса, на самом деле.
>Я считаю что это и не надо, можно взять ту же монгу и все будет быстро летать, написать свою базу быстрее и лучше чем те, что уже есть, задача не из легких)
На сервере как раз и планируется взять уже готовую базу, потому что своя быстрее работать не будет. Но на клиенте скулайты и монги, считаю, не нужны
[#]
Re: Путь развития ii
Difrex(station13, 7) — vit01
2014-10-08 13:18:50
>Вот самая элементарная задача для простого пользователя...блаблабла
Это в клиенте должно решаться. В моем есть поиск, правда пока только по сабжам.
[#]
Re: Путь развития ii
Difrex(station13, 7) — spline
2014-10-08 12:58:47
>И глянь на всякий случай скрипт gate
Там же просто
#!/bin/sh
cd /srv/app && python wf51.py
>Странно. Ты не за прокси сидишь?
Не за прокси. Курлом все прекрасно стягивается, урл в срипте парсится.
Может есть какая другая фетчилка? Свою переписывать под msg и echo, что-то совсем неохота.
[#]
Re: Путь развития ii
vit01(mira, 1) — spline
2014-10-08 12:55:25
>Например, бандл скинуть на флешку, а на своей стороне поинт развернёт его в базу.
>Во всяком случае, я так понял.
Да именно это, но и не только это я и имел в виду.
[#]
Re: Путь развития ii
vit01(mira, 1) — Difrex
2014-10-08 12:50:36
Уу, как в этом фетчере мудрёно. Проще взять классический фетчер (из 0.3) или мой из состава клиента.
[#]
Re: Путь развития ii
spline(station13, 1) — ntrknlmp.exe
2014-10-08 12:53:07
>Так это и сейчас есть же вроде
Сейчас оно tools/client-toss реализовано. Это для отправки поинтом на ноду сообщения через дискеты/флешки/QR-коды. Я так понял, Виктор имел в виду создания чего-то подобного для обмена всех со всеми в рамках сети хоть на уровне файлов с простым интерфейсом. Например, бандл скинуть на флешку, а на своей стороне поинт развернёт его в базу.
Во всяком случае, я так понял.
[#]
Re: Путь развития ii
spline(station13, 1) — Difrex
2014-10-08 12:53:07
>Не, тоже самое.
Странно. Ты не за прокси сидишь? И глянь на всякий случай скрипт gate, хотя там иной выхлоп должен был бы быть.
>Может ему чего-то не хватает?
Да оно вещь в себе. Распаковал и пользуйся. Только пайтон ему дай.
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 12:47:06
>Так это и сейчас есть же вроде
Удобных скриптов для автоматизации подобного пока нет. Хотя они и пишутся в несколько строк. Тут суть именно в юзабилити.
>допустим https, но каждой ноде нужен тогда будет сертификат и все клиенты отвалятся..
Да, но получать сертификат накладно и не всегда удобно. Я имел в виду сделать подобие цифровой подписи поинта, но сейчас в этом особой необходимости пока нет.
[#]
Re: Путь развития ii
Difrex(station13, 7) — vit01
2014-10-08 13:50:26
>Правда удобно бывает делать поиск не только по сабжам, но и по сообщениям, по названию эхи, по имени поинта, по дате и времени, по адресу, по положению в индексе и так далее.
Ну, у себя я все это планирую добавить, как время будет :)
[#]
Re: Путь развития ii
vit01(mira, 1) — Difrex
2014-10-08 13:36:41
>Это в клиенте должно решаться. В моем есть поиск, правда пока только по сабжам.
Вот именно :)
Правда удобно бывает делать поиск не только по сабжам, но и по сообщениям, по названию эхи, по имени поинта, по дате и времени, по адресу, по положению в индексе и так далее.
Лично я бы для этого написал отдельную утилиту: слишком много фич входит в мои нескромные требования к поиску :)
[#]
Re: Путь развития ii
spline(station13, 1) — Difrex
2014-10-08 13:22:10
>Это в клиенте должно решаться. В моем есть поиск, правда пока только по сабжам.
В сферической реализации ii это решается именно grep'ом. Но такие плюшки в клиентах очень даже не лишние будут. Я поиск по сообщениями хочу в перспективе в свой убер-клиент запихнуть, но пока этот клиент даже не целиком в моей голове только существует и потому grep и тысячи файлов =)
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — spline
2014-10-08 15:21:16
>Например, бандл скинуть на флешку, а на своей стороне поинт развернёт его в базу.
Для меня просто поинт = клиент, а не полноценный держатель локальной ноды)) Но мысль я понял
Но вообще да, этим всем должны заниматься сторонние программы, которые конвертируют что-то в формат ноды и наоборот
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 15:21:52
>А как это избавит от необходимости передавать токен? от митм это не спасет, если канал не защищенный же
Имеется в виду, что сисопу твоя цифровая подпись передаётся заранее, а потом нода просто проверяет её на соответствие тебе.
А вообще, можно делать динамическое хэширование на основе текста сообщения и строки авторизации
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — vit01
2014-10-08 15:09:54
>>допустим https, но каждой ноде нужен тогда будет сертификат и все клиенты отвалятся..
>Да, но получать сертификат накладно и не всегда удобно. Я имел в виду сделать подобие цифровой подписи поинта, но сейчас в этом особой необходимости пока нет.
А как это избавит от необходимости передавать токен? от митм это не спасет, если канал не защищенный же
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — vit01
2014-10-08 15:48:17
>Нее, эта вещь чисто клиентская.
В моем понимании у клиента нет ноды)) Он просто читает то, что ему отдает сервер
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 15:25:28
>программы, которые конвертируют что-то в формат ноды и наоборот
Нее, эта вещь чисто клиентская. Нода по идее может научиться с этим работать, но для ноды это не нужно особо
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 15:56:54
>В моем понимании у клиента нет ноды)) Он просто читает то, что ему отдает сервер
А разве клиенты не должны иметь возможность обмениваться сообщениями между собой, в обход ноды? :)
К тому же, возможность создания бандлов может легко использоваться, к примеру, для создания личных архивов определённой эхи или сообщений.
И да, наверное, границы между клиентом и нодой могут постепенно стираться, и превратиться в аплинков и даунлинков...
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 16:18:33
>Так а зачем, если для целей обмена и нужна нода, она же агрегатор контента:)
А если ограничен выход в интернет, а поинтов много? То есть есть десяток поинтов, но только у одного есть нормальный интернет. Остальные 9 могут быть его виртуалами-поинтами, а контентом обмениваться с помощью флешек.
Что-то подобное же может быть, не так ли? :)
[#]
Re: Путь развития ii
Difrex(station13, 7) — vit01
2014-10-08 17:15:14
>На горизонте отключение интернета и Великий Российский Фаервол! Люди оценят :D
Так в ТОР и I2P уйдем :)
[#]
Re: Путь развития ii
spline(station13, 1) — vit01
2014-10-08 17:13:02
>А если ограничен выход в интернет, а поинтов много? То есть есть десяток поинтов, но только у одного есть нормальный интернет. Остальные 9 могут быть его виртуалами-поинтами, а контентом обмениваться с помощью флешек.
В таком случае ему проще будет развернуть ноду. Это не сложно и мы всегда поможем разобраться со сложностями.
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — vit01
2014-10-08 16:08:05
>А разве клиенты не должны иметь возможность обмениваться сообщениями между собой, в обход ноды? :)
Так а зачем, если для целей обмена и нужна нода, она же агрегатор контента:)
[#]
Re: Путь развития ii
ntrknlmp.exe(mira, 9) — vit01
2014-10-08 16:40:48
>А если ограничен выход в интернет, а поинтов много? То есть есть десяток поинтов, но только у одного есть нормальный интернет. Остальные 9 могут быть его виртуалами-поинтами, а контентом обмениваться с помощью флешек.
>
>Что-то подобное же может быть, не так ли? :)
Думаю нет, если только не ядерная зима.
На мой взгляд думать об этом, пока нет критической массы пользователей смысла нет. Будет потребность, будет решение. Если оставить возможность расширения)
Это все исключительно на правах имхо
[#]
Re: Путь развития ii
vit01(mira, 1) — ntrknlmp.exe
2014-10-08 16:45:14
>Думаю нет, если только не ядерная зима.
На горизонте отключение интернета и Великий Российский Фаервол! Люди оценят :D
А вообще, эта фича всё равно может пригодиться, поэтому для себя сделаю.
[#]
Re: Путь развития ii
vit01(mira, 1) — Difrex
2014-10-08 17:29:53
>Так в ТОР и I2P уйдем :)
А если их тоже заблокируют? :) Хотя на первых порах туда уйти очень даже можно.
[#]
Re: Путь развития ii
spline(station13, 1) — vit01
2014-10-08 17:33:42
>У тех 9 поинтов по легенде нет нормального интернета, поэтому они как раз могут только через флешки контентом обмениваться
Что никак не мешает им передавать через флешки сообщения для нумерации нодой 10-го. Я не вижу проблемы пока.
>Хотя кто знает, может и push пригодится в таком случае.
Вот и будет повод проверить его в действии =)