Пушнул текущие наработки в iing. Все желающие могут посмотреть как это работает.

После недели экспериментов и некоторых обсуждений я пришёл к кое каким мыслям.

Для функционирования файл-эх с удосбствами для тех, кто не хочет на них подписываться я несколько пофиксил x/flie. По сути, это не противоечит стандарту, но теперь filename в запросе может быть path. То есть представлять собой конструкцию вида pics/1.jpg.

Это позволяет нам содержать фреки в виде иерархии, а не плоского списка.

Схема f/e работает по тем же принципам, что и расширенная u/e.

Например, запрос f/e/pics/books/-2:2 вернёт следующее:

pics
fileid:filename:username:address:description
fileid:filename:username:address:description
books
fileid:filename:username:address:description
fileid:filename:username:address:description

Где fileid представляет собой хеш, сформированный как msgid, только по содержимому файла и служит для однозначной идентификации файла при фетчинге. Забрать же файл можно с помощью x/file.

Например, x/file/books/filename.

Это возможно благодаря тому, что схема f/p, принимающая файлы через POST-запрос с параметрами pauth, fecho, dsc и file (строка авторизации, имя фэхи, описание файла и сам файл), сохраняет файл в директорию files/fecho/filename.

То есть при попытке отправить файл в фэху books, у нас создастся и индекс этой фэхи в формате, указанном в описании f/e и директория для фэхи в files (ежели такая отсутствует) и файл в этой директории.

Для доступности файлов через фреки, при создании приватного индекса файлов (доступного для поинтов), помимо соответствующего индекса фреков генерируется индекс из всех имеющихся фэх. Этот фэховый индекс добавляется к индеку фреков и пользователь видит в списке как фреки, так и содержимое фэх. А за счёт того, что фреки теперь поддерживают директории, пользователь также видит и принадлежность файла к какой-либо фэхе.

Например, так:

pics/1.jpg:12197:Смешная картинка
pics/1_1.jpg:364649:Красивая картинка

При попытке сохранить файл, хэш которого уже есть в фэхе, возвращается ошибка (file exists). При уникальном в рамках фэхе хеше, но повторяющимся имени, нода автоматически проставляет суфикс ("_1" в примере выше). Если же "_1" уже занят, то будет проставлен "_2" и так далее. Хотя, публикация таких файлов в больших количествах уже повод для разъяснительной работы.

AL> Да я только за. Перепиши стандарт - я подтянусь. Мне не тяжело.

Готово. Теперь параметр pauth в /x/file доступен только через POST.
Документация обновлена как в репозитории, так и на сайте.

https://github.com/vit1-irk/new-docs/pull/1

Гляньте. Если все ок, то можно помержить будет.

vit01>> И всё-таки я просто настаиваю, чтобы в /f/e выдавался размер файла в байтах.
AL> Этот индекс для автоматического фетчинга. Но добавить не долго, если он действительно нужен.

Понимаю, что для автоматического. Но он нужен и так, и эдак.
И на клиенте, и на ноде размер можно приспособить для мониторинга квоты на скачивание и в целом на ограничения. Плюс на клиенте решать, действительно тебе файл нужен или нет.
Например, я не хочу, чтобы файлы размером более 5 мб (для ноды это может быть 50 мб) скачивались автоматически, пусть скрипты моего явного подтверждения запрашивают. И другие фильтры в таком же духе.

AL> x/file/filename, x/file/pauth/filename:path не пересекаются.

// Тогда уж path:filename.

Окей, это уже сойдёт. Совместимость всё равно поломалась немного (не все ФС поддерживают двоеточия в имени файла), но такой формат будет самым приемлемым в долгосрочной перспективе.

AL> Я вот думаю нафиг там имя, если есть адрес? =)

Вот получили файл от какого-нибудь tavern,22, и народ с чужих станций (не таверны) должен будет догадываться, Вася загрузил файл или Петя.

vit01> Вот тебе 3 различных варианта
vit01> GET /x/file/pauth/fecho.1/file1
vit01> GET /x/file/fecho.1/file2
vit01> GET /x/file/pauth/file3

Дело в том, что второй вариант не работает да. Об этом я писал несколько выше. Там, где я говорил о плоском публичном списке файлов.

vit01> Я б от этой каши (GET-API) избавился, но кроме моих скриптов и клиентов есть твои, например. Так что ты и решай.

Да я только за. Перепиши стандарт - я подтянусь. Мне не тяжело.

vit01> Готово. Теперь параметр pauth в /x/file доступен только через POST.
vit01> Документация обновлена как в репозитории, так и на сайте.

Спасибо. В свою очередь я внёс эти исправления в iing.

Так же. Не взирая на то, что фэхи хорошо легли на фреки, вернул схему f/f.

Работает это так: f/f/<fecho>/<fid> возвращает файл. Нужно это для получения фэхи без авторизации на аплинке. так как у нас такой фигни не было, то незачем и привносить.

fid генерируется тем же алгоритмом, что и msgid, только по содержимому файла (или я об этом уже писал?).

В гите уже новая версия iing с новой версией фетчера, учитывающего фэхи. Пока для тестирования, конечно.

vit01> Понимаю, что для автоматического. Но он нужен и так, и эдак.
vit01> И на клиенте, и на ноде размер можно приспособить для мониторинга квоты на скачивание и в целом на ограничения. Плюс на клиенте решать, действительно тебе файл нужен или нет.
vit01> Например, я не хочу, чтобы файлы размером более 5 мб (для ноды это может быть 50 мб) скачивались автоматически, пусть скрипты моего явного подтверждения запрашивают. И другие фильтры в таком же духе.

Убедил.

AL>> x/file/filename, x/file/pauth/filename:path не пересекаются.
vit01> // Тогда уж path:filename.
vit01> Окей, это уже сойдёт. Совместимость всё равно поломалась немного (не все ФС поддерживают двоеточия в имени файла), но такой формат будет самым приемлемым в долгосрочной перспективе.

Тут нет двоеточия. Это я наподобии бутылковых маршрутов написал. @route("x/file/<pauth><filename:path>"), что означает, что принимается pauth и filename в виде some/thing/there/file.zip, например. С точки зрения ФС любой ОС всё весьма прозрачно.

AL>> Я вот думаю нафиг там имя, если есть адрес? =)
vit01> Вот получили файл от какого-нибудь tavern,22, и народ с чужих станций (не таверны) должен будет догадываться, Вася загрузил файл или Петя.

Теоретически мне без разницы адрес там или Имярек Имярекович с адресом. Мы будем знать какого сисопа пинать в обоих случаях.

ЗЫЖ я уже поднимал вопрос с поинт-листами, но не взлетело.

AL>>> x/file/filename, x/file/pauth/filename:path не пересекаются.
vit01>> // Тогда уж path:filename.

AL> Тут нет двоеточия. Это я наподобии бутылковых маршрутов написал. @route("x/file/<pauth><filename:path>"), что означает, что принимается pauth и filename в виде some/thing/there/file.zip, например. С точки зрения ФС любой ОС всё весьма прозрачно.

Да причём здесь ФС? Как распарсить, что есть что? Надо различить и пароль, и обычный файл

Вот тебе 3 различных варианта

GET /x/file/pauth/fecho.1/file1
GET /x/file/fecho.1/file2
GET /x/file/pauth/file3

Как распарсить первый, ещё понимаю. Но как заниматься обработкой второго и третьего (т.е. как их отличить между собой), не в курсе. Самый простой способ - убрать нафиг pauth из GET-параметров. Более того, все мои клиенты и скрипты, насколько помню, используют исключительно POST, поэтому изменение пройдёт безболезненно.
Я б от этой каши (GET-API) избавился, но кроме моих скриптов и клиентов есть твои, например. Так что ты и решай.

AL> Теоретически мне без разницы адрес там или Имярек Имярекович с адресом. Мы будем знать какого сисопа пинать в обоих случаях.

Окей, согласен.

В целом меня устраивает, но есть очепятки, некоторые фактические неточности и немного недосказанности.
Как время будет, поправлю и смержу

Сделал некоторые исправления и смержил в мастер.
Также английская дока теперь доступна на сайте.

P.S. остальным сетянам тоже желательно хоть как-то прокомментировать сабж и внести исправления, если надо

Когда захожу на сайт из гугл-поиска, то автоматом попадаю на английскую версию (это частная особенность моего браузера). Обратил внимание, что в ангийской версии в разделе документация нет ссылок на русские ресурсы и доклады с уроками по Instead на iFiction (они и неуместны). Это мне понравилось. В английском очень слаб.

Мы тут обсуждаем содержание вот этой странички

https://ii-net.tk/idec-doc/?p=protocol-en

Это наши внутренние разборки "под капотом", и они к инстеду не имеют никакого отношения.

Поднял сабж с фэхами. http://spline-online.tk:62200/

Краткое руководство по работе лежит прямо на ней. Регистрация открыта.

AL> За двое суток я пронаблюдал нулевую активность на тестовой ноде. В связи с чем закрыл её за ненадобностью.

Когда ты только поднял ту ноду, я посмотрел, почесал репу и подумал, что пока нечего там было тестировать.

Сначала напишу поддержку фэх в PHP-ноде (+ свой отдельный скрипт с квотой), а там уже и участие появится.

// На дачу стал ездить, времени опять меньше

vit01>>> И всё-таки я просто настаиваю, чтобы в /f/e выдавался размер файла в байтах.

Та-да. Теперь в f/e на место имени пользователя пришёл размер файла в байтах.

Индекс, таким образом, имеет следующий формат:

fid:filename:size:address:description

За двое суток я пронаблюдал нулевую активность на тестовой ноде. В связи с чем закрыл её за ненадобностью.

vit01> P.S. остальным сетянам тоже желательно хоть как-то прокомментировать сабж и внести исправления, если надо

Я бы и рад, но я в английском не настолько копенгаген, чтобы обнаружить некорректность.

Но попробую =)

Обновление клиента!

Пока я ездил на дачу собирать клубнику и упарывался в ii://develop.16 (увы, никто это даже не прокомментировал), времени на кодинг совсем не было. А сейчас - появилось.

Что нового:

1. Исправлен баг со скроллбарами в режиме чтения. Спасибо Борису за внимательность
2. Попытался поправить баг с пометкой сообщений прочитанными в списке

И ещё, для всех пользователей клиента я подготовил небольшой сюрприз, о котором здесь не написал.
Обновитесь - увидите =)

Обновляться всем обязательно!

AL>> За двое суток я пронаблюдал нулевую активность на тестовой ноде. В связи с чем закрыл её за ненадобностью.
vit01> Когда ты только поднял ту ноду, я посмотрел, почесал репу и подумал, что пока нечего там было тестировать.

Нужно было посмотреть на фэхи в работе и сделать замечания на неровностях. У меня уже глаз замылился.

vit01> Сначала напишу поддержку фэх в PHP-ноде (+ свой отдельный скрипт с квотой), а там уже и участие появится.

Сперва договорим о стандартах, а там уже и писать можно, имхо.

vit01> // На дачу стал ездить, времени опять меньше

Хорошо, что у меня дачи нет =)

Кстати, есть инструкция как его билдить? Всё таки хочу запилить Solarized расцветку.

AL> Кстати, есть инструкция как его билдить? Всё таки хочу запилить Solarized расцветку.

Есть. Посмотри в ii://tmp.red.eyes
SDK, кстати, можно брать даже самый новый (но build-tools обязаны быть 23 версии для 32-битных систем).

А ещё я только что специально для тебя закинул в репу скрипт progbuild.sh (в корне). Пропиши там путь к своему SDK, запусти с нужным ключом, и он всё соберёт.

И предупреждаю:

APK, которые я распространяю здесь, подписанные, поэтому установить свой поверх него тебе система не даст.
Так что либо запускай в виртуалке (Android-x86, это очень удобный вариант), либо удаляй моё приложение (перед этим не забудь экспортировать базу данных и конфиг в меню "Дополнительно", дабы заново ничего не настраивать).

vit01> Обновление клиента!

Ура!

vit01> Пока я ездил на дачу собирать клубнику и упарывался в ii://develop.16 (увы, никто это даже не прокомментировал), времени на кодинг совсем не было. А сейчас - появилось.

Я не знаю что тебе ответить на эти занятия. Я считаю, что это круто, но самоделкин во мне умер в возрасте 14-ти лет и с тех пор я занимаюсь разве что быдлокодингом. Поэтому решил не разводить информационный шум. Тем не менее, читать интересно. Хотелось бы видео (особенно второй модели и со стаканом) =)

vit01> И ещё, для всех пользователей клиента я подготовил небольшой сюрприз, о котором здесь не написал.
vit01> Обновитесь - увидите =)

Уи-и-и-и! Люблю сюрпризы =)

vit01> Обновляться всем обязательно!

Уже побежал качать апдейт.

>За двое суток я пронаблюдал нулевую активность на тестовой ноде. В связи с чем закрыл её за ненадобностью.

Блин, а я только вот подсосал сообщения и увидел пост про тестовую ноду, а она в дауне уже :).

Кстати, на сайте не работают ссылки в содержании(на гитхабе работают).

Difrex> Блин, а я только вот подсосал сообщения и увидел пост про тестовую ноду, а она в дауне уже :).

Вернуть не долго. Если надо, то верну. Просто интереса не было, я и прикрыл. А то мой уберскромный сервер начинал подтупливать.

vit01>> И ещё, для всех пользователей клиента я подготовил небольшой сюрприз, о котором здесь не написал.
btimofeev> Какое-то все гигантское, и шрифт, и прогресс-колесо))

Шрифт и правда великоват, а колесо я вообще не увидел =(

AL> Шрифт и правда великоват, а колесо я вообще не увидел =(

Заглянув в исходники, я примерно понял свою ошибку, но всё-таки хотелось бы увидеть скриншот.

vit01> Так понятно, что поменять можно. Специально указал, что для 32-битных систем. Или Гугл одумался и выпустил 25 build-tools на старое железо?

Да, ты прав, я про эту проблему и забыл уже.

vit01> SDK, кстати, можно брать даже самый новый (но build-tools обязаны быть 23 версии для 32-битных систем).

Не обязательно, я себе с 25 версией собираю, нужно просто в файле app/build.gradle номер версии поменять.

AL> Пока не удалось поймать. Чуть позже сбекаплю базу и грохну её, чтобы успеть закринить.

Не надо базу грохать. Я только что выкатил обновление, сейчас всё должно нормально выглядеть.
Обновись, попробуй

AL>> Шрифт и правда великоват, а колесо я вообще не увидел =(
vit01> Заглянув в исходники, я примерно понял свою ошибку, но всё-таки хотелось бы увидеть скриншот.

Пока не удалось поймать. Чуть позже сбекаплю базу и грохну её, чтобы успеть закринить.

vit01>> И ещё, для всех пользователей клиента я подготовил небольшой сюрприз, о котором здесь не написал.

btimofeev> Какое-то все гигантское, и шрифт, и прогресс-колесо))

Всё относительно :)
https://ii-net.tk/screens/Screenshot_20170627-004834.png

Ну ничё, исправим

vit01>> SDK, кстати, можно брать даже самый новый (но build-tools обязаны быть 23 версии для 32-битных систем).

btimofeev> Не обязательно, я себе с 25 версией собираю, нужно просто в файле app/build.gradle номер версии поменять.

Так понятно, что поменять можно. Специально указал, что для 32-битных систем. Или Гугл одумался и выпустил 25 build-tools на старое железо?

vit01> И ещё, для всех пользователей клиента я подготовил небольшой сюрприз, о котором здесь не написал.

Какое-то все гигантское, и шрифт, и прогресс-колесо))

В стандарте описано: "msgto - пользователь, которому предназначено сообщение (либо All)".

А что если добавить возможность указывать нескольких пользователей, к примеру, через запятую. На случай, если хочешь, что бы на твоё сообщение обратили внимание определенные пользователи (и что бы сообщение попало в карбонку к ним всем). Кто что думает?

AL> А вот колёсико я так и не увидел =(

У меня оно вот такое было http://imgur.com/a/HpZy9

Кстати, на скриншоте оно выглядит не особо и большим. Сейчас обновлюсь на последние коммиты.

Ещё в это окно нужно scroll view добавить: в горизонтальном режиме при наличии ошибки нельзя кнопочку нажать, она не видна за экраном.

vit01> 2. Поддержка русских букв в урлах (см. ii://STkMhQ2eSHnTPQqAynts)

У меня по этой ссылке открывается список сообщений в develop, а не само сообщение. Но я ещё не обновлялся.

vit01>> Я только что выкатил обновление

Теперь длинные надпси, которые не входят на экран, переносятся. То, где про количество загружаемых сообщений, съезжает парой символов на вторую строку. Не критично. У меня просто очень мелкое разрешение экрана =)

А вот колёсико я так и не увидел =(

AL> А вот колёсико я так и не увидел =(

А ведь я его уменьшил более, чем в 2 раза.
Если ты в режиме энергосбережения или отключил анимации в настройках разработчика, то у тебя должно быть что-то вроде этого:

https://ii-net.tk/screens/Screenshot_20170627-143328.png

Ничё, попробую скоро завести эмулятор 5 андроида, а там и посмотрим.

vit01> Я только что выкатил обновление

Кроме этого в обновлении:

1. Багфикс создания лишних черновиков при повороте экрана
2. Поддержка русских букв в урлах (см. ii://STkMhQ2eSHnTPQqAynts)

AL>> А вот колёсико я так и не увидел =(
vit01> А ведь я его уменьшил более, чем в 2 раза.
vit01> Если ты в режиме энергосбережения или отключил анимации в настройках разработчика, то у тебя должно быть что-то вроде этого:
vit01> https://ii-net.tk/screens/Screenshot_20170627-143328.png

Такого размера я бы точно увидел колесо.

vit01> Ничё, попробую скоро завести эмулятор 5 андроида, а там и посмотрим.

Вот это я понимаю. Забота о пользователях =)

vit01>> 2. Поддержка русских букв в урлах (см. ii://STkMhQ2eSHnTPQqAynts)
btimofeev> У меня по этой ссылке открывается список сообщений в develop, а не само сообщение. Но я ещё не обновлялся.

Да, действительно. Надо будет поправить.
// если что, это самое первое сообщение про ту хрень на ардуине, там ещё ссылка на википедию есть

Подумал с недельку и ничего нового не надумал. Давайте глянем крайний раз, да попробую в доку оформить.

Схема f/c работает по аналогии с x/c, но только для фэх.

Например, f/c/books/pics


Схема f/e работает по аналогии с расширенной u/e, но только для фэх. Возвращает индекс в следующем формате:

hash:filename:size:address:description,

где hash это хеш содержимого файла по алгоритму генерации msgid;
filename - имя файла (ограничения по символам такие же, как и на эхи; по длинне 60 символов);
size - размер файла в байтах;
address - адрес отправителя (nodename, point);
description - однострочное описание файла (ограничени по длинне 1 килобайт).

Например, f/e/books/pics/-5:5


Схема f/f принимает в качестве параметров имя фэхи и хеш файла и возвращает файл.

Например, f/f/books/ansicl.pdf


Схема f/p принимает через POST-запрос параметры pauth, fecho, file и dsc и сохраняет файл в фэху.
----
Подробности реализации в спецификацию забивать не хочу, но технически у меня файлы попадают во фреки.


Из лучшений в голову приходит отказ от передачи имени фэхи в схему f/f. Но насколько это надо, я не знаю. Всё равно больше одного файла за запрос не передать.

>это бред
Поле Сс - бред =)

vit01> Хочу заметить, что если мы на filename ставим ту же регулярку, что и на эхи, то максимум будет 120 символов

Ну так я и не писал, что длину оставляем ту же. Но против 120 символов я тоже ничего не имею =)

vit01> И насчёт /f/f
vit01> Всё-таки решил добавить её вместо /x/file? Почему?

f/f позволяет качать без авторизации. Свободный фетчинг у нас же. Так что для целостности концепции. Да и как-то красивее это. А то одна дополнительная сущность начинает зависеть от другой дополнительной сущности. А то, что файлы у меня сыпаются в x/file это приятный бонус, который я не хотел бы делать частью стандарта, если честно.

Однако, готов рассмотреть варианты да =)

Мини-обновление в клиенте:

1. Карбонка теперь должна поддерживать сообщения, где получатели идут через запятую
2. В фетчинг-окне появился скроллинг, чтобы на маленьких экранах в ландшафтном режиме можно было смотреть лог при ошибке
3. При открытии ii-ссылок на сообщения теперь открывается само сообщение. (в ссылках на эху оставил список, чтобы не путаться)

btimofeev>> А что если добавить возможность указывать нескольких пользователей, к примеру, через запятую. На случай, если хочешь, что бы на твоё сообщение обратили внимание определенные пользователи (и что бы сообщение попало в карбонку к ним всем).
vit01> Вообще, так и сейчас можно делать.
vit01> Поисковой движок андроид-клиента, например, позволяет проделывать подобные фокусы (а карбонка - пока нет, сейчас будет)

Цезий пока этого не поддерживает, но в перспективе есть мысль сделать не только по полю To, но и по Subject и по тексту фильтрацию и соорудить гибкую карбонку. Но как всегда планов много а в реальности прокрастинация в полный рост.

btimofeev> А что если добавить возможность указывать нескольких пользователей, к примеру, через запятую. На случай, если хочешь, что бы на твоё сообщение обратили внимание определенные пользователи (и что бы сообщение попало в карбонку к ним всем).

Вообще, так и сейчас можно делать.
Поисковой движок андроид-клиента, например, позволяет проделывать подобные фокусы (а карбонка - пока нет, сейчас будет)

>А что если добавить возможность указывать нескольких пользователей, к примеру, через запятую
Мне придется менять маппинг в эластике и индекс переналивать, а мне лень =)

Но сама идея здравая. Может лучше что-то, типа, поля Cc добавить? Хотя не, это бред.

Хочу заметить, что если мы на filename ставим ту же регулярку, что и на эхи, то максимум будет 120 символов

И насчёт /f/f
Всё-таки решил добавить её вместо /x/file? Почему?