[#] Эдгар Аллан По
Andrew Lobanov(station13, 1) — All
2016-04-20 10:46:47


В честь моего интереса к сабжу на station13 появилась скрытоэха edgar.allan.poe с его рассказами и стихами. Эха пока в процессе наполнения. Порядок содержимого таков: по годам (каждый год в алфавитном порядке) сперва рассказы, а в последствии добавлю и стихи.

На гейт ставить пока ни к чему, пожалуй, но можно настроить клиенты и почитать =)

[#] Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-20 14:24:34


На сегменте mira station фетч настроен. Почему? Потому что всякие подобные хорошие вещи должны быть доступны по всей сети, а прецеденты с внезапными отключениями у нас уже происходили.

[#] Re: Эдгар Аллан По
Difrex(mira, 14) — vit01
2016-04-20 16:50:51


Если эха будет в list.txt, то и в поиске появится =)

[#] Re: Эдгар Аллан По
Difrex(mira, 14) — vit01
2016-04-20 17:38:25


>Пусть Андрей сам сначала добавит (ведь скрытоэха).
Ну, как добавится, то все автоматом проиндексируется.

[#] Re: Эдгар Аллан По
vit01(mira, 1) — Difrex
2016-04-20 17:01:42


Difrex> Если эха будет в list.txt, то и в поиске появится =)

Пусть Андрей сам сначала добавит (ведь скрытоэха). А так как-то странно подобные вещи прятать. Если годный контент есть, то пусть его будет видно.

[#] Re: Эдгар Аллан По
Difrex(mira, 14) — Difrex
2016-04-20 17:41:00


У меня индексируется все с 4-х известных мне нод, что есть в list.txt(даже пони туда попали)

[#] Re: Поисковик
vit01(mira, 1) — Difrex
2016-04-20 18:30:27


Difrex> все с 4-х известных мне нод

А архива за 2014 год всё-таки нет. http://alicorn.tk/ii-old/ii-point.php?q=/

// уже добавил таверну в http://ii-net.tk/station.html

Difrex> (даже пони туда попали)

Если наберёшь в амбреллу, например, echo "0L/QvtGF0L7QttC00LXQvdC40Y8g0YHRgtGA0LDQttCwCg==" | base64 -d (осторожно), то ты поймёшь, почему не все эхи следует добавлять в поисковой индекс :D

В том же архиве много в том числе и дебаг-эх (например, для трейсов Питона или для html) родом с 2014, которые также тащить не имеет особого смысла.

[#] Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — vit01
2016-04-21 06:41:32


vit01> Пусть Андрей сам сначала добавит (ведь скрытоэха). А так как-то странно подобные вещи прятать. Если годный контент есть, то пусть его будет видно.

Меня смущает разве что юридический вопрос. То, что права на сами произведения уже давно в Public Domain это ясно, а вот с переводами как дела обстоят неизвестно.

[#] Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-21 07:07:03


AL> Меня смущает разве что юридический вопрос. То, что права на сами произведения уже давно в Public Domain это ясно, а вот с переводами как дела обстоят неизвестно.

На переводы авторское право действует по тому же алгоритму. Можно загуглить где-нибудь отдельные фрагменты текста, чтобы найти первоисточник.

Или даже ещё проще. В статье на Викитеке, к примеру, указаны разные переводы и их года. Если прибавить к ним 70 лет, то для большинства исключительное право уже давно истекло, так что свободно можно брать.
https://ru.wikisource.org/wiki/%D0%AD%D0%B4%D0%B3%D0%B0%D1%80_%D0%90%D0%BB%D0%BB%D0%B0%D0%BD_%D0%9F%D0%BE#.D0.A0.D0.B0.D1.81.D1.81.D0.BA.D0.B0.D0.B7.D1.8B

[#] Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — vit01
2016-04-21 19:55:26


vit01> Кстати, по сабжеэхе. Слишком большие рассказы надо бы разделять на несколько частей, потому что они не вписываются в стандарт. На php-ноде лимит и так повышен немного, но чтоб до такой степени...

Так ведь ни одно сообщение 64 килобайта не превышает. С другой стороны, base64 даёт некоторую избыточность, но как её вычислять? Даже в древнем фидонете ограничение было 64 килобайта. Это без всякого избыточного кодирования и в однобайтной кодировке.

[#] Re: Поисковик
Difrex(mira, 14) — vit01
2016-04-21 10:55:38


>А архива за 2014 год всё-таки нет. http://alicorn.tk/ii-old/ii-point.php?q=/
Эхи есть в list.txt? У меня не добавлена нода alicorn.tk. Ща сделаю.

>Если наберёшь в амбреллу, например, echo "0L/QvtGF0L7QttC00LXQvdC40Y8g0YHRgtGA0LDQttCwCg==" | base64 -d

ЛОЛ, ржу :D

[#] Re: Поисковик
vit01(mira, 1) — Difrex
2016-04-21 17:43:11


Difrex> Эхи есть в list.txt? У меня не добавлена нода alicorn.tk. Ща сделаю.
AL> На аликорне, вроде, всё на виду

list.txt в архиве заботливо заполняется вручную и доступен как по API, так и внутри tar.xz вместе с содержимым.

[#] Re: Поисковик
Andrew Lobanov(tavern,1) — Difrex
2016-04-21 11:02:46


>> А архива за 2014 год всё-таки нет. http://alicorn.tk/ii-old/ii-point.php?q=/
Difrex> Эхи есть в list.txt? У меня не добавлена нода alicorn.tk. Ща сделаю.

На аликорне, вроде, всё на виду.

>> Если наберёшь в амбреллу, например, echo "0L/QvtGF0L7QttC00LXQvdC40Y8g0YHRgtGA0LDQttCwCg==" | base64 -d
Difrex> ЛОЛ, ржу :D

Чего только люди не делают ага =)

[#] Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-21 18:37:40


Кстати, по сабжеэхе. Слишком большие рассказы надо бы разделять на несколько частей, потому что они не вписываются в стандарт. На php-ноде лимит и так повышен немного, но чтоб до такой степени...

fetch http://idec.spline-online.tk/u/m/sPn1SzQ3yumOmkabTJNh/NnK9BULgARR4lvyZlgX0
error: msg big
error: msg big

[#] Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — All
2016-04-21 20:35:07


AL> Оставим как есть и я буду тогда сносить creepy.14 и edgar.allan.poe или пересмотрим стандарты?

Ещё в lit.14 есть большие сообщения. В общем, я вижу три варианта дальнейших событий:

1. Мы расширяем допустимый размер кодированного сообщения до 84 килобайт, что даст нам 64 килобайта полезной нагрузки.

2. Мы не трогаем стандарт, глушим и перебираем (видимо, я, ведь я эти толстые сообщения заслал) проблемные эхи.

3. Не трогаем стандарт и оставляем проблемные эхи как есть.

Больше вариантов я пока не придумал. Что думаете, товарищи?

[#] Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — All
2016-04-21 22:13:41


Исправлен баг в iing с неверным определением размера входящих сообщений.

[#] Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — All
2016-04-21 20:09:31


В общем, увеличение объёма примерно на треть. То есть на 64К кодированного сообщения приходится всего 48К полезной нагрузки. Оставим как есть и я буду тогда сносить creepy.14 и edgar.allan.poe или пересмотрим стандарты?

[#] Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-21 20:58:53


> 1. Мы расширяем допустимый размер кодированного сообщения до 84 килобайт, что даст нам 64 килобайта полезной нагрузки.

Расширил на ноде лимит кодированного сообщения до 87382 байт, что соответствует 4/3 для 64 килобайт (65536 байт) полезной нагрузки. Надо было это сделать ещё раньше.

> 2. Мы не трогаем стандарт, глушим и перебираем (видимо, я, ведь я эти толстые сообщения заслал) проблемные эхи.

Да, так и следует. После того, как я посмотрел в исходники, то убедился в своей правоте. Лимит в 64 кб полезной нагрузки определился правильно, и проблема именно в самих сообщениях.

А насчёт стандарта вообще забавная история. Про размер сообщений в базе там не сказано ни слова. Так что формально проблемы как бы и нет. Но это всё равно не дело, и предлагаю установить стандартом лимит в 64 кб чистого текста.

[#] Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-21 20:31:45


AL> В общем, увеличение объёма примерно на треть. То есть на 64К кодированного сообщения приходится всего 48К полезной нагрузки. Оставим как есть и я буду тогда сносить creepy.14 и edgar.allan.poe или пересмотрим стандарты?

Нет, здесь немного по-другому. В стандартах лимит 64К именно на "реальную" информацию, поэтому для base64 порог должен быть побольше.

Сейчас на php-ноде в стандартных лимитах стоит вот это:

$postlimit=70000; // limit for base64 pointmsg
$msgtextlimit=65536; // limit for message text (with headers)

creepy.14 сносить не имеет смысла, потому что она нормально переваривается фетчерами. В сабжевой эхе можно сделать гораздо проще: добавить "большие" сообщения в blacklist и просто запостить их снова, разделив на части.

[#] Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — All
2016-04-21 22:13:22


Исправлен баг в iing с неверным определением размера входящих сообщений.

[#] Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — Andrew Lobanov
2016-04-21 21:04:32


Шарик, ты балбес.

Приношу извинения за поток сознания. Не разглядел сперва.

Тогда предлагаю идти просто: сообщения добавить в блеклист сообщения:

dC7OnJorzWbuIFHwQGSV
QtejFXhvltgGk2HQAMpA
0k6IPR9lTJSKbFHPN9q5
sPn1SzQ3yumOmkabTJNh
LaXI0wDMJUtzT5r2InP7
pxV4dz8m1TzwSRANrynE
HHVbGQxkeywkNahLo8GT
bQcnbAcxQHYnivn8i1Gq
9Pp1jKkFX1ujg1hvFY4k
zzGJqgpS7HJckntZcXqq
NnK9BULgARR4lvyZlgX0

Я их переразобью в соответствии со стандартом и зашлю по новой.

[#] Re: Поисковик
Difrex(mira, 14) — vit01
2016-04-22 10:11:59


Архив добавлен в индекс.

[#] Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — Andrew Lobanov
2016-04-21 22:21:15


AL> Тогда предлагаю идти просто: сообщения добавить в блеклист сообщения:

AL> Я их переразобью в соответствии со стандартом и зашлю по новой.

Сообщения в блеклисте. Соответствующие произведения переразбиты и переотправлены в эху.