[#]
Эдгар Аллан По
Andrew Lobanov(station13, 1) — All
2016-04-20 10:46:47
В честь моего интереса к сабжу на station13 появилась скрытоэха edgar.allan.poe с его рассказами и стихами. Эха пока в процессе наполнения. Порядок содержимого таков: по годам (каждый год в алфавитном порядке) сперва рассказы, а в последствии добавлю и стихи.
На гейт ставить пока ни к чему, пожалуй, но можно настроить клиенты и почитать =)
[#]
Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-20 14:24:34
На сегменте mira station фетч настроен. Почему? Потому что всякие подобные хорошие вещи должны быть доступны по всей сети, а прецеденты с внезапными отключениями у нас уже происходили.
[#]
Re: Эдгар Аллан По
Difrex(mira, 14) — vit01
2016-04-20 17:38:25
>Пусть Андрей сам сначала добавит (ведь скрытоэха).
Ну, как добавится, то все автоматом проиндексируется.
[#]
Re: Эдгар Аллан По
vit01(mira, 1) — Difrex
2016-04-20 17:01:42
Difrex> Если эха будет в list.txt, то и в поиске появится =)
Пусть Андрей сам сначала добавит (ведь скрытоэха). А так как-то странно подобные вещи прятать. Если годный контент есть, то пусть его будет видно.
[#]
Re: Эдгар Аллан По
Difrex(mira, 14) — Difrex
2016-04-20 17:41:00
У меня индексируется все с 4-х известных мне нод, что есть в list.txt(даже пони туда попали)
[#]
Re: Поисковик
vit01(mira, 1) — Difrex
2016-04-20 18:30:27
Difrex> все с 4-х известных мне нод
А архива за 2014 год всё-таки нет.
http://alicorn.tk/ii-old/ii-point.php?q=/
Difrex> (даже пони туда попали)
Если наберёшь в амбреллу, например, echo "0L/QvtGF0L7QttC00LXQvdC40Y8g0YHRgtGA0LDQttCwCg==" | base64 -d (осторожно), то ты поймёшь, почему не все эхи следует добавлять в поисковой индекс :D
В том же архиве много в том числе и дебаг-эх (например, для трейсов Питона или для html) родом с 2014, которые также тащить не имеет особого смысла.
[#]
Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — vit01
2016-04-21 06:41:32
vit01> Пусть Андрей сам сначала добавит (ведь скрытоэха). А так как-то странно подобные вещи прятать. Если годный контент есть, то пусть его будет видно.
Меня смущает разве что юридический вопрос. То, что права на сами произведения уже давно в Public Domain это ясно, а вот с переводами как дела обстоят неизвестно.
[#]
Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — vit01
2016-04-21 19:55:26
vit01> Кстати, по сабжеэхе. Слишком большие рассказы надо бы разделять на несколько частей, потому что они не вписываются в стандарт. На php-ноде лимит и так повышен немного, но чтоб до такой степени...
Так ведь ни одно сообщение 64 килобайта не превышает. С другой стороны, base64 даёт некоторую избыточность, но как её вычислять? Даже в древнем фидонете ограничение было 64 килобайта. Это без всякого избыточного кодирования и в однобайтной кодировке.
[#]
Re: Поисковик
Difrex(mira, 14) — vit01
2016-04-21 10:55:38
>А архива за 2014 год всё-таки нет. http://alicorn.tk/ii-old/ii-point.php?q=/
Эхи есть в list.txt? У меня не добавлена нода alicorn.tk. Ща сделаю.
>Если наберёшь в амбреллу, например, echo "0L/QvtGF0L7QttC00LXQvdC40Y8g0YHRgtGA0LDQttCwCg==" | base64 -d
ЛОЛ, ржу :D
[#]
Re: Поисковик
vit01(mira, 1) — Difrex
2016-04-21 17:43:11
Difrex> Эхи есть в list.txt? У меня не добавлена нода alicorn.tk. Ща сделаю.
AL> На аликорне, вроде, всё на виду
list.txt в архиве заботливо заполняется вручную и доступен как по API, так и внутри tar.xz вместе с содержимым.
[#]
Re: Поисковик
Andrew Lobanov(tavern,1) — Difrex
2016-04-21 11:02:46
>> А архива за 2014 год всё-таки нет. http://alicorn.tk/ii-old/ii-point.php?q=/
Difrex> Эхи есть в list.txt? У меня не добавлена нода alicorn.tk. Ща сделаю.
На аликорне, вроде, всё на виду.
>> Если наберёшь в амбреллу, например, echo "0L/QvtGF0L7QttC00LXQvdC40Y8g0YHRgtGA0LDQttCwCg==" | base64 -d
Difrex> ЛОЛ, ржу :D
Чего только люди не делают ага =)
[#]
Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-21 18:37:40
Кстати, по сабжеэхе. Слишком большие рассказы надо бы разделять на несколько частей, потому что они не вписываются в стандарт. На php-ноде лимит и так повышен немного, но чтоб до такой степени...
fetch http://idec.spline-online.tk/u/m/sPn1SzQ3yumOmkabTJNh/NnK9BULgARR4lvyZlgX0
error: msg big
error: msg big
[#]
Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — All
2016-04-21 20:35:07
AL> Оставим как есть и я буду тогда сносить creepy.14 и edgar.allan.poe или пересмотрим стандарты?
Ещё в lit.14 есть большие сообщения. В общем, я вижу три варианта дальнейших событий:
1. Мы расширяем допустимый размер кодированного сообщения до 84 килобайт, что даст нам 64 килобайта полезной нагрузки.
2. Мы не трогаем стандарт, глушим и перебираем (видимо, я, ведь я эти толстые сообщения заслал) проблемные эхи.
3. Не трогаем стандарт и оставляем проблемные эхи как есть.
Больше вариантов я пока не придумал. Что думаете, товарищи?
[#]
Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — All
2016-04-21 20:09:31
В общем, увеличение объёма примерно на треть. То есть на 64К кодированного сообщения приходится всего 48К полезной нагрузки. Оставим как есть и я буду тогда сносить creepy.14 и edgar.allan.poe или пересмотрим стандарты?
[#]
Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-21 20:58:53
> 1. Мы расширяем допустимый размер кодированного сообщения до 84 килобайт, что даст нам 64 килобайта полезной нагрузки.
Расширил на ноде лимит кодированного сообщения до 87382 байт, что соответствует 4/3 для 64 килобайт (65536 байт) полезной нагрузки. Надо было это сделать ещё раньше.
> 2. Мы не трогаем стандарт, глушим и перебираем (видимо, я, ведь я эти толстые сообщения заслал) проблемные эхи.
Да, так и следует. После того, как я посмотрел в исходники, то убедился в своей правоте. Лимит в 64 кб полезной нагрузки определился правильно, и проблема именно в самих сообщениях.
А насчёт стандарта вообще забавная история. Про размер сообщений в базе там не сказано ни слова. Так что формально проблемы как бы и нет. Но это всё равно не дело, и предлагаю установить стандартом лимит в 64 кб чистого текста.
[#]
Re: Эдгар Аллан По
vit01(mira, 1) — Andrew Lobanov
2016-04-21 20:31:45
AL> В общем, увеличение объёма примерно на треть. То есть на 64К кодированного сообщения приходится всего 48К полезной нагрузки. Оставим как есть и я буду тогда сносить creepy.14 и edgar.allan.poe или пересмотрим стандарты?
Нет, здесь немного по-другому. В стандартах лимит 64К именно на "реальную" информацию, поэтому для base64 порог должен быть побольше.
Сейчас на php-ноде в стандартных лимитах стоит вот это:
$postlimit=70000; // limit for base64 pointmsg
$msgtextlimit=65536; // limit for message text (with headers)
creepy.14 сносить не имеет смысла, потому что она нормально переваривается фетчерами. В сабжевой эхе можно сделать гораздо проще: добавить "большие" сообщения в blacklist и просто запостить их снова, разделив на части.
[#]
Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — Andrew Lobanov
2016-04-21 21:04:32
Шарик, ты балбес.
Приношу извинения за поток сознания. Не разглядел сперва.
Тогда предлагаю идти просто: сообщения добавить в блеклист сообщения:
dC7OnJorzWbuIFHwQGSV
QtejFXhvltgGk2HQAMpA
0k6IPR9lTJSKbFHPN9q5
sPn1SzQ3yumOmkabTJNh
LaXI0wDMJUtzT5r2InP7
pxV4dz8m1TzwSRANrynE
HHVbGQxkeywkNahLo8GT
bQcnbAcxQHYnivn8i1Gq
9Pp1jKkFX1ujg1hvFY4k
zzGJqgpS7HJckntZcXqq
NnK9BULgARR4lvyZlgX0
Я их переразобью в соответствии со стандартом и зашлю по новой.
[#]
Re: Эдгар Аллан По
Andrew Lobanov(tavern,1) — Andrew Lobanov
2016-04-21 22:21:15
AL> Тогда предлагаю идти просто: сообщения добавить в блеклист сообщения:
AL> Я их переразобью в соответствии со стандартом и зашлю по новой.
Сообщения в блеклисте. Соответствующие произведения переразбиты и переотправлены в эху.