 fox
II/IDEC networks :: ii.14 :: / Полёт фантазии, часть вторая
|
Login |
[#]
Полёт фантазии, часть вторая
vit01(mira, 1) — All
2016-03-08 07:38:27
Продолжение ii://gq8nGRAU1AyNC34AE67K
Прототип работы "Самоархивации".
Итак, имеется скрипт, запускаемый раз в пару дней в Cron на станции.
Он просматривает количество сообщений в каждой эхе. Если оно больше N (предположим, 5000), скрипт отнимает от этого числа N1 (ну пусть 1000): N2=N-N1;
Затем скрипт берёт N2 первых сообщений из эхи, смотрит таймстамп первого и последнего, и сохраняет их в бандле под названием <echoarea>-<timestamp1>-<timestamp2>.bundle. Бандл отправляется в специальный архив, а сами взятые сообщения из эхи удаляются.
Здесь учитывается, что серверный фетчер работает не по обычному /u/e, а по расширенному, получая примерно 0.5*N1 msgid на эху.
В итоге нода (да и вся сеть) может работать "на автопилоте" при полном отсутствии сисопов. Вполне хорошая альтернатива перекатыванию. А юзеры/клиенты и не заметят ничего.
vit01(mira, 1) — All
2016-03-08 07:38:27
Продолжение ii://gq8nGRAU1AyNC34AE67K
Прототип работы "Самоархивации".
Итак, имеется скрипт, запускаемый раз в пару дней в Cron на станции.
Он просматривает количество сообщений в каждой эхе. Если оно больше N (предположим, 5000), скрипт отнимает от этого числа N1 (ну пусть 1000): N2=N-N1;
Затем скрипт берёт N2 первых сообщений из эхи, смотрит таймстамп первого и последнего, и сохраняет их в бандле под названием <echoarea>-<timestamp1>-<timestamp2>.bundle. Бандл отправляется в специальный архив, а сами взятые сообщения из эхи удаляются.
Здесь учитывается, что серверный фетчер работает не по обычному /u/e, а по расширенному, получая примерно 0.5*N1 msgid на эху.
В итоге нода (да и вся сеть) может работать "на автопилоте" при полном отсутствии сисопов. Вполне хорошая альтернатива перекатыванию. А юзеры/клиенты и не заметят ничего.
[#]
Re: Полёт фантазии, часть вторая
Andrew Lobanov(station13, 1) — vit01
2016-03-10 15:14:45
vit01> Продолжение ii://gq8nGRAU1AyNC34AE67K
vit01> В итоге нода (да и вся сеть) может работать "на автопилоте" при полном отсутствии сисопов. Вполне хорошая альтернатива перекатыванию. А юзеры/клиенты и не заметят ничего.
Но ведь у нас в связи как раз с расширенной /u/e проблема перекатывания уже не актуальна. Или пока продолжаем перекатываться?
Andrew Lobanov(station13, 1) — vit01
2016-03-10 15:14:45
vit01> Продолжение ii://gq8nGRAU1AyNC34AE67K
vit01> В итоге нода (да и вся сеть) может работать "на автопилоте" при полном отсутствии сисопов. Вполне хорошая альтернатива перекатыванию. А юзеры/клиенты и не заметят ничего.
Но ведь у нас в связи как раз с расширенной /u/e проблема перекатывания уже не актуальна. Или пока продолжаем перекатываться?
[#]
Re: Полёт фантазии, часть вторая
vit01(mira, 1) — Andrew Lobanov
2016-03-10 16:37:50
AL> Но ведь у нас в связи как раз с расширенной /u/e проблема перекатывания уже не актуальна.
Нет, я немного про другое. Одно дело теория, а другое - практика. Ресурсы у нас не резиновые, и при большом индексе обработка данных замедляется (на сервере).
Также всё ещё стоит думать о тех, кто расширения не поддерживает. Понятно, конечно, что 0.3 никому не нужен, но если вдруг появится необходимость скачать все сообщения разом, то их количество > 10000 на эху - только минус.
"Самоархивация" - это всего лишь один из способов, который позволяет держать _количество_ сообщений под контролем. Не хочется ведь, чтобы наша сетка постепенно превратилась в биткоин (перекатывание было одним из реальных решений этой проблемы).
// В фидо, насколько мне рассказывали, используется что-то подобное (только посложнее, конечно).
AL> Или пока продолжаем перекатываться?
Сейчас уже как душе угодно. В ближайший год основные эхи ("человеческие", включая эту) ни так, ни эдак, думаю, перекатывать не имеет смысла.
Но если захочется "начать жизнь с чистого листа" для какой-то тематики в целом, то почему бы и нет.
vit01(mira, 1) — Andrew Lobanov
2016-03-10 16:37:50
AL> Но ведь у нас в связи как раз с расширенной /u/e проблема перекатывания уже не актуальна.
Нет, я немного про другое. Одно дело теория, а другое - практика. Ресурсы у нас не резиновые, и при большом индексе обработка данных замедляется (на сервере).
Также всё ещё стоит думать о тех, кто расширения не поддерживает. Понятно, конечно, что 0.3 никому не нужен, но если вдруг появится необходимость скачать все сообщения разом, то их количество > 10000 на эху - только минус.
"Самоархивация" - это всего лишь один из способов, который позволяет держать _количество_ сообщений под контролем. Не хочется ведь, чтобы наша сетка постепенно превратилась в биткоин (перекатывание было одним из реальных решений этой проблемы).
// В фидо, насколько мне рассказывали, используется что-то подобное (только посложнее, конечно).
AL> Или пока продолжаем перекатываться?
Сейчас уже как душе угодно. В ближайший год основные эхи ("человеческие", включая эту) ни так, ни эдак, думаю, перекатывать не имеет смысла.
Но если захочется "начать жизнь с чистого листа" для какой-то тематики в целом, то почему бы и нет.