Статистика форума

[arseniiv]

(Посмотрев на этот список…)

О боги, как высоко я пал.

[Munin]

А как этим Filter-ом пользоваться? Я не угадал, как задать диапазон. Хелп какой-нибудь можно прикрутить?

[rockclimber]

Munin
Каким filter'ом? Вверху страницы, который на всех страницах отображается? Забыл вчера добавить условие в запрос. Исправил.

[grizzly]

rockclimber
У меня к Вам есть вопрос.
Я планирую создать что-то вроде путеводителя по форуму (для тех, кто просто ищет развлечений) и что-то вроде FAQ. (Я не планирую пока никаких технических чудес -- просто отдельное сообщение с ссылками на наиболее ценные темы / сообщения форума.) Один из способов, который я могу придумать для этих целей, состоит в следующем:
Создать и проанализировать частотные словари форума (списки слов, отсортированных в порядке убывания частоты) следующих типов:

1. Слова в названиях тем.
2. Слова в текстах сообщений нерядовых пользователей (модераторов и ЗУ).
3. Слова в текстах сообщений рядовых пользователей.

Хорошо бы мне иметь это отдельно только для математических разделов.

Если Вы сможете вытянуть все эти тексты в указанных группировках, форум Вас не забудет :)
Мне достаточно иметь только сырые данные. Но если для Вас написать скрипт для создания частотного словаря -- пара минут времени, то это может быть проще и быстрее, чем выкладывать где-то гиг архивов. О словоформах и всяком мусоре можно вовсе не беспокоиться -- я разберусь с этим сам.

PS. Всё это совсем не срочно -- я планирую заниматься (не спеша) своими проектами полгода, не меньше.
PPS. Я надеюсь, что прошу от Вас не более 2-3 часов личного времени (не считая работы компьютеров). Если это существенно больше, лучше обсудить отдельно и целесообразность, и методы.

[rockclimber]

Я не против посотрудничать.
Что касается слов (как я уже писал где-то в этом топике), то у меня хранятся только названия тем. Соответственно, написать скрипт для частотного анализа как раз часа 2 - 3 и займет, это не проблема. С сообщениями сложнее, тексты сообщений я никак не обрабатываю и не храню, поэтому парсер придется серьезно дорабатывать, а потом заново сканировать форум. Ну, за ваши полгода точно уложусь Скажите только, в каком виде вы хотели бы данные.
Если вы знаете SQL, могу дать доступ в веб IDE. Да в принципе и доступ к серверу могу дать, будете сами вытаскивать что нужно.

[Anton_Peplov]

grizzly
А можно вынести подробности проекта на обсуждение? Глядишь, кто-нибудь скажет что-нибудь полезное. В отдельной теме, само собой.

[grizzly]

rockclimber
Спасибо. Можете дать мне сырые названия тем, но только из математических разделов? Это пару мегабайт в архиве, но может быть полезно в других разрезах / целях. А со скриптами я сам справлюсь.

Нет-нет, такие большие затраты усилий точно не окупятся -- нужно искать простые решения. Давайте пока всё остальное припаркуем на время, а я когда созрею, свяжусь через ЛС.

[rockclimber]

grizzly
То есть просто список строк в текстовом файле? Дополнительная информация нужна? Ну там дата создания, ID, еще что-то?

[grizzly]

Anton_Peplov в сообщении #1161383 писал(а):

А можно вынести подробности проекта на обсуждение?

Конечно -- я собираюсь вынести это на обсуждение. Я бы не взял на себя смелость решать самостоятельно вопрос, который считаю настолько важным. Тем более, что здесь неизвестно ещё, что важнее -- качество фильтрации материала или юзабилити.

-- 20.10.2016, 15:39 --

rockclimber в сообщении #1161386 писал(а):

То есть просто список строк в текстовом файле?

Я не знаю, как это всё устроено. Если просто извлечь информацию, то можно так:

Раздел;
Дата;
ТС;
Название темы;
Количество сообщений в теме;
В том числе количество сообщений ЗУ (тут, к сожалению, модераторов лучше проигнорировать);
Количество просмотров темы.

Какие из этих полей целесообразнее собрать -- решайте по принципу: сделать максимум, приложив минимум усилий. Я не хотел бы отнимать много Вашего времени.

Выгрузку можно делать в текстовый файл с разделителями, да.

Пользы от ID я не вижу -- если я решусь взять доступ к базе, я сам их найду.

[Munin]

Вот сейчас мне потребовалась давно затребованная фича: чтобы от одной темы можно было перейти ко всем, на которые она ссылается, или ко всем, которые на неё ссылаются. Не нашёл.

+ жалоба: время жизни сессии очень короткое. Неудобно. (Если проблема с кэшированием, то можно было бы всю необходимую информацию в URL загнать.)

[rockclimber]

Munin
Извините, только сейчас увидел ваш пост. Время жизни сессии сколько сделать? Изначально во фреймворке стоит час, и там это часть политики безопасности (сессия отваливается после часа неактивности).

[Munin]

Мне бы несколько месяцев :-) Реально, не понимаю, зачем это время вообще ограничивать. У меня есть окна на форуме, открытые годами.

[Anton_Peplov]

rockclimber
У меня вопрос. Можно ли с небольшими затратами труда с Вашей стороны сделать список тем в корневом разделе Свободного полета, начатых ЗУ? Сортировка - по возрастанию даты последнего сообщения.

Поясню, зачем это надо. Мы занимаемся сейчас путеводителем по форуму. Раздел "Беседы на околонаучные темы" я просматривал ручками. Это около тысячи тем, которые "по умолчанию про науку", на это я пошел. Корневой раздел - это около четырех тысяч тем, которые "по умолчанию про ерунду". Просматривать его насквозь я не хочу и не думаю, что кто-то захочет. Значит, надо применить автоматические фильтры, выделяющие обозримое подмножество тем, предположительно охватывающее значительную (в идеале - большую) часть тем интересных и содержательных, и уже продукт фильтрации просмотреть ручками.
Фильтров, в общем, можно придумать только два: по ключевым словам и по авторам. Я сейчас просматриваю темы, выделенные по найденным ключевым словам нау*|матем*. Однако выделение по авторству ЗУ тоже, думаю, имеет смысл.

В идеале я хотел бы иметь этот список как можно скорее, чтобы выполнять поиск в двух списках параллельно, потому что ясно, что они сильно пересекаются. Просмотрел, скажем, один список за 2011 г. и, пока еще легко опознать темы, которые только что видел, прошелся по другому списку (идеально было бы, конечно, автоматически получать список тех и только тех начатых ЗУ тем, которые отсутствуют в выдаче поиска по запросу нау*|матем*). Но Вы сами распоряжаетесь своим временем и я не смею Вас торопить.

[rockclimber]

Munin в сообщении #1167623 писал(а):

Мне бы несколько месяцев Реально, не понимаю, зачем это время вообще ограничивать. У меня есть окна на форуме, открытые годами.

По умолчанию ограничено. Поставил бесконечное время, попробуйте.

Anton_Peplov
В принципе можно, попробую сделать. Это должно быть быстро. Если хотите, могу добавить поле для поиска в названии тем (они у меня хранятся). Можно будет использовать спецсимволы для SQL-запросов ("%" - любое количество любых символов, "_" - один любой символ). Если знаете регулярные выражения, можно и их присобачить - это тоже относительно просто. Документация по поиску - вот, примерно так можно будет искать.
Если подтвердите необходимость доп. фич в течение ближайших 30 минут, сделаю прямо сейчас. Если позже - обещать не могу. Ну завтра к вечеру, наверно.

[Anton_Peplov]

Дополнительных фич, наверное, никаких не надо (список тем ЗУ будет много короче, чем список тем, где есть нау*|матем*, так что если и искать что-то перекрестно, то во втором, а не в первом). Нужен просто список.