Статистика форума

[rockclimber]

Временный UPD
Небольшой опрос тех, кто пользуется статистикой (такая вот метастатистика).
Вопросов три:
1) Как часто вы пользуетесь
2) С какой целью
3) Если пользуетесь с целью найти что-то конкретное, насколько успешно?
В опросе можно выбрать три варианта ответа (по одному на каждый из этих вопросов). На первый вопрос - ответы 1 - 4, на второй - 5 - 7, на третий - 8 - 10.
***

Основная идея навеяна вот этим постом:

Munin в сообщении #1057130 писал(а):

Вот я давно мечтаю, чтобы такое прикрутили к dxdy. Администрация не хочет, но при помощи стандартного поиска по сообщениям или по темам, такое можно сделать и на внешнем сервере.

Интересно было бы:
- посмотреть, какие темы самые длинные;
- посмотреть, какие темы самые "долгоживущие" (и вообще, для каждой темы - график активности в ней по времени);
- посмотреть, в каких темах больше всего постов данного пользователя (и абсолютно, и в процентах);
- вообще, интересно было бы отследить и размеры постов, хотя бы в байтах, но вот это, кажется, простым поиском не делается, а создаст большую нагрузку на сервер dxdy - то есть, от этого можно и отказаться.

В общем, от нечего делать, сделал я простенький парсер веб-страничек, и собрал в укромном месте немного данных (ID пользователя, ник, статус и дата регистрации). Источником данных пока служит только список пользователей, ссылку на который можно видеть в правом верхнем углу страницы. А к данным прикрутил несколько графиков, чтобы было красиво. Парсер работу пока не закончил, поэтому данные там пока не все.
Выглядит это все сейчас вот так: https://apex.oracle.com/pls/apex/f?p=62481:300
Это, так сказать, демо-версия, просто чтобы показать, что "так тоже можно сделать". Круговая диаграмма справа кликабельна. Внизу четыре диаграммы, показывающие статистику по датам регистрации. По клику на диаграмме графики показывают статистику по выбранной группе, кнопка "Сброс" сбрасывает выбранную группу и показывает всех пользователей. Таким же образом можно вытащить немного данных по топикам и сообщениям, и тоже показать что-нибудь любопытное, этим я тоже не против заняться.

Вопросы (к пользователям и администрации):
1) Ку? Дальше продолжать?
в случае положительного ответа на первый вопрос -
2) чего добавить? Заказывайте, пока я добрый
и
3) Не будет ли любезен кто-либо из многоуважаемых джиннов скинуть мне выгрузку в csv чего-нибудь типа: ID пользователя - ID сообщения - дата написания сообщения - размер в байтах - название топика - название форума? Это будет быстрее, чем грузить страницы и парсить их вебдрайвером. Остальное сделаю сам.

Если администрация категорически против подобного рода активности, удалю все собранные данные по первому требованию и больше так не буду.

UPD
Статистика теперь размещается здесь: http://88.198.108.210:8080/ords/f?p=100:1

UPD2
cepesh любезно выделил поддомены:
http://rockstats.dxdy.ru/
http://rockclimber.dxdy.ru/

[provincialka]

Ишь ты! Спамеры в основном регистрировались в субботу, а ЗУ -- в воскресенье! Забавно! (надо бы статистическую значимость проверить)

[rockclimber]

provincialka в сообщении #1058317 писал(а):

надо бы статистическую значимость проверить

Давайте формулы, прикручу к графику, прям там же рассчитываться будет

[provincialka]

(Ой! не сейчас... Надо подумать еще, значимость чего рассчитывать...)

[Munin]

1, 2) Моё мнение вы знаете, так что могу вообще ничего не писать :-)
3) Боюсь, джинны не только не захотят, но и отмолчатся. С другой стороны, "поиск" на форуме позволяет всё это скачать и без CSV. И если (как я надеюсь) вето со стороны администрации не поступит, то я за такой вариант.

[Anton_Peplov]

Хорошо бы к абсолютным цифрам прикрутить сразу и проценты. Оно, конечно, на диаграмме и на глазок видно, но...

[rockclimber]

Munin в сообщении #1058324 писал(а):

С другой стороны, "поиск" на форуме позволяет всё это скачать и без CSV.

Да все проще. Адреса топиков имеют простой вид: topic101371.html, где число можно считать уникальным идентификатором. Просто перебираем от $1$ до $N$... Я уже все продумал, осталось только сделать. Самое главное - до начала сканирования определиться с тем, что сохранять. Потому что если потом будет "а давайте добавим еще это", то ради скачивания одного дополнительного байтика на топик придется все проворачивать заново. И форум нагрузкой не уложить...

[arseniiv]

rockclimber в сообщении #1058315 писал(а):

Дальше продолжать?

Да, интересно.

[Munin]

rockclimber в сообщении #1058330 писал(а):

И форум нагрузкой не уложить...

Вот тут вы побольше божитесь, а то админы и вправду расценят вашу деятельность как потенциально вредоносную.

[longstreet]

rockclimber в сообщении #1058315 писал(а):

Заказывайте, пока я добрый

rockclimber, очень любопытно Ваше начинание! Хочется больше графиков. И меньше круговых диаграмм (см., например, раз, два).

rockclimber в сообщении #1058315 писал(а):

Если администрация категорически против подобного рода активности

С чего бы это? Вы же по чуть-чуть, насколько я понял.

[Yadryara]

rockclimber
Здорово! Интересно!

Кроме статистической значимости, тут вот ещё какой момент:

cepesh в сообщении #916279 писал(а):

Я раньше чистил неактивированные аккаунты, тысячами удалял. Но потом перестал.

Интересно, с какого времени перестали удаляться аккаунты. То есть статистика до какого-то времени не шибко достоверна — большой кусок выпал.

Кстати, в той же теме обсуждался и тот факт, что очень многие(больше половины всех пользователей!) не написали ни одного сообщения.

[rockclimber]

longstreet в сообщении #1058345 писал(а):

Хочется больше графиков.

Так весь вопрос в том, что именно показывать на графиках. А так-то не проблема, можно сотнями рисовать.

longstreet в сообщении #1058345 писал(а):

И меньше круговых диаграмм (см., например, раз , два ).

Тут, как мне кажется, авторы сгущают краски. Хотя я не знаю, я круговые диаграммы почти никогда не использовал, да и вижу их редко.

longstreet в сообщении #1058345 писал(а):

rockclimber в сообщении #1058315 писал(а):

Если администрация категорически против подобного рода активности

С чего бы это? Вы же по чуть-чуть, насколько я понял.

1 страница в минуту примерно, ну может 2. Но пути господни неисповедимы...

Yadryara в сообщении #1058355 писал(а):

Кстати, в той же теме
обсуждался и тот факт, что очень многие(больше половины всех пользователей!) не написали ни одного сообщения.

Да, меня это тоже впечатлило. Можно зайти на страницу со списком пользователей, отсортировать их по числу сообщений и посмотреть. На глаз таких процентов 55. И еще много пользователей отправляются в бан с 0 сообщений. Видимо клоны.
Еще, кстати, есть много заблокированных пользователей с 1 - 2 сообщениями, но если зайти в их профиль и нажать "найти сообщения пользователя", то ничего не выводится. Видимо, удаленные сообщения не удалаяются, а просто скрываются, но при этом продолжают числиться за пользователем. Если собирать данные скриптом, как у меня, то набранная у меня статистика будет расходиться с форумной.

[longstreet]

rockclimber в сообщении #1058372 писал(а):

Так весь вопрос в том, что именно показывать на графиках.

Хорошо бы вообще посмотреть что обычно считают и рисуют. Много же по каким форумама публиковали статистику. Вот, например, статья "Статистика Хабрахабра": http://geektimes.ru/post/145045/.

Ну вот сейчас у Вас все графики -- это "Статистика регистрации ...". Было бы интересно посмотреть не на регистрации, а на какую-нибудь "активность" форума; например, где x -- временная шкала, а y -- усреднённое количество сообщений (по часам/дням-недели/месяцам/годам). Это возможно?

[Anton_Peplov]

Кстати, было бы интересно для каждого пользователя посмотреть его активность в разных разделах форума (в процентах).

[rockclimber]

Сейчас еще подумал про переносы топиков из форума в форум и модераторские предупреждения. Тоже наверно добавлю.