2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу 1, 2, 3, 4, 5 ... 42  След.

Как вы пользуетесь статистикой?
Опрос закончился 06.06.2017, 15:52
1. Никак не пользуюсь 20%  20%  [ 10 ]
2. Изредка заглядываю (раз в неделю и реже) 20%  20%  [ 10 ]
3. Чаще раза в неделю 2%  2%  [ 1 ]
4. Раньше смотрел из любопытства, потом надоело 6%  6%  [ 3 ]
5. Захожу просто из любопытства 16%  16%  [ 8 ]
6. Ищу что-то конкретное 4%  4%  [ 2 ]
7. Иногда ищу что-то, иногда просто захожу поглазеть 12%  12%  [ 6 ]
8. Всегда успешно нахожу, что искал 8%  8%  [ 4 ]
9. Как повезет 12%  12%  [ 6 ]
10. Найти то, что мне нужно, не представляется возможным 0%  0%  [ 0 ]
Всего голосов : 50
 
 Статистика форума
Сообщение02.10.2015, 01:09 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Временный UPD
Небольшой опрос тех, кто пользуется статистикой (такая вот метастатистика).
Вопросов три:
1) Как часто вы пользуетесь
2) С какой целью
3) Если пользуетесь с целью найти что-то конкретное, насколько успешно?
В опросе можно выбрать три варианта ответа (по одному на каждый из этих вопросов). На первый вопрос - ответы 1 - 4, на второй - 5 - 7, на третий - 8 - 10.
***

Основная идея навеяна вот этим постом:
Munin в сообщении #1057130 писал(а):
Вот я давно мечтаю, чтобы такое прикрутили к dxdy. Администрация не хочет, но при помощи стандартного поиска по сообщениям или по темам, такое можно сделать и на внешнем сервере.

Интересно было бы:
- посмотреть, какие темы самые длинные;
- посмотреть, какие темы самые "долгоживущие" (и вообще, для каждой темы - график активности в ней по времени);
- посмотреть, в каких темах больше всего постов данного пользователя (и абсолютно, и в процентах);
- вообще, интересно было бы отследить и размеры постов, хотя бы в байтах, но вот это, кажется, простым поиском не делается, а создаст большую нагрузку на сервер dxdy - то есть, от этого можно и отказаться.

В общем, от нечего делать, сделал я простенький парсер веб-страничек, и собрал в укромном месте немного данных (ID пользователя, ник, статус и дата регистрации). Источником данных пока служит только список пользователей, ссылку на который можно видеть в правом верхнем углу страницы. А к данным прикрутил несколько графиков, чтобы было красиво. Парсер работу пока не закончил, поэтому данные там пока не все.
Выглядит это все сейчас вот так: https://apex.oracle.com/pls/apex/f?p=62481:300
Это, так сказать, демо-версия, просто чтобы показать, что "так тоже можно сделать". Круговая диаграмма справа кликабельна. Внизу четыре диаграммы, показывающие статистику по датам регистрации. По клику на диаграмме графики показывают статистику по выбранной группе, кнопка "Сброс" сбрасывает выбранную группу и показывает всех пользователей. Таким же образом можно вытащить немного данных по топикам и сообщениям, и тоже показать что-нибудь любопытное, этим я тоже не против заняться.

Вопросы (к пользователям и администрации):
1) Ку? Дальше продолжать?
в случае положительного ответа на первый вопрос -
2) чего добавить? Заказывайте, пока я добрый :wink:
и
3) Не будет ли любезен кто-либо из многоуважаемых джиннов скинуть мне выгрузку в csv чего-нибудь типа: ID пользователя - ID сообщения - дата написания сообщения - размер в байтах - название топика - название форума? Это будет быстрее, чем грузить страницы и парсить их вебдрайвером. Остальное сделаю сам.

Если администрация категорически против подобного рода активности, удалю все собранные данные по первому требованию и больше так не буду.

UPD

Статистика теперь размещается здесь: http://88.198.108.210:8080/ords/f?p=100:1

UPD2
cepesh любезно выделил поддомены:
http://rockstats.dxdy.ru/
http://rockclimber.dxdy.ru/

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 01:16 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Ишь ты! Спамеры в основном регистрировались в субботу, а ЗУ -- в воскресенье! Забавно! (надо бы статистическую значимость проверить)

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 01:19 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
provincialka в сообщении #1058317 писал(а):
надо бы статистическую значимость проверить
Давайте формулы, прикручу к графику, прям там же рассчитываться будет :wink:

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 01:27 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
(Ой! не сейчас... Надо подумать еще, значимость чего рассчитывать...)

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 01:31 
Заслуженный участник
Аватара пользователя


30/01/06
72407
1, 2) Моё мнение вы знаете, так что могу вообще ничего не писать :-)
3) Боюсь, джинны не только не захотят, но и отмолчатся. С другой стороны, "поиск" на форуме позволяет всё это скачать и без CSV. И если (как я надеюсь) вето со стороны администрации не поступит, то я за такой вариант.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 01:42 
Заслуженный участник
Аватара пользователя


20/08/14
8062
Хорошо бы к абсолютным цифрам прикрутить сразу и проценты. Оно, конечно, на диаграмме и на глазок видно, но...

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 01:45 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Munin в сообщении #1058324 писал(а):
С другой стороны, "поиск" на форуме позволяет всё это скачать и без CSV.
Да все проще. Адреса топиков имеют простой вид: topic101371.html, где число можно считать уникальным идентификатором. Просто перебираем от $1$ до $N$... Я уже все продумал, осталось только сделать. Самое главное - до начала сканирования определиться с тем, что сохранять. Потому что если потом будет "а давайте добавим еще это", то ради скачивания одного дополнительного байтика на топик придется все проворачивать заново. И форум нагрузкой не уложить...

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 02:28 
Заслуженный участник


27/04/09
28128
rockclimber в сообщении #1058315 писал(а):
Дальше продолжать?
Да, интересно.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 02:34 
Заслуженный участник
Аватара пользователя


30/01/06
72407
rockclimber в сообщении #1058330 писал(а):
И форум нагрузкой не уложить...

Вот тут вы побольше божитесь, а то админы и вправду расценят вашу деятельность как потенциально вредоносную.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 03:16 


28/11/11
2884
rockclimber в сообщении #1058315 писал(а):
Заказывайте, пока я добрый

rockclimber, очень любопытно Ваше начинание! Хочется больше графиков. И меньше круговых диаграмм (см., например, раз, два).

rockclimber в сообщении #1058315 писал(а):
Если администрация категорически против подобного рода активности

С чего бы это? Вы же по чуть-чуть, насколько я понял.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 07:11 
Аватара пользователя


29/04/13
7128
Богородский
rockclimber
Здорово! Интересно!

Кроме статистической значимости, тут вот ещё какой момент:
cepesh в сообщении #916279 писал(а):
Я раньше чистил неактивированные аккаунты, тысячами удалял. Но потом перестал.

Интересно, с какого времени перестали удаляться аккаунты. То есть статистика до какого-то времени не шибко достоверна — большой кусок выпал.

Кстати, в той же теме обсуждался и тот факт, что очень многие(больше половины всех пользователей!) не написали ни одного сообщения.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 09:44 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
longstreet в сообщении #1058345 писал(а):
Хочется больше графиков.
Так весь вопрос в том, что именно показывать на графиках. А так-то не проблема, можно сотнями рисовать.
longstreet в сообщении #1058345 писал(а):
И меньше круговых диаграмм (см., например, раз , два ).
Тут, как мне кажется, авторы сгущают краски. Хотя я не знаю, я круговые диаграммы почти никогда не использовал, да и вижу их редко.
longstreet в сообщении #1058345 писал(а):
rockclimber в сообщении #1058315 писал(а):
Если администрация категорически против подобного рода активности
С чего бы это? Вы же по чуть-чуть, насколько я понял.
1 страница в минуту примерно, ну может 2. Но пути господни неисповедимы... :mrgreen:

Yadryara в сообщении #1058355 писал(а):
Кстати, в той же теме
обсуждался и тот факт, что очень многие(больше половины всех пользователей!) не написали ни одного сообщения.
Да, меня это тоже впечатлило. Можно зайти на страницу со списком пользователей, отсортировать их по числу сообщений и посмотреть. На глаз таких процентов 55. И еще много пользователей отправляются в бан с 0 сообщений. Видимо клоны.
Еще, кстати, есть много заблокированных пользователей с 1 - 2 сообщениями, но если зайти в их профиль и нажать "найти сообщения пользователя", то ничего не выводится. Видимо, удаленные сообщения не удалаяются, а просто скрываются, но при этом продолжают числиться за пользователем. Если собирать данные скриптом, как у меня, то набранная у меня статистика будет расходиться с форумной.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 14:21 


28/11/11
2884
rockclimber в сообщении #1058372 писал(а):
Так весь вопрос в том, что именно показывать на графиках.

Хорошо бы вообще посмотреть что обычно считают и рисуют. Много же по каким форумама публиковали статистику. Вот, например, статья "Статистика Хабрахабра": http://geektimes.ru/post/145045/.

Ну вот сейчас у Вас все графики -- это "Статистика регистрации ...". Было бы интересно посмотреть не на регистрации, а на какую-нибудь "активность" форума; например, где x -- временная шкала, а y -- усреднённое количество сообщений (по часам/дням-недели/месяцам/годам). Это возможно?

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 15:37 
Заслуженный участник
Аватара пользователя


20/08/14
8062
Кстати, было бы интересно для каждого пользователя посмотреть его активность в разных разделах форума (в процентах).

 Профиль  
                  
 
 Re: Статистика форума
Сообщение02.10.2015, 16:31 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Сейчас еще подумал про переносы топиков из форума в форум и модераторские предупреждения. Тоже наверно добавлю.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 617 ]  На страницу 1, 2, 3, 4, 5 ... 42  След.

Модераторы: cepesh, Forum Administration



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group