2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 19, 20, 21, 22, 23, 24, 25 ... 42  След.

Как вы пользуетесь статистикой?
Опрос закончился 06.06.2017, 15:52
1. Никак не пользуюсь 20%  20%  [ 10 ]
2. Изредка заглядываю (раз в неделю и реже) 20%  20%  [ 10 ]
3. Чаще раза в неделю 2%  2%  [ 1 ]
4. Раньше смотрел из любопытства, потом надоело 6%  6%  [ 3 ]
5. Захожу просто из любопытства 16%  16%  [ 8 ]
6. Ищу что-то конкретное 4%  4%  [ 2 ]
7. Иногда ищу что-то, иногда просто захожу поглазеть 12%  12%  [ 6 ]
8. Всегда успешно нахожу, что искал 8%  8%  [ 4 ]
9. Как повезет 12%  12%  [ 6 ]
10. Найти то, что мне нужно, не представляется возможным 0%  0%  [ 0 ]
Всего голосов : 50
 
 Re: Статистика форума
Сообщение17.10.2016, 03:32 
Заслуженный участник


27/04/09
28128

(Посмотрев на этот список…)

О боги, как высоко я пал. :|

 Профиль  
                  
 
 Re: Статистика форума
Сообщение17.10.2016, 16:54 
Заслуженный участник
Аватара пользователя


30/01/06
72407
А как этим Filter-ом пользоваться? Я не угадал, как задать диапазон. Хелп какой-нибудь можно прикрутить?

 Профиль  
                  
 
 Re: Статистика форума
Сообщение17.10.2016, 18:50 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Munin
Каким filter'ом? Вверху страницы, который на всех страницах отображается? Забыл вчера добавить условие в запрос. Исправил.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение20.10.2016, 14:32 
Заслуженный участник
Аватара пользователя


09/09/14
6328
rockclimber
У меня к Вам есть вопрос.
Я планирую создать что-то вроде путеводителя по форуму (для тех, кто просто ищет развлечений) и что-то вроде FAQ. (Я не планирую пока никаких технических чудес -- просто отдельное сообщение с ссылками на наиболее ценные темы / сообщения форума.) Один из способов, который я могу придумать для этих целей, состоит в следующем:
Создать и проанализировать частотные словари форума (списки слов, отсортированных в порядке убывания частоты) следующих типов:
    1. Слова в названиях тем.
    2. Слова в текстах сообщений нерядовых пользователей (модераторов и ЗУ).
    3. Слова в текстах сообщений рядовых пользователей.
Хорошо бы мне иметь это отдельно только для математических разделов.

Если Вы сможете вытянуть все эти тексты в указанных группировках, форум Вас не забудет :)
Мне достаточно иметь только сырые данные. Но если для Вас написать скрипт для создания частотного словаря -- пара минут времени, то это может быть проще и быстрее, чем выкладывать где-то гиг архивов. О словоформах и всяком мусоре можно вовсе не беспокоиться -- я разберусь с этим сам.

PS. Всё это совсем не срочно -- я планирую заниматься (не спеша) своими проектами полгода, не меньше.
PPS. Я надеюсь, что прошу от Вас не более 2-3 часов личного времени (не считая работы компьютеров). Если это существенно больше, лучше обсудить отдельно и целесообразность, и методы.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение20.10.2016, 15:00 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Я не против посотрудничать.
Что касается слов (как я уже писал где-то в этом топике), то у меня хранятся только названия тем. Соответственно, написать скрипт для частотного анализа как раз часа 2 - 3 и займет, это не проблема. С сообщениями сложнее, тексты сообщений я никак не обрабатываю и не храню, поэтому парсер придется серьезно дорабатывать, а потом заново сканировать форум. Ну, за ваши полгода точно уложусь :mrgreen: Скажите только, в каком виде вы хотели бы данные.
Если вы знаете SQL, могу дать доступ в веб IDE. Да в принципе и доступ к серверу могу дать, будете сами вытаскивать что нужно.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение20.10.2016, 15:25 
Заслуженный участник
Аватара пользователя


20/08/14
8062
grizzly
А можно вынести подробности проекта на обсуждение? Глядишь, кто-нибудь скажет что-нибудь полезное. В отдельной теме, само собой.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение20.10.2016, 15:30 
Заслуженный участник
Аватара пользователя


09/09/14
6328
rockclimber
Спасибо. Можете дать мне сырые названия тем, но только из математических разделов? Это пару мегабайт в архиве, но может быть полезно в других разрезах / целях. А со скриптами я сам справлюсь.

Нет-нет, такие большие затраты усилий точно не окупятся -- нужно искать простые решения. Давайте пока всё остальное припаркуем на время, а я когда созрею, свяжусь через ЛС.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение20.10.2016, 15:33 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
grizzly
То есть просто список строк в текстовом файле? Дополнительная информация нужна? Ну там дата создания, ID, еще что-то?

 Профиль  
                  
 
 Re: Статистика форума
Сообщение20.10.2016, 15:33 
Заслуженный участник
Аватара пользователя


09/09/14
6328
Anton_Peplov в сообщении #1161383 писал(а):
А можно вынести подробности проекта на обсуждение?
Конечно -- я собираюсь вынести это на обсуждение. Я бы не взял на себя смелость решать самостоятельно вопрос, который считаю настолько важным. Тем более, что здесь неизвестно ещё, что важнее -- качество фильтрации материала или юзабилити.

-- 20.10.2016, 15:39 --

rockclimber в сообщении #1161386 писал(а):
То есть просто список строк в текстовом файле?
Я не знаю, как это всё устроено. Если просто извлечь информацию, то можно так:
    Раздел;
    Дата;
    ТС;
    Название темы;
    Количество сообщений в теме;
    В том числе количество сообщений ЗУ (тут, к сожалению, модераторов лучше проигнорировать);
    Количество просмотров темы.

Какие из этих полей целесообразнее собрать -- решайте по принципу: сделать максимум, приложив минимум усилий. Я не хотел бы отнимать много Вашего времени.

Выгрузку можно делать в текстовый файл с разделителями, да.

Пользы от ID я не вижу -- если я решусь взять доступ к базе, я сам их найду.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение05.11.2016, 14:25 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Вот сейчас мне потребовалась давно затребованная фича: чтобы от одной темы можно было перейти ко всем, на которые она ссылается, или ко всем, которые на неё ссылаются. Не нашёл.

+ жалоба: время жизни сессии очень короткое. Неудобно. (Если проблема с кэшированием, то можно было бы всю необходимую информацию в URL загнать.)

 Профиль  
                  
 
 Re: Статистика форума
Сообщение09.11.2016, 21:25 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Munin
Извините, только сейчас увидел ваш пост. :oops: Время жизни сессии сколько сделать? Изначально во фреймворке стоит час, и там это часть политики безопасности (сессия отваливается после часа неактивности).

 Профиль  
                  
 
 Re: Статистика форума
Сообщение09.11.2016, 22:36 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Мне бы несколько месяцев :-) Реально, не понимаю, зачем это время вообще ограничивать. У меня есть окна на форуме, открытые годами.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение09.11.2016, 23:16 
Заслуженный участник
Аватара пользователя


20/08/14
8062
rockclimber
У меня вопрос. Можно ли с небольшими затратами труда с Вашей стороны сделать список тем в корневом разделе Свободного полета, начатых ЗУ? Сортировка - по возрастанию даты последнего сообщения.

Поясню, зачем это надо. Мы занимаемся сейчас путеводителем по форуму. Раздел "Беседы на околонаучные темы" я просматривал ручками. Это около тысячи тем, которые "по умолчанию про науку", на это я пошел. Корневой раздел - это около четырех тысяч тем, которые "по умолчанию про ерунду". Просматривать его насквозь я не хочу и не думаю, что кто-то захочет. Значит, надо применить автоматические фильтры, выделяющие обозримое подмножество тем, предположительно охватывающее значительную (в идеале - большую) часть тем интересных и содержательных, и уже продукт фильтрации просмотреть ручками.
Фильтров, в общем, можно придумать только два: по ключевым словам и по авторам. Я сейчас просматриваю темы, выделенные по найденным ключевым словам нау*|матем*. Однако выделение по авторству ЗУ тоже, думаю, имеет смысл.

В идеале я хотел бы иметь этот список как можно скорее, чтобы выполнять поиск в двух списках параллельно, потому что ясно, что они сильно пересекаются. Просмотрел, скажем, один список за 2011 г. и, пока еще легко опознать темы, которые только что видел, прошелся по другому списку (идеально было бы, конечно, автоматически получать список тех и только тех начатых ЗУ тем, которые отсутствуют в выдаче поиска по запросу нау*|матем*). Но Вы сами распоряжаетесь своим временем и я не смею Вас торопить.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение10.11.2016, 00:53 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Munin в сообщении #1167623 писал(а):
Мне бы несколько месяцев :-) Реально, не понимаю, зачем это время вообще ограничивать. У меня есть окна на форуме, открытые годами.
По умолчанию ограничено. Поставил бесконечное время, попробуйте.

Anton_Peplov
В принципе можно, попробую сделать. Это должно быть быстро. Если хотите, могу добавить поле для поиска в названии тем (они у меня хранятся). Можно будет использовать спецсимволы для SQL-запросов ("%" - любое количество любых символов, "_" - один любой символ). Если знаете регулярные выражения, можно и их присобачить - это тоже относительно просто. Документация по поиску - вот, примерно так можно будет искать.
Если подтвердите необходимость доп. фич в течение ближайших 30 минут, сделаю прямо сейчас. Если позже - обещать не могу. Ну завтра к вечеру, наверно.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение10.11.2016, 00:57 
Заслуженный участник
Аватара пользователя


20/08/14
8062
Дополнительных фич, наверное, никаких не надо (список тем ЗУ будет много короче, чем список тем, где есть нау*|матем*, так что если и искать что-то перекрестно, то во втором, а не в первом). Нужен просто список.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 617 ]  На страницу Пред.  1 ... 19, 20, 21, 22, 23, 24, 25 ... 42  След.

Модераторы: cepesh, Forum Administration



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group