2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 30, 31, 32, 33, 34, 35, 36 ... 42  След.

Как вы пользуетесь статистикой?
Опрос закончился 06.06.2017, 15:52
1. Никак не пользуюсь 20%  20%  [ 10 ]
2. Изредка заглядываю (раз в неделю и реже) 20%  20%  [ 10 ]
3. Чаще раза в неделю 2%  2%  [ 1 ]
4. Раньше смотрел из любопытства, потом надоело 6%  6%  [ 3 ]
5. Захожу просто из любопытства 16%  16%  [ 8 ]
6. Ищу что-то конкретное 4%  4%  [ 2 ]
7. Иногда ищу что-то, иногда просто захожу поглазеть 12%  12%  [ 6 ]
8. Всегда успешно нахожу, что искал 8%  8%  [ 4 ]
9. Как повезет 12%  12%  [ 6 ]
10. Найти то, что мне нужно, не представляется возможным 0%  0%  [ 0 ]
Всего голосов : 50
 
 Re: Статистика форума
Сообщение28.07.2017, 22:39 
Аватара пользователя


11/06/12
10390
стихия.вздох.мюсли
Хороший концепт, стоящий допиливания.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение06.08.2017, 14:54 
Заслуженный участник
Аватара пользователя


26/01/14
4606
В списке "Самых длинных тем" не удалось найти тему "Данетки по фильмам" на том месте, где она должна находиться по количеству сообщений. (В другом месте тоже найти не удалось.)

Симптом какой-то неисправности?

 Профиль  
                  
 
 Re: Статистика форума
Сообщение06.08.2017, 16:15 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Да. Неисправность называется "долгострой": post1216152.html#p1216152
Я почти закончил, но проблема в "почти"... Скрипт стал значительно лучше, но так как я там все переделал, осталась одна проблема - его надо вручную каждый раз запускать. Сам он не хочет почему-то (точнее, он запускается и сразу пишет, что все просканировал и больше нечего). Вернусь из отпуска и дочиню...

 Профиль  
                  
 
 Re: Статистика форума
Сообщение10.10.2017, 12:37 
Заслуженный участник
Аватара пользователя


09/09/14
6328
rockclimber
Кстати, по поводу упоминавшегося намедни "Распределения по разделам" (это где круговая диаграмма). Она даёт только общий итог за всё время. А вот если сделать и её тоже по выбору периода (за месяц, за год, вообще за период), можно было бы посмотреть любопытную динамику. И, кстати, динамику эту уже не раз обсуждали -- спрос на неё есть.

PS. С одной стороны, понимание этой динамики может быть важно для принятия "управленческих решений" (ну или хотя бы для постановки "управленческой проблемы"). С другой стороны, если такая доработка будет стоить больше 1 человеко*часа трудозатрат, то я бы не настаивал :)

 Профиль  
                  
 
 Re: Статистика форума
Сообщение10.10.2017, 13:02 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
grizzly
Да, это все есть в плане работ в графе "доведение диаграммы до ума". Сейчас главная проблема в том, что
rockclimber в сообщении #1238783 писал(а):
Вернусь из отпуска и дочиню...
вернувшись из отпуска, я увидел письмо от владельцев квартиры с предложением очистить помещение в связи с продажей оного, и хотя времени еще есть вагон, приоритеты немного сместились. На данный момент цель -
VAL в сообщении #1253011 писал(а):
успеть раньше последнего куплета
:mrgreen:

 Профиль  
                  
 
 Re: Статистика форума
Сообщение18.11.2017, 03:34 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Немного хороших новостей в топик!

(Краткое содержание предыдущих серий)

В мае затеял небольшое переписывание кода. Казалось, что еще-чуть чуть, и закончу, но не удалось. В итоге с середины мая до середины июля сбор статистики не работал вообще. В середине июля немного собрался с силами и довел до более или менее вменяемого состояния, запустил. Оказалось вскоре, что состояние было менее вменяемое, ошибок было некоторое количество (не все данные загружались). Недели две назад более-менее закончил оффлайновые дела. Не совсем, но теперь хотя бы могу уделять хоть какое-то время проекту. И вот он почти готов!

Краткий перечень массовых ошибок и недостатков, известных на данный момент:
1. Сначала, в эпоху первоначального накопления капитала данных, я сделал скрипт, который проходит по топикам, генерируя их номера. Так так адрес топика состоит из слова topic и порядкового номера, это было удобно и просто. В течение этого времени я постоянно находил баги, другие участники добавляли свои пожелания, я постоянно перезапускал скрипт снова и снова (чтобы он собирал данные о топиках с самого начала). Через какое-то время я бросил это дело (запуски сначала), потому что иначе сбор данных никогда бы не закончился. То есть имеется в наличии некоторое неизвестное количество неточных данных по старым топикам.
2. Есть топики, которые были удалены или перемещены в карантин. Если такой топик успел попасть в статистику, он там остается. Механизма очистки не было.
3. Есть топики, в которых изменения произошли в середине топика. Мой скрипт загружает данные только с последней страницы, а если изменения произошли где-то глубоко, то у меня они не отражались.
4. Топики за последние полгода (см. спойлер выше). Данные о сообщениях, написанных после апреля, неполные. Что-то могло не догрузиться.

Вообще, я и сам не ожидал, что к этому вечеру столько успею сделать. Еще вчера у меня в планах значилось "очень, очень стараться закончить до декабря". 80% того, на что я отводил неделю-две, я сделал за один вечер сегодня. Рад, что ошибся в большую сторону.

Итак, собственно обновления:
1. Скрипт переписан на новом фреймворке. Качество кода перешло из категории "ужас-ужас-ужас" в категорию "ужас". Ожидается, что править баги в будущем будет намного проще.
2. Добавлена возможность отслеживать удаленные топики. Раз в сутки скрипт берет из базы топики за последнюю неделю и проверяет их доступность на форуме. Недоступные удаляются.
3. Добавлена возможность время от времени обновлять старые топики. Сделано примерно так: раз в сутки в 4 часа по серверному времени (когда нагрузка минимальная) скрипт берет из базы специальным способом отобранные топики в количестве (все топики в базе) / 365. Это порядка двухсот. Таким образом, в течение года информация по топикам будет понемногу обновляться. Сейчас скрипт настроен сначала обновить информацию по топикам за последние полгода (когда скрипт работал кое-как). Недели за две все наверстается, по моим подсчетам.
4. Если в топике часть сообщений была удалена из середины, теперь это не проблема.
Это то, что есть уже сейчас. Оно более-менее работает, но не оттестировано как следует пока.

В планах:
1. Довести до ума новую круговую диаграмму (обсуждалась недавно), добавить ее в несколько мест.
2. Добавить отслеживание числа просмотров топиков. Пока планируется раз в неделю проходить по страницам форума и сохранять число просмотров для каждого топика. Таким образом в базе будут накапливаться исторические данные по просмотрам. Сделать странички для показа этой информации.
3. Поправить пару недочетов на сайте.
4. Добить этот план и переключиться на другой проект примерно на полгода.

Пункт 2 из списка планов предлагается к обсуждению.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение18.11.2017, 10:05 
Заслуженный участник
Аватара пользователя


09/09/14
6328
rockclimber
Большое спасибо за Вашу работу!

rockclimber в сообщении #1266335 писал(а):
Пункт 2 из списка планов предлагается к обсуждению.
Я был одним из заказчиков этого пункта, кажется. Но потом оказалось, что просмотры, вероятно, накручивают со временем поисковики. В таком случае в их анализе нет большого смысла, имхо.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение19.11.2017, 18:13 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
А, вот еще вспомнил.
У меня жена увлеклась дата саенсом. Ну я ей и предложил "потренироваться на кошках" - база под рукой есть, скрипт есть, если надо догрузить еще каких данных - не проблема. Она не то чтобы в бой рвется, но однажды поинтересовалась: "Что ты там про базу с кучей данных говорил?" В частности, можно попробовать решить эту проблему:
grizzly в сообщении #1266353 писал(а):
Но потом оказалось, что просмотры, вероятно, накручивают со временем поисковики.
Я в этом не силен, но задачу можно сформулировать так: есть же куча информации о топиках и сообщениях (кто и какие сообщения написал, их длина, время написания, часть топиков закреплены, и прочее, и прочее) - выделить из этой информации что-то вроде весовых коэффициентов. Какими факторами обусловлена какая часть просмотров.
Если у кого-то есть другие идеи, что можно интересного машинлернингом накопать - пишите тоже.
Конечно не факт, что она все-таки что-то начнет делать, но шансы есть.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение21.11.2017, 11:50 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Еще небольшая доработка.
На странице Поиск топиков по участникам сделал более удобный выбор участников. Там поле для ввода, при вводе ника появляется подсказка, можно выбрать несколько значений и т. д. Единственная проблема - это стандартный компонент, пока используется "как есть". Он загружает список всех пользователей сразу, а так как их 27000 примерно, то немного тормозит (хотя даже с такими тормозами он все равно удобнее, на мой взгляд). В общем, посмотрите, кому что больше нравится, а я пока подумаю, как его можно ускорить.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение21.11.2017, 12:31 
Заслуженный участник


20/08/14
11064
Россия, Москва
rockclimber в сообщении #1267483 писал(а):
немного тормозит
Немного?! Пару минут ждать пока отвиснет (при 100% загрузке одного потока), потом каждая буковка имени тоже по десятку секунд (во всяком случае для первого имени). Ужас-ужас.

Но я не об этом.
Снова похожий на прошлые глюк с непереключением страницы. Если ушёл с первой страницы на следующие, то изменение списка участников и нажатие кнопки Искать не возвращает на первую страницу. А если новый результат занимает меньше страниц чем была текущая, то вообще пустой список (без страниц!) и сообщение "Invalid set of rows requested, the source data of the report has been modified. Reset Pagination". Последняя ссылка конечно решает проблему и переводит на первую, но ... таки глюк.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение21.11.2017, 12:43 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Dmitriy40 в сообщении #1267493 писал(а):
rockclimber в сообщении #1267483 писал(а):
немного тормозит
Немного?! Пару минут ждать пока отвиснет (при 100% загрузке одного потока), потом каждая буковка имени тоже по десятку секунд (во всяком случае для первого имени). Ужас-ужас.
Извините, не знал :oops: У меня только слегка подтормаживает - символы появляются с задержкой секунды 3 - 4. Хотя вроде компьютеру три года уже (или у них сейчас производительность так быстро не растет?), да и на момент покупки он был далеко не самый мощный.
А подсказки в поиске гугла/яндекса у вас нормально работают? У них же обращение к серверу идет по нажатию на каждую клавишу. Правда, не уверен, что смогу сделать так же быстро, как гугл или яндекс, у меня сервер-то попроще будет :mrgreen:

Dmitriy40 в сообщении #1267493 писал(а):
А если новый результат занимает меньше страниц чем была текущая, то вообще пустой список (без страниц!) и сообщение "Invalid set of rows requested, the source data of the report has been modified. Reset Pagination". Последняя ссылка конечно решает проблему и переводит на первую, но ... таки глюк.
Это не глюк, это фича особенность фреймворка. Посмотрю, что можно сделать.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение21.11.2017, 12:49 
Заслуженный участник
Аватара пользователя


09/09/14
6328
У меня особых тормозов не обнаружено. Скорость вполне комфортная, первая задержка пару секунд, остальные явно менее секунды.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение21.11.2017, 12:55 
Заслуженный участник


20/08/14
11064
Россия, Москва
rockclimber в сообщении #1267495 писал(а):
А подсказки в поиске гугла/яндекса у вас нормально работают?
Да, нормально. По мере уменьшения количества подходящих вариантов и тут скорость появляется, но кажется для этого количество должно быть ближе к десятку, а не тысячи. А поначалу Хром даже предлагает закрыть страницу (или подождать ещё) т.к. она повисла.
У меня (мало обоснованное) предположение что тормозит не Ваш сервер, а что-то локальное, с обработкой такого длинного списка. Потому и загрузка проца хромом 100%, причём на каждую следующую вводимую букву время этой загрузки уменьшается. Я бы попытался сделать показ вариантов выбора лишь когда их число станет достаточно малым (десятки-сотни), больше всё равно никто пролистывать не будет. Просто идея. ;-)
PS. Моему компу тоже уже 4 года, так что дело не в нём.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение21.11.2017, 13:31 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Dmitriy40
Тормоза 100% локальные, это и так понятно. Этот элемент - обычный select list, выглядит примерно так:
Используется синтаксис HTML
<select>
<option value="1">Username 1</option>
<option value="2">Username 2</option>
...
</select>
На каждого юзера по тегу option. Фильтрация производится браузером на месте, потому и подтормаживает. Почему у вас настолько медленно - не могу сказать. Второе возможное решение - это сделать "как у гугла", когда локально полный список не грузится, а только через сеть подтягивается выборка, соответствующая введенным символам. Но тут сразу две проблемы:
- Я тупо не знаю, как такое делать. Понятно, что можно нагуглить, немного поковыряться в коде и что-то такое изобразить, причем надо что-то делать и на стороне сервера, и на стороне клиента. И если тот компонент, который сейчас, я добавил минут за 10 - 20 (скачал плагин, установил, чуть-чуть поправил SQL код), то разработка чего-то такого у меня может легко растянуться на неделю. Ну еще попробую поискать, может есть уже готовый компонент, но что-то первые попытки поисков не внушают оптимизма.
- Не факт, что сервер такое потянет и сможет отдавать ответ настолько быстро. Сам по себе поиск в БД это часть проблемы, на него я могу как-то повлиять, но общение с БД идет через веб-сервер, и с ним я уже ничего не сделаю. Если он будет подтормаживать, то всё.

У меня с этим компонентом вообще смешно получилось: я сделал страницу, потом решил посмотреть, почему он выводится узким (там поначалу поле было пикселей 100 шириной), кликнул в фаерфоксе "исследовать элемент", и на этом браузер повис. Я его закрыл, а когда открыл, он запустил обновление (у ФФ как раз недавно вышла новая версия, которую они заявляют как в два раза более быструю). Прямо немой укор читается - "ну ты и сделал страницу - обновляться пришлось, чтобы открыть" :mrgreen:

 Профиль  
                  
 
 Re: Статистика форума
Сообщение21.11.2017, 13:37 
Заслуженный участник


20/08/14
11064
Россия, Москва
Хм, сгенерить что ли тестовую страничку с 27000 записей в селекте и проверить ...
Если у других не тормозит, то заморачиваться не стоит, мало ли что у меня тут влияет.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 617 ]  На страницу Пред.  1 ... 30, 31, 32, 33, 34, 35, 36 ... 42  След.

Модераторы: cepesh, Forum Administration



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group