2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 6, 7, 8, 9, 10, 11, 12 ... 42  След.

Как вы пользуетесь статистикой?
Опрос закончился 06.06.2017, 15:52
1. Никак не пользуюсь 20%  20%  [ 10 ]
2. Изредка заглядываю (раз в неделю и реже) 20%  20%  [ 10 ]
3. Чаще раза в неделю 2%  2%  [ 1 ]
4. Раньше смотрел из любопытства, потом надоело 6%  6%  [ 3 ]
5. Захожу просто из любопытства 16%  16%  [ 8 ]
6. Ищу что-то конкретное 4%  4%  [ 2 ]
7. Иногда ищу что-то, иногда просто захожу поглазеть 12%  12%  [ 6 ]
8. Всегда успешно нахожу, что искал 8%  8%  [ 4 ]
9. Как повезет 12%  12%  [ 6 ]
10. Найти то, что мне нужно, не представляется возможным 0%  0%  [ 0 ]
Всего голосов : 50
 
 Re: Статистика форума
Сообщение18.10.2015, 10:28 
Экс-модератор
Аватара пользователя


23/12/05
12065
rockclimber в сообщении #1063818 писал(а):
Ссылки у меня будут собраны, а проверку валидности я оставлю на потом.


Даже если ссылка валидна это не говорит о том, что картинка не удалена - в приведенном примере, например, ссылка осталась та же, но картинка подменена другой - с информацией о том, что картинка удалена. Простой анализ ничего не даст: ссылка есть, рабочая, по ссылке находится картинка. Просто картинка не та, которую ожидал пользователь. Вряд ли кто-то возьмется тут писать более сложный анализатор для выявления случаев просроченных изображений.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение18.10.2015, 12:59 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Можно собрать список наиболее используемых хостингов, и для пятка самых популярных - просто сравнивать изображение с его стандартной "заглушкой". Да и вообще, если хостинг на несколько разных ссылок выдаёт картинки с одинаковыми размерами, это скорей всего заглушка.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение19.10.2015, 01:22 
Админ форума
Аватара пользователя


19/03/10
8952
 i  Оффтоп удален

 Профиль  
                  
 
 Re: Статистика форума
Сообщение20.10.2015, 17:13 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Похоже, тайна пропусков в нумерации пользователей раскрыта. Если обратите внимание на скриншот в топике «Трое пользователей куда-то пропали», а потом посмотрите на страницу пользователей, как она выглядит сейчас (memberlist.php?start=52500), то увидите, что пользователь gomomorfizm сейчас имеет порядковый номер 52538, а на скриншоте у него номер 52537. Подозреваю, что в общий список не выводятся пользователи, которые создали аккаунт, но не активировали. По крайней мере, такая гипотеза выглядит очень логично.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение23.10.2015, 19:27 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Последние новости.
Я дописал и запустил парсер. Сейчас он в полутестовом режиме должен пройтись по первой сотне топиков. Я начинал писать это сообщение дважды, и каждый раз, как только открывал вкладку и прикасался к клавиатуре, парсер падал с какой-нибудь ошибкой (на этом месте он упал третий раз, но там было Internal server error в браузере - не виноватая я, он сам пришел). В общем, я пишу и трясусь - а ну как опять упадет. Большинство проблем связано с тем, что когда я писал парсер, я тренировался на новых топиках, а старые выглядят немного иначе (например, незарегистрированные пользователи есть).
Если первая сотня отработает более-менее стабильно (все к тому идет), начну делать уже странички со статистикой и отчетами, а пока отдохну немного.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение23.10.2015, 20:18 
Заслуженный участник
Аватара пользователя


18/01/13
12065
Казань
Спасибо большое за ваш труд! Не торопитесь, мы подождем!

 Профиль  
                  
 
 Re: Статистика форума
Сообщение23.10.2015, 21:50 
Заслуженный участник
Аватара пользователя


30/01/06
72407
(тихонько) Ура!

 Профиль  
                  
 
 Re: Статистика форума
Сообщение23.10.2015, 22:52 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Рано радуетесь :(
Я тут подумал - ну пока оно собирается, я буду потихоньку делать странички с аналитикой, а если парсер будет ругаться на что-то - то быстренько пофиксю баги и дальше буду продолжать. В итоге фиксы багов занимают все время. Да и домашние дела я подзабросил, а они копятся с какой-то колоссальной силой. :shock:
В общем, чтобы сильно не обнадеживать, так скажу: раньше понедельника ничего вменяемого не будет точно. А вообще ориентируйтесь на следующую пятницу... Вот если в пятницу ничего не будет, можете начинать меня пинать :wink:

 Профиль  
                  
 
 Re: Статистика форума
Сообщение23.10.2015, 23:09 
Аватара пользователя


11/06/12
10390
стихия.вздох.мюсли
Таким образом, сеанс пинания предварительно назначен на 30 октября? (Записываю себе напоминалку...) rockclimber, никто вас пинать не станет ни через неделю, ни через месяц, не надейтесь. То, что вы затеяли, это так интересно и замечательно, что заинтересовавшиеся участники, уверен, могут и год подождать, пока вы всё допиливаете (а мы ведь по ходу дела ещё и предложения вносим, so, процесс допиливания никогда не закончится ;-)

 Профиль  
                  
 
 Re: Статистика форума
Сообщение28.10.2015, 00:00 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Aritaborian в сообщении #1065956 писал(а):
никто вас пинать не станет ни через неделю, ни через месяц, не надейтесь
Ну вот, все сам да сам... Никакой помощи :mrgreen:

А если серьезно, то. Последние новости (как обычно, хорошая и плохая).
Поскольку плохая новость больше похожа на нытье двоечника, невыучившего уроки, уберу под оффтоп. Там по большей части всякие технические подробности, которые мало кому интересны.

(коротенько, минут на сорок, про трудности, с которыми приходится героически бороться)

Тот сайт, на который я давал ссылку, находится на сайте oracle.com. Там есть ознакомительная версия для изучения Oracle APEX (не будем вдаваться в подробности, что это), дается бесплатно, но с лимитом в 25 МБ. Я особо не интересовался размерами своей базы (да и лимитами бесплатного хостинга тоже, если честно), но было понятно, что если и уложусь, то совсем впритык. Некоторое время назад посмотрел - нет, не уложусь. Мне нужно будет мегабайт сто, наверно. Сейчас 8 занято, но это только список пользователей. Поэтому я наверно найду какой-нибудь VPS хостинг и подниму там все то же самое, но на это может уйти день - два.
Еще много вариантов пришлось перепробовать для организации перелива данных туда-сюда. Главная проблема была в том, что с задачами такого рода я не сталкивался, приходилось тыкаться наугад туда-сюда. Более-менее простой и рабочий вариант я нашел, но в этом варианте данные пока складируются у меня на компьютере. Как арендую хостинг, скину все туда.
Сегодня пофиксил последние баги, осталось совсем капельку дописать, так что завтра запущу (вот теперь уже 146%, что запущу) сбор основного массива. Я поставил ограничение примерно 5 секунд на топик и 2 секунды - для перехода в одном топике между страницами (то есть после загрузки одного топика идет пауза 5 секунд). Топиков порядка 100000, то есть собираться информация будет никак не меньше 6 суток, это если вообще не выключать. За это время, я надеюсь, разберусь с хостингом и прочими мелочами.

Все то время, пока данные будут лежать только у меня, могу по запросу делать изредка какие-нибудь интересные выборки (например, топ самых длинных топиков, топ пользователей, пишущих оффтопы, самые популярные смайлики, внешние ресурсы и пр.).

P. S. То есть теоретически, я даже могу до пятницы уложиться, как и обещал, только собрана будет примерно четверть данных.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение28.10.2015, 01:16 
Заслуженный участник
Аватара пользователя


18/01/13
12065
Казань
rockclimber Вы герой!
Изображение

 Профиль  
                  
 
 Re: Статистика форума
Сообщение28.10.2015, 18:47 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Как, оказывается, просто стать героем :wink:

Запустить вроде удалось. В общем, парсер работает, собирает потихоньку. На момент, когда парсер дошел до топика с ID порядка 1200, ситуация была примерно такая:
топиков всего - 800, сообщений - 14990, ссылок - около 2300 внутренние ссылки и 3100 - внешние, внешних доменов - около 1500. Основной источник разнообразия, подозреваю, - топик "Физмат юмор".

P. S. Так как парсер работает под моим логином, пришлось устроить амнистию - очистить свой черный список. Я всех прощаю, противные :mrgreen:

 Профиль  
                  
 
 Re: Статистика форума
Сообщение28.10.2015, 18:52 
Заслуженный участник
Аватара пользователя


30/01/06
72407
rockclimber в сообщении #1067786 писал(а):
Так как парсер работает под моим логином

А вот это может быть нехорошо. Во-первых, "чёрный список", во-вторых, закрытые разделы. Я думал, скачка будет производиться без логина.

 Профиль  
                  
 
 Re: Статистика форума
Сообщение28.10.2015, 19:00 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Я не сохраняю у себя информацию, только метаданные. Из самой информации у меня только названия топиков есть, и все. Кстати, можно попробовать сделать так, чтобы информация о закрытых топиках была видна только тем, кто имеет доступ к ней на форуме. В принципе, это наверно даже не сложно.

-- 28.10.2015, 20:26 --

P. S. Все ли готовы услышать горькую правду о себе и о любимом форуме? :mrgreen: Сделал выборку сообщений, на которые ссылаются больше всего... Пока лидер - вот это сообщение. А вы говорите - научный форум :oops:

 Профиль  
                  
 
 Re: Статистика форума
Сообщение28.10.2015, 21:35 
Аватара пользователя


28/01/12
467
Очевидный плюс вашего подвига - "Откуда 2-я гармоника?".
Без вас, точно бы этого топика не нашёл :lol:

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 617 ]  На страницу Пред.  1 ... 6, 7, 8, 9, 10, 11, 12 ... 42  След.

Модераторы: cepesh, Forum Administration



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group