Статистика форума

[photon]

rockclimber в сообщении #1063818 писал(а):

Ссылки у меня будут собраны, а проверку валидности я оставлю на потом.

Даже если ссылка валидна это не говорит о том, что картинка не удалена - в приведенном примере, например, ссылка осталась та же, но картинка подменена другой - с информацией о том, что картинка удалена. Простой анализ ничего не даст: ссылка есть, рабочая, по ссылке находится картинка. Просто картинка не та, которую ожидал пользователь. Вряд ли кто-то возьмется тут писать более сложный анализатор для выявления случаев просроченных изображений.

[Munin]

Можно собрать список наиболее используемых хостингов, и для пятка самых популярных - просто сравнивать изображение с его стандартной "заглушкой". Да и вообще, если хостинг на несколько разных ссылок выдаёт картинки с одинаковыми размерами, это скорей всего заглушка.

[Toucan]

Оффтоп удален

[rockclimber]

Похоже, тайна пропусков в нумерации пользователей раскрыта. Если обратите внимание на скриншот в топике «Трое пользователей куда-то пропали», а потом посмотрите на страницу пользователей, как она выглядит сейчас (memberlist.php?start=52500), то увидите, что пользователь gomomorfizm сейчас имеет порядковый номер 52538, а на скриншоте у него номер 52537. Подозреваю, что в общий список не выводятся пользователи, которые создали аккаунт, но не активировали. По крайней мере, такая гипотеза выглядит очень логично.

[rockclimber]

Последние новости.
Я дописал и запустил парсер. Сейчас он в полутестовом режиме должен пройтись по первой сотне топиков. Я начинал писать это сообщение дважды, и каждый раз, как только открывал вкладку и прикасался к клавиатуре, парсер падал с какой-нибудь ошибкой (на этом месте он упал третий раз, но там было Internal server error в браузере - не виноватая я, он сам пришел). В общем, я пишу и трясусь - а ну как опять упадет. Большинство проблем связано с тем, что когда я писал парсер, я тренировался на новых топиках, а старые выглядят немного иначе (например, незарегистрированные пользователи есть).
Если первая сотня отработает более-менее стабильно (все к тому идет), начну делать уже странички со статистикой и отчетами, а пока отдохну немного.

[provincialka]

Спасибо большое за ваш труд! Не торопитесь, мы подождем!

[Munin]

(тихонько) Ура!

[rockclimber]

Рано радуетесь :(
Я тут подумал - ну пока оно собирается, я буду потихоньку делать странички с аналитикой, а если парсер будет ругаться на что-то - то быстренько пофиксю баги и дальше буду продолжать. В итоге фиксы багов занимают все время. Да и домашние дела я подзабросил, а они копятся с какой-то колоссальной силой.
В общем, чтобы сильно не обнадеживать, так скажу: раньше понедельника ничего вменяемого не будет точно. А вообще ориентируйтесь на следующую пятницу... Вот если в пятницу ничего не будет, можете начинать меня пинать

[Aritaborian]

Таким образом, сеанс пинания предварительно назначен на 30 октября? (Записываю себе напоминалку...) rockclimber, никто вас пинать не станет ни через неделю, ни через месяц, не надейтесь. То, что вы затеяли, это так интересно и замечательно, что заинтересовавшиеся участники, уверен, могут и год подождать, пока вы всё допиливаете (а мы ведь по ходу дела ещё и предложения вносим, so, процесс допиливания никогда не закончится ;-)

[rockclimber]

Aritaborian в сообщении #1065956 писал(а):

никто вас пинать не станет ни через неделю, ни через месяц, не надейтесь

Ну вот, все сам да сам... Никакой помощи

А если серьезно, то. Последние новости (как обычно, хорошая и плохая).
Поскольку плохая новость больше похожа на нытье двоечника, невыучившего уроки, уберу под оффтоп. Там по большей части всякие технические подробности, которые мало кому интересны.

(коротенько, минут на сорок, про трудности, с которыми приходится героически бороться)

Тот сайт, на который я давал ссылку, находится на сайте oracle.com. Там есть ознакомительная версия для изучения Oracle APEX (не будем вдаваться в подробности, что это), дается бесплатно, но с лимитом в 25 МБ. Я особо не интересовался размерами своей базы (да и лимитами бесплатного хостинга тоже, если честно), но было понятно, что если и уложусь, то совсем впритык. Некоторое время назад посмотрел - нет, не уложусь. Мне нужно будет мегабайт сто, наверно. Сейчас 8 занято, но это только список пользователей. Поэтому я наверно найду какой-нибудь VPS хостинг и подниму там все то же самое, но на это может уйти день - два.
Еще много вариантов пришлось перепробовать для организации перелива данных туда-сюда. Главная проблема была в том, что с задачами такого рода я не сталкивался, приходилось тыкаться наугад туда-сюда. Более-менее простой и рабочий вариант я нашел, но в этом варианте данные пока складируются у меня на компьютере. Как арендую хостинг, скину все туда.

Сегодня пофиксил последние баги, осталось совсем капельку дописать, так что завтра запущу (вот теперь уже 146%, что запущу) сбор основного массива. Я поставил ограничение примерно 5 секунд на топик и 2 секунды - для перехода в одном топике между страницами (то есть после загрузки одного топика идет пауза 5 секунд). Топиков порядка 100000, то есть собираться информация будет никак не меньше 6 суток, это если вообще не выключать. За это время, я надеюсь, разберусь с хостингом и прочими мелочами.

Все то время, пока данные будут лежать только у меня, могу по запросу делать изредка какие-нибудь интересные выборки (например, топ самых длинных топиков, топ пользователей, пишущих оффтопы, самые популярные смайлики, внешние ресурсы и пр.).

P. S. То есть теоретически, я даже могу до пятницы уложиться, как и обещал, только собрана будет примерно четверть данных.

[provincialka]

rockclimber Вы герой!

[rockclimber]

Как, оказывается, просто стать героем

Запустить вроде удалось. В общем, парсер работает, собирает потихоньку. На момент, когда парсер дошел до топика с ID порядка 1200, ситуация была примерно такая:
топиков всего - 800, сообщений - 14990, ссылок - около 2300 внутренние ссылки и 3100 - внешние, внешних доменов - около 1500. Основной источник разнообразия, подозреваю, - топик "Физмат юмор".

P. S. Так как парсер работает под моим логином, пришлось устроить амнистию - очистить свой черный список. Я всех прощаю, противные

[Munin]

rockclimber в сообщении #1067786 писал(а):

Так как парсер работает под моим логином

А вот это может быть нехорошо. Во-первых, "чёрный список", во-вторых, закрытые разделы. Я думал, скачка будет производиться без логина.

[rockclimber]

Я не сохраняю у себя информацию, только метаданные. Из самой информации у меня только названия топиков есть, и все. Кстати, можно попробовать сделать так, чтобы информация о закрытых топиках была видна только тем, кто имеет доступ к ней на форуме. В принципе, это наверно даже не сложно.

-- 28.10.2015, 20:26 --

P. S. Все ли готовы услышать горькую правду о себе и о любимом форуме? Сделал выборку сообщений, на которые ссылаются больше всего... Пока лидер - вот это сообщение. А вы говорите - научный форум

[NT2000]

Очевидный плюс вашего подвига - "Откуда 2-я гармоника?".
Без вас, точно бы этого топика не нашёл