2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 А давайте-ка организуем всероссийскую выкачку баз?
Сообщение22.11.2011, 01:27 
Аватара пользователя
Коллеги, все, кто имеет институтский доступ к полнотекстовым зарубежным базам научных журналов.
Известно, что даже при наличии полного доступа выкачивать все базы подряд запрещено.

А давайте-ка организуем всероссийскую распределенную выкачку баз? Чем больше институтов вовлечено, тем меньше претензий могут предъявить к конкретному подписчику. Написать скрипт, подключить 20-30 прокси с разных институтов в России и не торопясь грузить. За месяц думаю можно будет управиться. В расчете на институт всплеск активности не должен быть большим. Надо прикинуть. Сделать проседание нагрузки ночью, чтобы было похоже на обычное любопытство.

А то подписка оплачена, а использовать сразу все не выходит, в то время как в глубинке страдают ученые.

Уже знамениты на весь мир Library Genesis-ом и КОЛХОЗом, можно теперь и за SсiеnсеDirect-овских барыг взяться.

 
 
 
 Re: А давайте-ка организуем всероссийскую выкачку баз?
Сообщение27.11.2011, 00:34 
Аватара пользователя
Есть замечательный похожий проект, но не выкачки, а доступа по запросу.
Автор неизвестен, и неясно, на каких прокси он держится.

http://sci-hub.org

Создателю почет и уважение.

 
 
 
 Re: А давайте-ка организуем всероссийскую выкачку баз?
Сообщение27.11.2011, 09:51 
Автор прекрасно известен (точнее известна)
Просто если Вы не знаете, кто автор, так бы и писали: я не знаю.

 
 
 
 Re: А давайте-ка организуем всероссийскую выкачку баз?
Сообщение27.11.2011, 18:29 
Аватара пользователя
Под "неизвестен" имел в виду "нет прямой информации на сайте".
Безуспешно пытался связаться чтобы дасть свой прокси, да и вообще интересно структуру узнать.

Нагугливается http://ringo-ring.livejournal.com
http://molbiol.ru/forums/index.php?showtopic=483925

Насколько ясно из обсуждения, существующие халявные серверы могут быстро упасть от притока запросов. Нужно создать защиту от выкачки на уровне серверов (допустим,не более 1 статьи в мин). И выкачивать все целиком, чтоб не делать лишнюю работу на одинаковых запросах.

 
 
 
 Re: А давайте-ка организуем всероссийскую выкачку баз?
Сообщение27.11.2011, 19:28 
mclaudt в сообщении #508882 писал(а):
Насколько ясно из обсуждения, существующие халявные серверы могут быстро упасть от притока запросов

Ничего это не ясно. Пока не упали, а проект уже неск. месяцев стоит.

mclaudt в сообщении #508882 писал(а):
Нужно создать защиту от выкачки на уровне серверов (допустим,не более 1 статьи в мин).

Есть такая защита уже

По поводу вашей идеи насчет выкачки отписалась в ветке на мобиоле. Sci-Hub этим заниматься не будет. И вам не советую.

 
 
 [ Сообщений: 5 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group