2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 А давайте-ка организуем всероссийскую выкачку баз?
Сообщение22.11.2011, 01:27 
Аватара пользователя


14/01/10
252
Коллеги, все, кто имеет институтский доступ к полнотекстовым зарубежным базам научных журналов.
Известно, что даже при наличии полного доступа выкачивать все базы подряд запрещено.

А давайте-ка организуем всероссийскую распределенную выкачку баз? Чем больше институтов вовлечено, тем меньше претензий могут предъявить к конкретному подписчику. Написать скрипт, подключить 20-30 прокси с разных институтов в России и не торопясь грузить. За месяц думаю можно будет управиться. В расчете на институт всплеск активности не должен быть большим. Надо прикинуть. Сделать проседание нагрузки ночью, чтобы было похоже на обычное любопытство.

А то подписка оплачена, а использовать сразу все не выходит, в то время как в глубинке страдают ученые.

Уже знамениты на весь мир Library Genesis-ом и КОЛХОЗом, можно теперь и за SсiеnсеDirect-овских барыг взяться.

 Профиль  
                  
 
 Re: А давайте-ка организуем всероссийскую выкачку баз?
Сообщение27.11.2011, 00:34 
Аватара пользователя


14/01/10
252
Есть замечательный похожий проект, но не выкачки, а доступа по запросу.
Автор неизвестен, и неясно, на каких прокси он держится.

http://sci-hub.org

Создателю почет и уважение.

 Профиль  
                  
 
 Re: А давайте-ка организуем всероссийскую выкачку баз?
Сообщение27.11.2011, 09:51 


27/11/11
2
Автор прекрасно известен (точнее известна)
Просто если Вы не знаете, кто автор, так бы и писали: я не знаю.

 Профиль  
                  
 
 Re: А давайте-ка организуем всероссийскую выкачку баз?
Сообщение27.11.2011, 18:29 
Аватара пользователя


14/01/10
252
Под "неизвестен" имел в виду "нет прямой информации на сайте".
Безуспешно пытался связаться чтобы дасть свой прокси, да и вообще интересно структуру узнать.

Нагугливается http://ringo-ring.livejournal.com
http://molbiol.ru/forums/index.php?showtopic=483925

Насколько ясно из обсуждения, существующие халявные серверы могут быстро упасть от притока запросов. Нужно создать защиту от выкачки на уровне серверов (допустим,не более 1 статьи в мин). И выкачивать все целиком, чтоб не делать лишнюю работу на одинаковых запросах.

 Профиль  
                  
 
 Re: А давайте-ка организуем всероссийскую выкачку баз?
Сообщение27.11.2011, 19:28 


27/11/11
2
mclaudt в сообщении #508882 писал(а):
Насколько ясно из обсуждения, существующие халявные серверы могут быстро упасть от притока запросов

Ничего это не ясно. Пока не упали, а проект уже неск. месяцев стоит.

mclaudt в сообщении #508882 писал(а):
Нужно создать защиту от выкачки на уровне серверов (допустим,не более 1 статьи в мин).

Есть такая защита уже

По поводу вашей идеи насчет выкачки отписалась в ветке на мобиоле. Sci-Hub этим заниматься не будет. И вам не советую.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Модератор: Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group