End of peer-review?

[Red_Herring]

Мы уже обсуждали эту тему почти 3 года назад. Но вот статья:
http://news.nationalpost.com/health/sciences-quality-control-system-under-attack-with-push-to-publish-research-before-its-peer-reviewed
В ней говорят медики/биологи, у них ситуация отличается от математики и физики.

У нас журналы уже давно практически утратили функцию распространения знаний (эту роль взял на себя arXiv, и многие молодые математики проглядывают новые статьи по специальности там, как ежедневную газету--и как 20--200 лет назад просматривали новые поступления в библиотеку. Впрочем, на западе препринты начали наступление на журналы намного раньше (но там это было для избранных (им, или их коллегам присылали препринты), а сейчас для всех.

Т.е. у журналов (по математике) по существу остается лишь одна функция: поставить Знак Качества.

А Вы как думаете?

[vicvolf]

Публикация в серьезной научной журнале занимает сейчас много времени. Публикация в архиве, чтобы "застолбить" результат более оперативна, правда иногда в ущерб качеству. Поэтому в серьезный журнал попадают, проверенные временем и рецензентом, более качественные статьи. Согласен с Вами.

[Red_Herring]

Вопрос о соотношении качества в arXiv и журнале более сложен. И вовсе не факт, что в конце концов журнальная статья более качественна. Подчеркну, что речь идёт о серьёзных журналах, а не о мусоросборниках, даже "с амбицией":
http://news.nationalpost.com/news/canada/new-owner-of-two-canadian-medical-journals-is-publishing-fake-research-for-cash-and-pretending-its-genuine

Дело в том, что с arXiv разные люди обращаются по разному. Вот мой молодой знакомый Z сначала ставит статью на веб-страницу и ждет. Лишь спустя некоторое время он отправляет её в arXiv и журнал. Но большинство всё же сразу отправят статью в arXiv (v. 1), а спустя какое-то время отправят в журнал и в arXiv (v. 2). Пока статья рецензируется, автор её улучшает (не то, что он работает над ней, но ему приходят в голову разные идеи, или он замечает ошибки, и вот статья пришла из журнала с замечаниями рецензента/ов. Если рецензенты квалифицированные, то замечания полезны, и статья дорабатывается с их учётом. Если рецензенты идиоты, то опять таки статья дорабатывается с учётом замечаний: чтобы избежать недоразумений. И вот статья вышла и в arXiv появилась v. 3. И журнальная статья застыла (не считая возможного Erratum) , а в arXiv может появиться v. 4 через год (или 10 лет). Я не знаю, сколько версий можно, но много.

https://arxiv.org/help/replace писал(а):

Revisions after version 5 are not listed in the daily mailings

Т.е. к arXiv можно относиться как к средству застолбить, а можно как и к средству полноценной публикации.

[dsge]

Издательство научных журналов - это бизнес с миллиардными оборотами. Естественно, что никто добровольно не откажется от этих денег. Плюс другие факторы, способствующие этой деятельности. Чтобы получить позицию рисечера (не обязательно в университете), или тенюр, или грант надо иметь список публикаций, в котором препринт, вообще говоря, не считается публикацией, необходимы именно журнальные статьи. При отчете за проделанную работу работодатель тоже требует указания журнальных публикаций.
В редколегиях журналов сидят те же профессора и это считается престижным, повышает чей-либо статус и шансы на новые гранты, занять административную должность, стать советником правительства и т.д. Поэтому они заинтересованы в статус кво.
А как источник новой информации журналы уже давно уступили место базам данных типа arXiv, тем более для просмотра последних не надо платить деньги, и найти необходимую статью легче именно там.

[Red_Herring]

dsge
Вы правы. Но тонкий вопрос: о каких журналах мы говорим? По сравнению, скажем, с медицинскими, всякая математика-теорфизика--мелочёвка. Кстати, некоторые солидные журналы сейчас могут поставить статью в открытый доступ, если авторы заплатят. И в одном и том же издательстве "выкуп из рабства" стоит для разных журналов по разному.

А есть ли места типа арХив по другим дисциплинам?

[dsge]

Да, я имел в виду прежде всего публикации по экономике и финансах. Аналоги арХив для них базы данных IDEAS/RePEc и ssrn.
Что касается рецензирования, то требования публиковать результаты в журналах имеют место и в Китае, и в Индии и в других развивающихся странах. Как результат, сейчас более-менее приличные журналы завалены низкопробными работами из этих стран. Поэтому рецензирование очень необходимо, хотя часто дески сами принимают решение для отбраковки работ, достаточно посмотреть на английский несколько предложений.

[Red_Herring]

Подождите, arXiv это не база данных, а место для публикаций (т.е. там, есть база данных того, что есть в arXiv). Т.е. можно сказать, что arXiv это вроде журнала.

А база данных, это, скажем MathSciNet. А что такое RePEc и сын его IDEAS ? Аналог arXiv? MathSciNet? Комбинация?

Цитата:

IDEAS the largest bibliographic database dedicated to Economics and available freely on the Internet

Мне известны случаи когда очень хорошие журналы отвергали без рецензирования хорошие статьи очень заслуженных авторов. Мне время от времени присылают статьи с вопросом: имеет ли смысл рецензировать?

Кстати, у меня такое впечатление, что крестовый поход против Elsevier начал Timothy Gowers, который отнюдь не обижен системой.

И если сегодня peer-review это реально для печатных журналов, то в будущем может появиться система тоже с peer-review, но не связанная с устоявшимися издательствами, lean & mean, free (or very inexpensive). Ведь собственно говоря рецензентам, которые и составляют основу системы, не платют,

[dsge]

На IDEAS выставляются только препринты организаций после того как появились на официальных сайтах, частное лицо этого не может сделать. Аналогом arXiv скорее будет Munich Personal RePEc Archive, где публикуются частные лица.

Red_Herring в сообщении #1221987 писал(а):

Кстати, у меня такое впечатление, что крестовый поход против Elsevier начал Timothy Gowers, который отнюдь не обижен системой.

К этому времени он уже получил Филдса и больше от системы получать было нечего. Я бы посмотрел какой он был смелым будучи аспирантом или ассистентом профессора.

Red_Herring в сообщении #1221987 писал(а):

И если сегодня peer-review это реально для печатных журналов, то в будущем может появиться система тоже с peer-review, но не связанная с устоявшимися издательствами, lean & mean, free

В математике возможно, экономика намного более коррумпирована, больше денег там вращается, больше заинтересованных ничего не менять. В том же Elsevier авторы платят до 300 долларов только за рассмотрение статьи без каких-либо гарантий.

[Red_Herring]

Red_Herring в сообщении #1221987 писал(а):

К этому времени он уже получил Филдса и больше от системы получать было нечего.

Так и я о том же: революцию здесь надо делать сверху

Цитата:

В математике возможно, экономика намного более коррумпирована, больше денег там вращается, больше заинтересованных ничего не менять. В том же Elsevier авторы платят до 300 долларов только за рассмотрение статьи без каких-либо гарантий.

Ну с математики-физики начать, а потом со времненем и другие решат "А мы чем хуже?". Кстати, рецензентам в экономике платят, или эти 300 баксов просто налог на ремонт Пятигорского провала?

[dsge]

Red_Herring в сообщении #1221996 писал(а):

Кстати, рецензентам в экономике платят, или эти 300 баксов просто налог на ремонт Пятигорского провала?

Нет, рецензентам ничего не платят, возможно платят редактору за "ценный" совет послать работу в другой журнал.

[Munin]

Red_Herring в сообщении #1221927 писал(а):

Т.е. у журналов (по математике) по существу остается лишь одна функция: поставить Знак Качества.

Да, зато её очень непросто заменить.

Я напомню, что я говорил о:

Munin в сообщении #846814 писал(а):

сети free open peer reviewng-а и peer endorsement-а.

По сути, нужна система, сводящая воедино трёх лиц и их интересы:
1) авторы статьи;
2) читатели статьи;
3) рецензенты.
Понятно, в чём заинтересованы авторы и читатели:
- авторы хотят, чтобы их статью отрецензировали грамотные и именитые рецензенты;
- читатели хотят того же самого - но с потоком поступающих препринтов.
А вот в чём интерес рецензента? Это вопрос, скорее, к вам как к человеку опытному в этом деле.

Я думаю, что:
- рецензент прежде всего тратит на рецензирование свой труд и время;
- рецензент мог бы получать за работу деньги (их можно собирать как donate с авторов и читателей);
- рецензент мог бы получать некоторые "лайки", воплощающие репутацию даже для сторонних наблюдателей.

Однако достаточно ли этого? Может быть, и нет. Хорошо бы дать рецензенту ещё что-то аналогичное по ценности самой публикации или цитированию. Например, чтобы в цитировании публикации был указан ещё и рецензент (вместо нынешнего указания журнала - как места публикации).

Кроме того, система должна быть защищена от abuse-а. Например, так чтобы рецензенты не могли печатать пулемётом рецензии, чисто ради денег.

[dsge]

Munin в сообщении #1222015 писал(а):

- авторы хотят, чтобы их статью отрецензировали грамотные и именитые рецензенты;

Квалифицированные, очень именитые обычно не занимаются рецензированием, они, являясь редакторами, распределяют работы между рецензентами.

Munin в сообщении #1222015 писал(а):

вот в чём интерес рецензента?

Рецензент осознает, что он тоже автор и что кто-то его тоже должен рецензировать. И если рецензент пошлет свою работу в тот же журнал, он будет надеется, что редактор его помнит.
Редактору нет проблем назначить рецензентом одного из своих учеников или коллег с факультета. Также, если редактор, скажем, Нобелевский лауреат, то не всякому хватит смелости отказать в рецензировании, поскольку эта деятельность может оказаться полезной в последствии.
В общем, рецензент тратит свое время и силы, но явно такая работа никак не учитывается в его оценке работодателем - факультет, начальство и т.п.

[Red_Herring]

Munin в сообщении #1222015 писал(а):

А вот в чём интерес рецензента? Это вопрос, скорее, к вам как к человеку опытному в этом деле.

1) Просто интересно 2) Общественное благо (public good). Есть куча деятельности, которая должна быть бесплатной и вознаграждаться просто чувством удовлетворенности. Ну, например, лекции школьникам, организация олимпиад... Причем благодарность не ожидается. Просто: мы в долгу, который надо отдать, а то будем свиньями (карма плохой будет). В математике это работает, в экономике скорее всего работать не будет.

[sergei1961]

Согласен, что архив сейчас полезнее любого журнала, сам просматриваю его рассылку ежедневно по возможности. Действительно, для журналов остались "знак качества", статьи как раньше трудодни в колхозе-для оплаты по грантам или в университетах, ну и понты, "у меня порш, а у тебя только форд", "у меня анналы, а у тебя только матзаметки". Но эти понты важны на высшем уровне для распределения должностей, халяв и бабок.
Если помечтать, то я бы предложил для публикаций одну систему типа архива, но реально рецензируемую и с несколькими ступенями. Скажем любой человек может выложить статью на нулевом уровне, выбрав нужный раздел. Далее статьи своего раздела просматривают рецензенты первого уровня, отсекая бред и замеченные повторы. Тогда после на первом уровне остаются работы обычного уровня, без бреда и скорее всего оригинальные, хотя бы частично. Далее рецензенты второго уровня отбирают из первого работы, содержащие новые интересные результаты из фона банальных работ. А потом на третьем уровне отбираются те, которые представляют новое слово в данном разделе науки, наиболее значительные результаты. Этого достаточно. Конечно, и тогда останется место для коррупции, групповщины, жульничеству-но это неотделимо от любой человеческой деятельности. Надо содержать, отбирать рецензентов, наверное им платить. Зато можно закрыть сто тысяч журналов, это всё равно окупится.
Просто это никому не надо, так как статьи сейчас пишут научные лишь небольшой процент учёных, плюс как справедливо уже написали вертятся большие бабки.Но с бабкосборщиками нужно везде одновременно решать, и в науке, и в медицине, и в нефтегазе, и в политике. Так как альтернатива, что или нормальные люди, которые работают в любой области, или эти бабкосборщики, всё яснее и яснее для многих. Так что радикальные меры по истреблению паразитов во всех областях не за горами и думаю неизмежны. Но я искренне и трусливо надеюсь до этого не дожить, шансы, к сожалению, большие.

[dsge]

dsge в сообщении #1221983 писал(а):

Издательство научных журналов - это бизнес с миллиардными оборотами.

Здесь небольшая недооценка. Не обороты, а чистая прибыль группы, куда входит Elsevier, составила 1.5 млрд. долларов в 2015.
http://www.relx.com/investorcentre/reports%202007/Documents/2015/relxgroup_ar_2015.pdf
стр. 169.
Для сравнения у Газпрома чистая прибыль - 3 млрд. долларов.