Кризис рецензируемых математических журналов

[Red_Herring]

По заявкам:

bin в сообщении #845986 писал(а):

Red_Herring в сообщении #845952 писал(а):

Как математик, написавший весьма много статей и рецензировавший весьма много статей (для серьезных журналов) я считаю, что система рецензирования полностью сломана. Но это отдельный разговор.

Ok!!! Вот про это хотелось бы подробнее. Откройте, пожалуйста, отдельную тему - это будет очень важная тема, я обязательно туда приду, т.к. и у меня много наблюдений!

Munin в сообщении #845997 писал(а):

Red_Herring в сообщении #845952 писал(а):

Как математик, написавший весьма много статей и рецензировавший весьма много статей (для серьезных журналов) я считаю, что система рецензирования полностью сломана. Но это отдельный разговор.

А расскажите. Можно в отдельной теме. Даже лучше.

Четыре года назад я написал следующее эссе:

http://weyl.math.toronto.edu/blog/?p=469

С тех пор моя точка зрения не изменилась.

Резюме на русском:

Я полагаю, что реферируемые математические журналы в нынешнем виде изжили себя и подобны часам Роллекс или 64 мб флешке украшенной стразами Сваровского: в первую очередь показывают крутость автора / владельца, а измерение времени или перенос информации гораздо лучше осуществляются другими средствами.

К сожалению, администрация (обобщенная) придерживается несколько более традиционного времени.

$ \reflectbox{\copyright}$ Копировать разрешается неограниченно.

[Xaositect]

Там не так много критики по поводу собственно рецензирования. Как Вы относитесь к электронным журналам типа DMTCS или Theory of computing?

[Red_Herring]

Xaositect в сообщении #846068 писал(а):

Там не так много критики по поводу собственно рецензирования. Как Вы относитесь к электронным журналам типа DMTCS или Theory of computing?

Это специализированные журналы и не по моей специальности. Я с ними не знаком. Краткая инспекция: эти журналы отвечают моему пониманию правильных электронных публикаций (genuine digital publication).

Но они придерживаются разных схем. Первый open, второй open и open source. Во втором я могу скачать tex source и это позволяет мне ссылки на конкретные уравнения, секции или теоремы данной статьи с помощью пакета xr–hyper (в первом я могу делать такие ссылки зная схему pdf-anchors, что более сложно). Я голосую за open source.

[Toucan]

Тема перемещена из форума «Свободный полёт» в форум «Беседы на околонаучные темы»

[Munin]

Red_Herring в http://weyl.math.toronto.edu/blog/?p=469 писал(а):

Very recently Millennium Prize Committee recognized publications in arXiv as meeting requirements awarding G. Perelman for papers which were published there.

Насколько я понимаю, это как раз пример в другую сторону: сначала работы Перельмана в arXiv-е прошли peer reviewing (пусть и не типичного журнально-анонимного типа, но тем не менее), и потом были признаны за публикации.

В общем, в этом, возможно, есть ростки идеи "как надо" и "как будет". Уже сейчас никто не мешает начать строить "free journal-independent peer-reviewing system" прямо на основе существующего арХива.

Red_Herring в http://weyl.math.toronto.edu/blog/?p=469 писал(а):

The trouble is that when article by the author(s) who are really serious mathematician looks good and correct, it often refers to 3 previous papers by the same authors and to verify correctness one needs to read 200-300 pages of the dense material, often containing “modifying arguments of the proof of Lemma 3.5 [3] one can easily prove …” and in most of the cases it is impossible within reasonable time.

В принципе, для этого в журналах служит выбор в качестве reviewer-а - специалиста в заявленной области. Такой специалист имеет шансы быть знакомым с этими 3 previous papers (или хотя бы частью из них), и иметь кроме того некоторую интуицию и general opinion, позволяющие оценить правдоподобность высказанных положений. Вот насколько область науки "рассыпается на несвязные подобласти", так что подходящего специалиста трудно / невозможно найти, это, наверное, в разных областях индивидуально.

В конце концов, является ли задачей reviewer-а полная проверка корректности работы? В естественных науках - НЕТ. В них истина выясняется проверочными экспериментами, а reviewer всего лишь смотрит, чтобы статья была годным отчётом о том, что сделано. Как в математике принято - не знаю.

[Red_Herring]

Munin в сообщении #846165 писал(а):

Red_Herring в http://weyl.math.toronto.edu/blog/?p=469 писал(а):

Very recently Millennium Prize Committee recognized publications in arXiv as meeting requirements awarding G. Perelman for papers which were published there.

Насколько я понимаю, это как раз пример в другую сторону: сначала работы Перельмана в arXiv-е прошли peer reviewing (пусть и не типичного журнально-анонимного типа, но тем не менее), и потом были признаны за публикации.

В общем, в этом, возможно, есть ростки идеи "как надо" и "как будет". Уже сейчас никто не мешает начать строить "free journal-independent peer-reviewing system" прямо на основе существующего арХива.

При этом известны имена тех, кто проверял и каждый может решить можно ли им верить.

Цитата:

Red_Herring в http://weyl.math.toronto.edu/blog/?p=469 писал(а):

The trouble is that when article by the author(s) who are really serious mathematician looks good and correct, it often refers to 3 previous papers by the same authors and to verify correctness one needs to read 200-300 pages of the dense material, often containing “modifying arguments of the proof of Lemma 3.5 [3] one can easily prove …” and in most of the cases it is impossible within reasonable time.

В принципе, для этого в журналах служит выбор в качестве reviewer-а - специалиста в заявленной области. Такой специалист имеет шансы быть знакомым с этими 3 previous papers (или хотя бы частью из них), и иметь кроме того некоторую интуицию и general opinion, позволяющие оценить правдоподобность высказанных положений. Вот насколько область науки "рассыпается на несвязные подобласти", так что подходящего специалиста трудно / невозможно найти, это, наверное, в разных областях индивидуально.

В конце концов, является ли задачей reviewer-а полная проверка корректности работы? В естественных науках - НЕТ. В них истина выясняется проверочными экспериментами, а reviewer всего лишь смотрит, чтобы статья была годным отчётом о том, что сделано. Как в математике принято - не знаю.

Это все хорошо, если в данной узкой области математики имеется хотя бы две более или менее независимых группы. А если только одна, состоящая из "корифея" и его бывших студентов? Можно еще поверить, что ученики найдут ошибку у учителя (если они вдобавок не являются соавторами данной работы), но объективная оценка значимости? В таких случаях обычно выбирают 2х рецензентов: один (более близкий к автоу) проверяет, второй (более известный) оценивает. Но бывают казусы. Как то раз мне прислали на решающую рецензию небольшую работу, уже прошедшую 3х рецензентов, которые сделали различные заключения по поводу целесообразности опубликования. Работа была среднего уровня, журнал был серьезный, но не суперпрестижный.

Одно заключение (положительное) было в общем болтовней, второе (положительное) тоже было явно написано неспециалистом, третье (отрицательное) было полным бредом; автор не понимал области абсолютно.

Я специально пишу о математических журналах, либо по крайней мере о журналах в области вроде теоретической и математической физике или теоретической computer science.

[Munin]

Red_Herring в сообщении #846305 писал(а):

При этом известны имена тех, кто проверял и каждый может решить можно ли им верить.

Ну, в анонимности тоже есть свои плюсы. Счёты не сводить, например... Кроме того, есть и некоторый плюс в том, что в журнале reviewer не сам вызывается, а его выбирают, то есть по какой-то уже внешней оценке ориентируются.

Но это проблемы технические и решаемые.

Red_Herring в сообщении #846305 писал(а):

Это все хорошо, если в данной узкой области математики имеется хотя бы две более или менее независимых группы.

Вот об этом я и говорил: специфика научной области. Во многих других местах на одной теме топчутся до полдесятка групп (это в одной стране).

[bin]

Red_Herring,
Спасибо, что откликнулись на нашу просьбу и открыли эту тему. Эпиграф-перефразировка "Сверхзвезды" в Вашем эссе, казалось бы, совершенно однозначно определяет Вашу позицию, но ИМХО прежде всего нужно дополнительно уточнить несколько важных деталей. Вы справедливо отмечаете ряд достоинств электронных журналов и, в частности, возможность внесения в уже изданную статью комментариев и исправлений, и также отмечаете, что рецензирование зачастую сводится к фильтрации от очевидных ошибок (для выявления неочевидных у рецензента обычно недостаточно возможностей: ознакомиться с упомянутыми работами и т.д.). Следует ли из этого, что Вы предлагаете:

1) полностью отказаться от бумажных журналов? (речь о математике и смежных дисциплинах)
2) полностью отказаться от рецензирования в электронных журналах?

Эпиграф утверждает (1), а Ваша фраза

Цитата:

Currently peer reviewed is an almost synonym to printed or paper.

утверждает (2). Однако в отношении процитированной фразы можно возразить:

3) выбор электронного носителя не отменяет автоматически предварительного рецензирования, ведь можно и электронные журналы рецензировать как и бумажные?

Если же заменить рецензирование на комментарии и исправления, то:

4) Кто, по-Вашему, сможет их вносить? Т.е. должны ли электронные журналы следовать путем Википедии, где любой читатель может откомментировать или даже исправить то, что ему кажется ошибочным? Или должно быть как-то иначе? Как?

Комментарии читателей (отклики) возможны и в бумажных журналах, но:

5) практически отклики бывают крайне редко и большинство статей остаются без них. Судя по разным распространенным сейчас видам электронных публикаций, например, по блогам, отклики довольно редки и здесь (исключая некоторые блоги, топовые в области, пользующейся повышенным интересом). Считаете ли Вы, что в электронных журналах откликов будет больше?

[Red_Herring]

Меня меньше интересует проблема рецензирования, а больше сама система журналов. Система печатных журналов себя изжила. В самом деле: засовывать в один номер несолько разнородных статей, так что данный конкретный читатель прочтет не более одной из них, но при этом купит или возьмет в библиотеке целый номер, представляется нерациональным.

Как только мы откажемся от печатных журналов, сама идея организации статей в номера, а номеров в тома уходит в небытие. И действительно, в дигитальном формате продаются отдельные статьи, а вовсе не номера или тома (если речь не идет о подписке). Но тогда уходят в небытие и фиксированный объем номера, и ограничение на объем статьи, и следование единому образцу и невозможность представить новый вариант уже опубликованной статьи.

Что же остается? Peer–reviewing. А не много ли требует издатель за свое посредничество: члены редколлегии работают бесплатно, рецензенты бесплатно, авторы бесплатно, читатель платит большие суммы (или наоборот в расплодившихся сейчас псевдорецензируемых журналах). Некоторые мои коллеги (как правило левых убеждений) полагают, что благодаря монополизации рынка издатели загребают деньги лопатой. Другие, более знакомые с кухней, утверждают, что это не так—издатели отнюдь не зарабатывают безумные суммы. Я полагаю, что верно последнее—деньги просто уходят в трубу. На рекламу (в других журналах того же профиля), на организцию подписки, и вообще просто испаряются, не обогащая никого.

[Munin]

Red_Herring в сообщении #846349 писал(а):

Система печатных журналов себя изжила. В самом деле: засовывать в один номер несолько разнородных статей, так что данный конкретный читатель прочтет не более одной из них, но при этом купит или возьмет в библиотеке целый номер, представляется нерациональным.

Есть обзорные журналы. Есть тематические выпуски журналов. Есть заказные обзорные статьи (а кто по своей инициативе-то будет писать обзор, разве что для диссертации?). В общем, система не совсем состоит из зла.

Red_Herring в сообщении #846349 писал(а):

И действительно, в дигитальном формате продаются отдельные статьи

Исчезает ещё и такая вещь, как ориентир. Всего однородная масса статей слишком велика, чтобы в ней ориентироваться. Нужны автотитетные голоса, имеющие репутацию, и ранжирующие этот поток.

[Red_Herring]

bin в сообщении #846346 писал(а):

1) полностью отказаться от бумажных журналов? (речь о математике и смежных дисциплинах)
2) полностью отказаться от рецензирования в электронных журналах?

Эпиграф утверждает (1), а Ваша фраза

Цитата:

Currently peer reviewed is an almost synonym to printed or paper.

утверждает (2). Однако в отношении процитированной фразы можно возразить:

3) выбор электронного носителя не отменяет автоматически предварительного рецензирования, ведь можно и электронные журналы рецензировать как и бумажные?

Если же заменить рецензирование на комментарии и исправления, то:

Я написал "currently", имея в виду ситуацию в настоящее время, а она, слава богу, меняется, хотя и не так быстро как хотелось бы. Фокус в том, что существующие журналы существуют в традиционной форме (а дигитальная является ее отражением), а новые журналы возникают в новой, причем по настоящему дигитальной форме. В этом смысле требуется нечто вроде лесного пожара расчищающего дорогу новой поросли или метеорита убившего динозавров.

Разумеется, дигитальный формат не противоречит рецензированию. И я не предлагаю отказаться от рецензирования (и упаси господь, не заменить его правкой). Но рецензирование в настоящем виде—процесс нерациональный. Хорошая статья может быть отвергнута только потому, что редакция имеет длинную очередь, а посредственная принята только потому, что очередь пуста а подписчик заплатил за объем. Но если журнал чисто дигитальный, то ограничения на объем сверху нет, а если он бесплатный, то нет ограничения снизу.

Я предлагаю: в случае, когда редакция пришла к выводу, что статья неплоха, но все же не того супервысокого уровня, как редколлегия считает, чтобы публиковать в данном журнале, то он может ее не отвергнуть, а одобрить и с таким одобрением с согласия автора перенаправить в другой журнал или arXiv. В первом случае тот другой журнал получит и все рецензии, во втором--на статье будет дигитальная подпись редакции и соответствующая запись.

В дополнение к дигитальному журналу можно иметь блог для обсуждения (хорошо бы проэкспериментировать).

-- 06.04.2014, 11:26 --

Munin в сообщении #846352 писал(а):

Red_Herring в сообщении #846349 писал(а):

Система печатных журналов себя изжила. В самом деле: засовывать в один номер несолько разнородных статей, так что данный конкретный читатель прочтет не более одной из них, но при этом купит или возьмет в библиотеке целый номер, представляется нерациональным.

Есть обзорные журналы. Есть тематические выпуски журналов. Есть заказные обзорные статьи (а кто по своей инициативе-то будет писать обзор, разве что для диссертации?). В общем, система не совсем состоит из зла.

Ну разумеется, но их безумно мало. А обзорную статью напишет тот, кто считает, что такая нужна.

Цитата:

Red_Herring в сообщении #846349 писал(а):

И действительно, в дигитальном формате продаются отдельные статьи

Исчезает ещё и такая вещь, как ориентир. Всего однородная масса статей слишком велика, чтобы в ней ориентироваться. Нужны автотитетные голоса, имеющие репутацию, и ранжирующие этот поток.

Во первых, авторы имеют репутацию. Во вторых, беглого взгляда обычно довольно чтобы решить ("конгениально", "стоит посмотреть поближе", "скучно", "бредятина"). И, наконец, я же не предлагаю публиковать все. Даже arXiv имеет систему endorsers.

[Munin]

Red_Herring в сообщении #846355 писал(а):

Во первых, авторы имеют репутацию.

Да, но процент таких авторов настолько мал, что это никак не компенсирует систему "журналы имеют репутацию". Нужна сеть доверия, простроенная. А пока мы имеем никак не формализованный мешок фамилий. (Особенно китайских, которые все на одну букву X.)

Red_Herring в сообщении #846355 писал(а):

Даже arXiv имеет систему endorsers.

И даже arXiv жутко переполнен.

[Red_Herring]

Munin в сообщении #846376 писал(а):

Red_Herring в сообщении #846355 писал(а):

Во первых, авторы имеют репутацию.

Да, но процент таких авторов настолько мал, что это никак не компенсирует систему "журналы имеют репутацию". Нужна сеть доверия, простроенная. А пока мы имеем никак не формализованный мешок фамилий. (Особенно китайских, которые все на одну букву X.)

Red_Herring в сообщении #846355 писал(а):

Даже arXiv имеет систему endorsers.

И даже arXiv жутко переполнен.

Зависит от области. На самом деле: смотрим на аспирантов в Сев. Америке, которые еще не опубликовали ничего даже в arXiv. Многие уже имеют репутацию в своей области: какой нибудь "авторитет" (научный руководитель или старший коллега, с которыми аспирант поговорил(а)) упоминает результаты (неопубликованные) в докладе или статье и уже аспирант замечен.

Но я не предлагаю отменить журналы как таковые. Просто изничтожить большинство печатных и заменить дигитальными. Я бы в США оставил в нынешней форме Annals и Bulletin of AMS (речь идет о математике), а остальные по-моему должны либо перейти на дигитальный формат либо вымереть.

[patzer2097]

Red_Herring в сообщении #846392 писал(а):

Я бы в США оставил в нынешней форме Annals и Bulletin of AMS (речь идет о математике), а остальные по-моему должны либо перейти на дигитальный формат либо вымереть.

а как же JAMS, Duke и журналы уровня, близкого к топовым? хотя я согласен, что переход на цифровой формат неизбежен для абсолютного большинства журналов..

[bin]

Red_Herring в сообщении #846392 писал(а):

Зависит от области. На самом деле: смотрим на аспирантов в Сев. Америке, которые еще не опубликовали ничего даже в arXiv. Многие уже имеют репутацию в своей области: какой нибудь "авторитет" (научный руководитель или старший коллега, с которыми аспирант поговорил(а)) упоминает результаты (неопубликованные) в докладе или статье и уже аспирант замечен.

Но я не предлагаю отменить журналы как таковые.

Интересно: случайно или нарочно никто здесь еще не упомянул про индексы цитируемости Для журналов это импакт-фактор. Т.о. если верить в этот "фактор", то проблема:

Red_Herring в сообщении #846355 писал(а):

Фокус в том, что существующие журналы существуют в традиционной форме (а дигитальная является ее отражением), а новые журналы возникают в новой, причем по настоящему дигитальной форме. В этом смысле требуется нечто вроде лесного пожара расчищающего дорогу новой поросли или метеорита убившего динозавров.

разрешится сама собой без метеоритов, как только электронные издания будут иметь факторы, большие бумажных

И про "авторитет" из первой цитаты. Авторитетность, особенно в математике последних лет, очень проблематичное понятие. Упомянутый выше Г.Перельман вызвал много споров рядом своих поступков, в праве совершить которые ему при этом никто не отказывает. Что В. И. Арнольд сделал большой вклад - согласны почти все, но некоторые его утверждения в отношении природы математики вызывают очень жаркие споры. Можно продолжить этот список ярких математиков, наших современников...