Практика научного метода

[sergey zhukov]

В книжке Джона Уиллера "Правда и ложь в истории великих открытий" рассматривается несколько конкретных исторических случаев, в которых, по мнению автора, исследователь делал решающее открытие не благодаря данным эксперимента (которые были неопределенными или даже вообще свидетельстовали об обратном), а по каким-то совершенно другим причинам. Проще говоря, он заранее знал, что хотел получить, и это сильно влияло на интерпретацию данных эксперимента.

В частности, приводится пример с Эддингтоном, солнечным затмением и проверкой ОТО. Как известно, экспедиции одновременно было две (в Африку (в составе которой был Эддингтон) и Бразилию (г. Собрале)), причем снимки, полученные в Бразилии, были лучшего качества, чем у Эддингтона, но эти лучшие снимки хуже согласовывались с предсказанием ОТО (а снимкм более низкого качества самого Эддингтона согласовывались лучше). Уиллер пишет:

Профессор Эддингтон намеренно придавал большее значение африканским снимкам, но поскольку изображения на его астрографических пластинах были худшего качества, чем те, что были получены в Бразилии, а последним практически не придавалось никакого значения, то логику всего происходившего понять невозможно.

Манипуляции с данными, допущенные Эддингтоном, столь серьезны, что трудно избавиться от такой крамольной мысли: если бы теории предсказывали противоположные значения — ньютоновская теория давала бы большие значения, а теория Эйнштейна маленькие, то Эддингтон отказался бы от своих фотографий как от слишком расплывчатых и с удовольствием бы воспользовался астрографическими снимками, полученными в Собрале.

Я не хочу тут утверждать, что "Эддингтон поддтасовал данные", или даже что "ОТО не доказана". Но все же кажется очевидным, что на Эддингтона сильно влиял тот факт, что он уже знал, что должен получить.

Часто говорят, что данные эксперимента нужно анализировать беспристрастно. Практически это изначит, что человек, который проводит эксперимент, не должен знать, что он должен получить (слепое тестирование), иначе избежать предвзятости почти невозможно. Как вы думаете, насколько было бы полезно строго придерживаться именно слепого метода в сравнении с ситуацией, когда теоретический результат экспериментатору уже известен? Мне кажется, что четкое следование "слепой" практике - не лучший вариант.

[EUgeneUS]

Что-то как-то жёстко автор перекручивает.

Беглый поиск показывает:
1. Да, у Эддингтона удачный снимок был чуть ли не один единственный.
2. У Эддингтона на Принсипе получилось гравитационное отклонение $1.61$ угловых секунд, по данным из Собрала $1.98$.
Теоретическое значение по ОТО: $1.75$. Итого отклонение у Эддингтона: $-0.14$, по данным из Собрала: $+0.23$.
3. Теоретическое значение по Ньютоновской механике: $0.87$ угловых секунд. То есть значение из Собрала хуже согласуется с ОТО, чем значение Эддингтона, но ещё хуже с Ньютоновской механикой.
4. Вроде бы (по ссылкам с пруфами не ходил) данные Эддингтона были перепроверены позже, и вывод подтвердился (что точности измерений хватило).
5. Экспедиция в Собрале задержалась, чтобы снять звезды фона без Солнца. А на Принсипе то было сделано заранее, поэтому результат получили раньше. Тем не менее, Эддингтон объявил о результате только 6 ноября, после возвращение обеих групп.

Вот тут pdf без sms оригинальной статьи.
В ней учитываются данные обеих экспедиций, и сами авторы заявляют, что ошибка в данных из Принсипе больше, чем в данных из Собрала. Читайте первоисточники.

[sergey zhukov]

EUgeneUS
Я думаю, Джон Уиллер тоже в некотором роде "уже знает, что должен получить" и поэтому преувеличивает. Я с такой его категорической оценкой тоже не согласен. Пример про Эддингтона тут я вставил для иллюстрации эффекта, о котором говорит автор.

Эффект, о котором он говорит, однозначно существует. Знание "нужного" результата не может не влиять на интерпретацию данных опыта. Это влияние происходит даже неосознанно. Вот мне интересно, насколько такое влияние оказывается полезным? Хорошо ли всегда быть беспристрастным и независимым, как в двойном слепом тестировании, где никто ничего не знает? Или же это уже некоторая крайность, которая в чистом виде не то что недостижима, но вряд-ли даже и полезна?

[Anton_Peplov]

В физике "двойной слепой плацебо-контролируемый метод" невозможен. Физик не может не знать, какую теорию он проверяет. Насколько беспристрастно он ее проверяет - большой вопрос. Но рано или поздно накапливается много свидетельств, полученных разными группами, проверявшими разные следствия теории. Экспериментальная и наблюдательная база ОТО обширна и все время пополняется. Вот, например, обзор 2014 года (еще до регистрации гравитационных волн). С тех пор было много других проверок, как минимум астрономических.

С солнечными затмениями все было непросто, да. Вайнберг в своей классической книге "Мечты об окончательной теории" подробно описывает слабость экспериментов по проверке следствий ОТО при солнечном затмении.

Вайнберг писал(а):

Действительно, многие ученые того времени скептически относились к данным, полученным во время затмения 1919 г. В докладе Нобелевскому комитету в 1921 г.[72] Сванте Аррениус упоминал многочисленную критику обнародованных результатов по измерению отклонения лучей света.
Начиная с 1919 г., во время ряда затмений астрономы продолжали проверять предсказание Эйнштейна. Такие затмения наблюдались в Австралии в 1922 г., на острове Суматра в 1929 г., на территории СССР в 1936 г. и в Бразилии в 1947 г. Результаты некоторых наблюдений, похоже, находились в согласии с эйнштейновской теорией, но были и такие, которые существенно с ней расходились. И хотя экспедиция 1919 г. на основе наблюдения дюжины звезд сообщила о 10%-й экспериментальной погрешности в измерении отклонения и о том, что наблюдения согласуются с предсказаниями теории Эйнштейна с такой же 10%-й точностью, некоторые последующие экспедиции не смогли достичь этой точности, несмотря на то, что наблюдали много больше звезд. Правда, затмение 1919 г. было особенно удобным для таких наблюдений. И все же я склонен считать, что астрономы из экспедиции 1919 г. при анализе своих данных были охвачены чрезмерным энтузиазмом в отношении ОТО. <…> Так, астрономов из экспедиции 1919 г. обвиняли в подгонке [73] за то, что они отбросили данные, полученные с одной из фотопластинок и расходившиеся с теорией Эйнштейна, и списали расхождение на счет изменения фокуса телескопа.

Но, несмотря на слабость экспериментальной базы, теоретики сразу же встретили ОТО с энтузиазмом.

Вайнберг писал(а):

Общая теория относительности произвела глубокое впечатление на физиков. Многие выдающиеся специалисты в Германии и других странах узнали об ОТО и отнеслись к ней как к многообещающей и важной теории задолго до экспедиции 1919 г. Среди этих специалистов были не только Зоммерфельд в Мюнхене, Макс Борн и Давид Гильберт в Гёттингене и Хендрик Лоренц в Лейдене, с каждым из которых Эйнштейн общался во время войны, но и Поль Ланжевен во Франции и Артур Эддингтон в Англии (именно он организовал экспедицию 1919 г.). Очень показательны предложения о присуждении Эйнштейну Нобелевской премии, поступавшие начиная с 1916 г. Так, в 1916 г. Феликс Эренгафт выдвинул Эйнштейна на Нобелевскую премию за его теорию броуновского движения, а также за специальную и общую теории относительности. В 1917 г. А. Гааз выдвинул его за общую теорию относительности (отмечая как свидетельство правильности теории успешное вычисление прецессии орбиты Меркурия). В том же 1917 г. Эмиль Вартбург выдвинул Эйнштейна за многочисленные вклады в науку, включая общую теорию относительности. Еще ряд подобных выдвижений последовал в 1918 г. Наконец, в 1919 г., за четыре месяца до экспедиции по изучению затмения Солнца, Макс Планк, один из отцов современной физики, выдвинул Эйнштейна за создание общей теории относительности.

Вайнберг писал(а):

Тем не менее, несмотря на слабость экспериментальной поддержки, теория Эйнштейна еще в 1920-е гг. вошла в стандартные учебники и с тех пор не сдавала свои позиции, невзирая на то, что разные экспедиции по наблюдению за солнечными затмениями в 1920–1930 гг. сообщали, по меньшей мере, о сомнительном согласии с теорией.

Вайнберг отстаивает идею, что теория входит в научный оборот не когда она окончательно подтверждается экспериментом, а когда теоретики начинают интересоваться ею настолько, чтобы работать над ней и учить ей студентов. При этом главным критерием для них может служить красота теории. Эмпирическая проверка - окончательный судья, который может утвердить или похоронить теорию, но порой получение необходимых эмпирических данных запаздывает на десятилетия.

[Dmitriy40]

Когда есть такая возможность (а она есть не всегда), то анализировать сырые данные отдают другим людям/группам, не сообщая им желаемый результат. А иногда и двум-трём независимым группам. Во всяком случае я неоднократно натыкался на такое в методиках проведения экспериментов в физике (и медицине), особенно при подозрении на сенсационный результат.
Другое дело что для многих крупных проектов такой возможности нет - никто просто не знает экспериментальную установку (источники систематических погрешностей) лучше самих исследователей, потому отдать анализ на сторону не выходит. Но даже и в этом случае публикуют не просто результаты, а прикладывают и сырые данные и программы/алгоритмы их анализа (с заложенным учётом всех особенностей установки), каждый желающий может всё это проверить своими методами, но об этих проверках уже не пишут в СМИ, хотя в архив.орг таких статей должно быть немало. Иногда кстати просачивается и в СМИ, мол какая-то группа пересчитала сырые данные по новому/другому и поставила под сомнение обнаруженный результат (но чаще его конкретное объяснение). Особенно часто такое в астрономии и геологии/археологии (наверное потому что прямо не перепроверить данные). Вероятно поэтому усугубляется раскол на экспериментаторов (что поставляют только факты, без интерпретаций) и теоретиков (строят теории для объяснений фактов), это хорошо видно по публикациям (экспериментальные группы максимум высказывают возможные предположения как можно объяснить свои данные, а потом набегают десятки теоретиков и начинается вакханалия подгонок теорий под новые данные).

В общем же случае это сводится к принципу "сформулировать цель перед постановкой эксперимента, а не искать в его данных хоть что-нибудь интересное". Нулевая гипотеза, p-value и всё такое.
Так что вполне себе используют, ещё как.

Но надо отдать должное, строгость требований к проведению опытов и анализу результатов очень сильно менялась на протяжении XX века и продолжает меняться (как последние десятилетия меняется в медицине), вряд ли в физических экспериментах первой половины прошлого века найдёте например критерий 5 сигм ... Потому не стоит оценивать давние опыты с сегодняшних позиций и требований.

-- 06.02.2023, 13:37 --

Anton_Peplov в сообщении #1580447 писал(а):

В физике "двойной слепой плацебо-контролируемый метод" невозможен. Физик не может не знать, какую теорию он проверяет.

Вполне возможен и практикуется. Потому что существует и усугубляется разделение на практиков и теоретиков, практик вполне может не разбираться в отличиях теорий друг от друга (даже например ОТО от петлевой гравитации) и соответственно какую теорию подтвердит или опровергнет его эксперимент. А обычно теорий (возможных объяснений результатов) больше одной и двух и нередко и десятка, тут уж он и разбираться не станет (это может быть сравнимо по сложности с самим опытом, а время и ресурсы у всех ограничены).
Времена гениальных одиночек, что сам себе и практик и теоретик и энциклопедист, прошли, во всяком случае в большинстве разделов физики.

[ozheredov]

Anton_Peplov в сообщении #1580447 писал(а):

В физике "двойной слепой плацебо-контролируемый метод" невозможен.

Пусть есть две теории (я буду обозначать их как гипотезы) $H_0$ (Ньютон, болото) и $H_1$ (Эйнштейн, прорыв), а эксперимент генерирует случайную величину $\xi$. Понятно, что распределение $\xi$ в случае $H_1$ неизвестно, но оно давно и очень хорошо изучено в случае $H_0$. Так что мы сгенерируем при помощи ГСЧ большую выборку из $H_0$ и подмешаем (при помощи функции randPermutation) ее к выборке, полученной в эксперименте. Далее, если гипотеза о том, что результирующая выборка получена из двух распределений прокатывает -- принимается $H_1$ (разумеется, распределения должны быть удалены друг от друга, Лайблер-Кульбак, вот это вот все -- но прорыв на то и прорыв). Нет?

[sergey zhukov]

Anton_Peplov
Я тоже думаю, что часто еще до формального экспериментального подтверждения теории уже существует уверенность, что она верна. Основа этой уверенности не ясна, но она играет важную роль.
В этом смысле ОТО, наверное, самый яркий пример. Практически из ничего возникает гораздо более сложная, чем предыдущая, теория гравитации, которая:

1. Не была вызвана к жизни какими-то серьезными расхождениями предыдущей теории гравитации с опытом, т.е. необходимость в ней не ощущалась;
2. Имеет настолько труднопроверяемые следствия, что надежды на их экспериментальную проверку в ближайшем будущем нет;
3. Представляет собой внушительную, совершенно новую и гораздо более сложную теоретическую конструкцию, которая создана практически с нуля одной силой мысли. Исходные посылки (принцип эквивалентности) кажутся просто до смешного примитивными и очевидными в сравнении с грандиозностью и сложностью извлеченного из них общего результата;
4. Является крайне сложной для интуитивного понимания;
5. Немедленно принимается, как серьезная, научным сообществом.

Почему так произошло? Я думаю, что Эйнштейну удалось построить очень сложную теорию, которая оказалась удивительно внутренне согласованной. То, что эта теория оказалась общековариантной (т.е. что вообще оказалось возможным такую теорию построить) - вот это, я думаю, давало уверенность в ее истинности. Некоторая сложная математическая по сути задача, как оказалось, имеет решение, хотя легко могла бы и не иметь.

Помню, у Фоменко где-то среди его трудов по альтернативной истории есть такая идея. Зодиаки, которые можно обнаружить на разной древней архитектуре - это не просто случайные картинки. Это совершенно конкретная фиксация положений планет, Луны и Солнца в некоторый момент времени в прошлом (дата какого-то важного события). Древние уже тогда понимали, что лучшие, вечные и неизменные часы - астрономические. Все остальное - разные человеческие шкалы времени - это все пыль и переходящее. Соответственно, Фоменко говорит: используя современные знания о солнечной системе и обращая движение планет, попробуем узнать, какой дате в прошлом соответствуют зодиаки. При этом легко может получиться, что они не соответствуют вообще никакой дате, т.е. такого расположения планет просто никогда не было. Тогда это просто картинки, и мы ошибаемся. Но если соответствие есть, и оно попадает в разумный интервал исторических дат, то наша гипотеза получает сильное подтверждение.

Что-то подобное случилось с ОТО. Весьма сложная задача могла бы легко не иметь решения, но она его имела.

Dmitriy40 в сообщении #1580449 писал(а):

В общем же случае это сводится к принципу "сформулировать цель перед постановкой эксперимента, а не искать в его данных хоть что-нибудь интересное"

Да, это интересная проблема. Если взять огромный массив данных и долго анализировать его на компьютере всевозможными способами, то можно найти там удивительные "зависимости" просто потому, что с увеличением объема данных вероятность отсутствия в них вообще каких-либо корреляций между чем угодно стремится к нулю. Если затем в статье по этой работе написать "Мы проверили миллион гипотез на таком-то массиве данных и обнаружили, что одна из них (гипотеза 10245) удивительно хорошо подтверждается", то это не бог весть какой результат. Вероятность того, что это случайное совпадение, довольно высока. Если же в статье написать "Мы сразу предположили гипотезу 10245, и ее проверка на таком-то массиве данных показала ее истинность" - то это, вообще говоря, выдающийся результат, поскольку вероятность случайного совпадения тут в миллион раз меньше,, чем в предыдущем случае, если только так все это и было на самом деле. Я слышал, что часто делают первое, а в статье пишут, что сделали второе. Поэтому сейчас как-будто даже есть специальный реестр, в котором каждый желающий выполнить какую-либо научную работу сначала регистрирует свою гипотезу, а потом уже проводит работу и публикует результаты.

[Dmitriy40]

Я выскажусь со своей точки зрения, возможно неверной, я не учёный.

sergey zhukov в сообщении #1580481 писал(а):

1. Не была вызвана к жизни какими-то серьезными расхождениями предыдущей теории гравитации с опытом, т.е. необходимость в ней не ощущалась;

Необходимость была: примирить гравитационную часть механики Ньютона с СТО (ограничение скорости и всё такое). Иначе сохранялось бы деление единой физики на две области: СТО с пространством-временем и ограничением скорости, и гравитация без оных. Но гравитация действует и в рамках механики, которая была расширена до СТО. Т.е. получили противоречие в описании явлений при наличии гравитации. И его необходимо было разрешить согласовав теории друг с другом. Что и привело к ОТО.

sergey zhukov в сообщении #1580481 писал(а):

2. Имеет настолько труднопроверяемые следствия, что надежды на их экспериментальную проверку в ближайшем будущем нет;

Дык пока не была получена цифра смещения перигелия Меркурия её и принимали за игру ума, только когда смогли получить конкретные цифры и они хорошо сошлись с опытом её стали принимать всерьёз.

sergey zhukov в сообщении #1580481 писал(а):

5. Немедленно принимается, как серьезная, научным сообществом.

Вовсе нет, только когда смогли из неё получить конкретные цифры и они лучше сошлись с опытом чем Ньютон.
На самом деле такое впечатление получается лишь из научпопа и СМИ, реально же кухня сильно сложнее, но от нас скрыта, и узнаём скорее постфактум из мемуаров, чем из учебников или публикаций в СМИ.

sergey zhukov в сообщении #1580481 писал(а):

Я слышал, что часто делают первое, а в статье пишут, что сделали второе.

Это считается некорректным поведением. Так очень легко просрать растерять весь авторитет.

sergey zhukov в сообщении #1580481 писал(а):

Поэтому сейчас как-будто даже есть специальный реестр, в котором каждый желающий выполнить какую-либо научную работу сначала регистрирует свою гипотезу, а потом уже проводит работу и публикует результаты.

Наверняка это Вы слышали про медицину, там как раз сейчас (последние десятилетия) за это и борются. С физикой в этом смысле сложнее, там более чёткое разделение на факты и теории, и эксперименты выдают первые, но не вторые, как мне кажется эксперименты вообще даже планируются и ставятся для подтверждения или опровержения конкретных идей/предположений/теорий, это не требует какой-то отдельной регистрации, и так всем понятно зачем нужен опыт из самой методики его проведения. Ну и как уже упоминал, экспериментальные группы обычно не выдвигают утверждений что они что-то подтвердили или опровергли, чаще просто туча цифр и осторожные предположения что они могут значит для той или иной теории. А дальше уже теоретики разбираются что чему противоречит или подтверждает или что можно допилить подогнать под новые факты.

[EUgeneUS]

sergey zhukov
Dmitriy40

1. Теория гравитации Ньютона описывала, как "работает"; но не описывала, почему "работает" гравитация.
2. Прецессия орбиты Меркурия была таки известна, и не имела объяснений.
Это как раз составляло необходимость в появлении ОТО.

3. Насколько помню по каким-то историческим экскурсам (могу ошибаться). Идея, что гравитация - это свойство пространства принадлежит не Эйнштейну, а Риману. Именно поэтому Риман разрабатывал мат.аппарат для её описания. Ошибка Римана была в том, что он использовал сигнатуру $(+1, +1, +1, +1)$, что не могло привести к успеху.

4. После СТО. Появился ещё один аргумент в пользу необходимости в появлении ОТО: теория гравитации Ньютона предполагала "ужасное дальнодействие".

5. Это всё обсуждалось на физическом "кружке", который вел Минковский, и в котором участвовал Эйнштейн.

6. Минковский успел связать СТО с пространством с сигнатурой $(-1, +1, +1, +1)$, но умер в 1909 году. А работу (с использованием результатов Римана) закончил уже Эйнштейн.

[warlock66613]

(Оффтоп)

sergey zhukov в сообщении #1580481 писал(а):

есть такая идея

Хорошо известно как такие идеи проверять с помощью статистики, так что отсутствие такой проверки весьма красноречиво свидетельствует о качестве этой идеи.

[Dmitriy40]

EUgeneUS
За исключением "почему" (ОТО это тоже не столь уж объясняет, вспомните сколько копий ломают "гравитация это сила или геометрия") в остальном согласен с Вашими уточнениями и благодарен за них.

[EUgeneUS]

Dmitriy40 в сообщении #1580513 писал(а):

За исключением "почему" (ОТО это тоже не столь уж объясняет, вспомните сколько копий ломают "гравитация это сила или геометрия") в остальном согласен с Вашими уточнениями и благодарен за них.

1. Насколько понимаю, в ОТО этой дилеммы нет, в рамках ОТО гравитация - это геометрия пространства-времени.
2. Цепочку вопросов "Почему?" можно продолжать бесконечно, это свойство языка

Так вот
а) Теория гравитации Ньютона не отвечала на вопрос "Почему возникает\возникла\имеет место быть гравитация?".
б) ОТО на этот вопрос отвечает: "Массивные тела искажают пространство-время (изменяют геометрию) <вот таким образом>". Но не отвечает на вопрос "Почему массивные тела искажают пространство-время (изменяют геометрию)?".

[sergey zhukov]

Да, конечно, какие-то причины для пересмотра старой теории гравитации были. Но они были именно принципиальные, а не практические. Смещение же перигелия Меркурия наверняка не сильно беспокоило физиков того времени. Скажем, небольшая несферичность Солнца или какие-то другие процессы внутри него уже могли бы привести к такому смещению. Вообще, небольшая модификация ньютоновской теории на малых расстояниях - и все.

Самая главная причина, на мой взгляд, это тот факт, что гравитационное поле Ньютона (гравитационный потенциал) описывается не дифференциальным уравнением, а при помощи такого нелокального понятия, как "мгновенное расстояние от текущей точки до источника поля". По сути, уравнения собственно гравитационного поля в теории Ньютона вообще нет, а есть только мгновенные расстояния, которые согласно СТО являются непонятно чем. Мы можем сказать, что теория Эйнштейна "объяснила" гравитацию именно потому, что она дала дифференциальное уравнение гравитационного поля.

Экспериментальные нестыковки теории Ньютона с наблюдениями были очень незначительны, но логические нестыковки с СТО были серьезными. Вот как раз это и удивительно: эти логические противоречия, которые в общем-то никак не мешали жить практикам, привели к необходимости такой глубокой модификации теории гравитации, которая в свою очередь предсказывала существование чрезвычайно странных объектов вроде черных дыр.

Я не утверждаю тут, что Эйнштейн всего добился сам, или, наоборот, что он ничего нового вообще не привнес. Вообще про роль именно Эйнштейна во всей этой истории - это тема отдельная. Все поучаствовали в меру своих сил, разумеется. Интересено только, как мало потребовалось экспериментальных данных (по сути, вообще не потребовалось) для того, чтобы мы уже давно нисколько не сомневались в существовании черных дыр, гравитационных волн, и большого взрыва, хотя экспериментальные подтверждения всего этого мы получили совсем недавно.

[Утундрий]

ОТО, насколько я понимаю, целиком и полностью обязана своим появлением Эйнштейну. Пока все прочие развлекались всякими мелкими поправками, призванными поженить СТО и гравитацию, Альберт Германович изгонял из физики "столь неестественную вещь, как выделенность инерциальных систем отсчёта". И доизгонялся в итоге до полного общечеловеческого признания.

[EUgeneUS]

Утундрий в сообщении #1580522 писал(а):

ОТО, насколько я понимаю, целиком и полностью обязана своим появлением Эйнштейну.

Да ладно.

Утундрий в сообщении #1580522 писал(а):

Пока все прочие развлекались всякими мелкими поправками, призванными поженить СТО и гравитацию,

Кто развлекался таким образом? Риман или Минковский?

Утундрий в сообщении #1580522 писал(а):

Альберт Германович изгонял из физики "столь неестесьвенную вещь, как выделенность инерциальных систем отсчёта". И доизгонялся в итоге до полного общечеловеческого признания.

Это, да.