ИИ и решение уравнений Навье-Стокса

[Red_Herring]

dsge в сообщении #1733490 писал(а):

Red_Herring в сообщении #1733481 писал(а):

AI safety for mathematicians by Jacob Tsimerman (University of Toronto)
и я надеюсь, что история с Н-С будет отражена .

Вряд ли новый работник OpenAI будет объективен в этой ситуации. (В скобках теперь надо писать OpenAI, а не University of Toronto)

1. Насчет объективности--мы посмотрим.
2. Вообще-топ он является профессором нашей кафедры (и даже не указано (On Leave)) и на весну у него запланировано членство в паре комитетов (хотя уъи не требующих активности).

[ИСН]

То есть что же, если бы у нас была "идеальная вода" (без этих вот дурацких атомов, а просто "вода до самого низа"), то при её наливании мир падал бы с ошибкой 500?

[worm2]

ИСН в сообщении #1733518 писал(а):

То есть что же, если бы у нас была "идеальная вода" (без этих вот дурацких атомов, а просто "вода до самого низа"), то при её наливании мир падал бы с ошибкой 500?

Дурацкие атомы тоже иногда ведут себя неприлично, всякие там кумулятивные струи, гидравлические удары, сонолюминисценции. Может быть, это всё тоже они, Навье со Стоксом, учудили?

[george66]

Это мне напоминает, как Андрюша Бауэр (Andrej Bauer) называл свою HOTT "основаниями математики 21-го века". Я ему говорю "Андрей, ты основатель математики 21-го века!", он обиделся. В смысле "задачи тысячелетия".

[Mikhail_K]

На данный момент мне всё представляется следующим образом.

1) Есть определённые идеи людей-математиков, высказанные ещё до эпохи умного ИИ (для проблемы Навье-Стокса это идеи Диего Кордобы и Луиса Мартинеса-Сороа). Эти идеи должны получить признание и получат его.

2) Без помощи ИИ эти идеи не ведут сколько-нибудь быстро к решению проблемы. Бакмастер и Альпёге разрабатывали эти идеи с помощью ИИ значительное время и не добились результата, а только приблизились к нему. OpenAI использовали большие вычислительные мощности и проблему решили на основании этих идей. Даже если бы OpenAI не вмешались, и работу удалось бы завершить Бакмастеру и Альпёге - то всё равно значительную роль в этой работе сыграл бы ИИ.

3) Я прочитал заявление Бакмастера
https://cims.nyu.edu/~tristanb/statement.pdf
и ответ Бюбека из OpenAI на него
https://www.linkedin.com/posts/sebastie ... 93440-Ny3E
Оба заявления звучат вполне убедительно. Я допускаю и то, что может быть прав Бакмастер, и то, что может быть прав Бюбек, и то, что оба могут преувеличивать/искажать ситуацию, каждый в свою сторону.

4) Пользователи ChatGPT могут отметить в настройках, разрешают ли они обучение модели на своих диалогах. Я, например, разрешаю. Но я и не претендую ни на какие открытия, которые могут хотя бы в какой-то мере заинтересовать кого-нибудь из OpenAI - просто хочу, чтобы ИИ стал ещё чуточку умнее, и если диалоги со мной ему в этом хотя бы чуть-чуть помогут, то и отлично.
Возникают вопросы:
а) разрешал ли Бакмастер и другие обвинители обучение на своих диалогах? По умолчанию этот флажок включён.
б) могли ли OpenAI обучать модель на диалогах без разрешения пользователя?
в) если обучение на диалогах было, могло ли это модели помочь в решении проблемы в отдельной сессии? Я напомню, что обучение на диалогах - это и близко не копирование текста диалогов в какую-нибудь базу с их использованием в других сессиях, а корректировка весов модели. Как я понимаю, OpenAI в принципе допускают такую возможность, но считают её маловероятной.
г) вообще насколько плохо, что OpenAI помогли решить проблему тысячелетия быстрее, чем это сделали бы Бакмастер с Альпёге? И в том и в другом случае решение получили бы с помощью ИИ, просто вмешательство OpenAI помогло сделать это быстрее. На миллион OpenAI не претендует, частичный приоритет Бакмастера и Альпёге вполне признаёт. В чём вопросы - если убрать непроверяемые сведения, кто кому что сказал в ходе конфликта?
д) подсматривал ли кто-нибудь из OpenAI в диалоги с пользователями? Если да, то это конечно очень плохо. Но утверждение, что это происходило неоднократно (см. ссылку на сообщение ниже), очень смахивает на неправдоподобную теорию заговора. Ведь это должно означать, что в OpenAI есть организованная работа по мониторингу диалогов и поиску там чего-то полезного. Я уверен, что если она есть, то скрыть её не удастся; что OpenAI это понимают; и что поэтому такой организованной работы там нет. Я предполагаю, что достаточно и обучения на появляющихся в интернете самых различных математических текстах, чтобы модель научилась самым разным приёмам математических рассуждений.

Считаю вполне вероятным, что вот это

MoonWatcher в сообщении #1733583 писал(а):

СРОЧНО: OpenAI, возможно, украли ещё одно крупное доказательство.

Цитата:

В подробном посте в Mastodon, который я привожу полностью в комментариях, Андреас Том представляет несколько доказательств, предполагающих, что OpenAI могли обучать Astra на разговорах, в которых он и Габор Кун работали над гипотезой Громова о софичности, одной из десяти проблем, которые OpenAI позже объявили решёнными Astra.
<...>
ИИ не открывает новую математику.
ИИ крадёт человеческие открытия.

может быть просто попыткой присоединиться к начавшемуся скандалу. Особенно учитывая завершение, звучащее как лозунг. Очень жаль, что есть много ИИ-скептиков, которым это очень зайдёт без разбирательств.

[rockclimber]

Mikhail_K в сообщении #1733586 писал(а):

д) подсматривал ли кто-нибудь из OpenAI в диалоги с пользователями? Если да, то это конечно очень плохо. Но утверждение, что это происходило неоднократно, очень смахивает на неправдоподобную теорию заговора. Ведь это должно означать, что в OpenAI есть организованная работа по мониторингу диалогов и поиску там чего-то полезного.

Ну это в некотором роде "секрет долголетия ежей" - никакого секрета тут нет. В правилах использования написано:

Цитата:

Your content. You may provide input to the Services (“Input”), and receive output from the Services based on the Input (“Output”). Input and Output are collectively “Content”.
…
Our use of content. We can use your Content worldwide to provide, maintain, develop, and improve our Services, comply with applicable law, enforce our terms and policies and keep our Services safe.

Так что они прямо говорят, что такая работа по мониторингу ведется. Более того, под каждым ответом есть кнопочки, позволяющие оценить ответ, что было бы бессмысленно без такой работы.

[Mikhail_K]

rockclimber в сообщении #1733587 писал(а):

В правилах использования написано:

Это стандартная формулировка же, чтобы никто не придрался зря.

rockclimber в сообщении #1733587 писал(а):

Более того, под каждым ответом есть кнопочки, позволяющие оценить ответ, что было бы бессмысленно без такой работы.

Не под каждым ответом, и дополнительно отдельно сказано, что нажатие на такую кнопку приравнивается к разрешению использовать контент.
Причём использовать для улучшения моделей (т.е. для их обучения). Прицельный человеческий мониторинг в поисках полезных идей конкретно для OpenAI с целью их самостоятельной разработки, а не обучения - это совсем другое, и наличие такого организованного мониторинга я считаю неправдоподобным.

[Red_Herring]

OpenAI предлагает университетам ChatGPT EDU и насколько я могу сравнивать "плюс" для общей публики и "бейзик" для еду, там за те же деньги включается гораздо больше защиты конфиденциальности, причем управляет ею не конечный пользователь, а администрация. Насколько мне известно, тро же относится к ИИ для организаций и корпораций.

[Anton_Peplov]

Простите, задам тупой вопрос.

Вот формулировка "Задачи тысячелетия" от института Клэя pdf

Ниже под катом я скопировал часть этого документа, где собственно ставится задача, для удобства цитирования. Чтобы не набирать все формулы руками, прогнал оригинальный pdf через ИИ и поправил опечатки в формулах, извиняюсь, если что-то просмотрел.

(Показать)

The Euler and Navier–Stokes equations describe the motion of a fluid in $\mathbb{R}^n$ ($n = 2$ or $3$). These equations are to be solved for an unknown velocity vector $u(x, t) = (u_i(x, t))_{1 \le i \le n} \in \mathbb{R}^n$ and pressure $p(x, t) \in \mathbb{R}$, defined for position $x \in \mathbb{R}^n$ and time $t \ge 0$. We restrict attention here to incompressible fluids filling all of $\mathbb{R}^n$. The Navier–Stokes equations are then given by

$$\frac{\partial}{\partial t} u_i + \sum_{j=1}^{n} u_j \frac{\partial u_i}{\partial x_j} = \nu \Delta u_i - \frac{\partial p}{\partial x_i} + f_i(x, t) \qquad (x \in \mathbb{R}^n,\ t \ge 0), \eqno{(1)}$$

$$\operatorname{div} u = \sum_{i=1}^{n} \frac{\partial u_i}{\partial x_i} = 0 \qquad (x \in \mathbb{R}^n,\ t \ge 0) \eqno{(2)}$$

with initial conditions

$$u(x, 0) = u^\circ(x) \qquad (x \in \mathbb{R}^n). \eqno{(3)}$$

Here, $u^\circ(x)$ is a given, $C^\infty$ divergence-free vector field on $\mathbb{R}^n$, $f_i(x, t)$ are the components of a given, externally applied force (e.g. gravity), $\nu$ is a positive coefficient (the viscosity), and $\Delta = \sum_{i=1}^{n} \frac{\partial^2}{\partial x_i^2}$ is the Laplacian in the space variables. The Euler equations are equations (1), (2), (3) with $\nu$ set equal to zero.

Equation (1) is just Newton's law $f = ma$ for a fluid element subject to the external force $f = (f_i(x, t))_{1 \le i \le n}$ and to the forces arising from pressure and friction. Equation (2) just says that the fluid is incompressible. For physically reasonable solutions, we want to make sure $u(x, t)$ does not grow large as $|x| \to \infty$. Hence, we will restrict attention to forces $f$ and initial conditions $u^\circ$ that satisfy

$$|\partial_x^\alpha u^\circ(x)| \le C_{\alpha K} (1 + |x|)^{-K}\eqno{(4)}$$

on $\mathbb{R}^n$, for any $\alpha$ and $K$

and

$$|\partial_x^\alpha \partial_t^m f(x, t)| \le C_{\alpha m K} (1 + |x| + t)^{-K} \eqno{(5)}$$

on $\mathbb{R}^n \times [0, \infty)$ for any $\alpha, m, K$.
We accept a solution of (1), (2), (3) as physically reasonable only if it satisfies

$$p, u \in C^\infty(\mathbb{R}^n \times [0, \infty)) \eqno{(6)}$$

and

$$\int_{\mathbb{R}^n} |u(x, t)|^2 \, dx < C \eqno{(7)}$$

for all $t \ge 0$ (bounded energy)

Alternatively, to rule out problems at infinity, we may look for spatially periodic solutions of (1), (2), (3). Thus, we assume that $u^\circ(x)$, $f(x, t)$ satisfy

$$u^\circ(x + e_j) = u^\circ(x), \qquad f(x + e_j, t) = f(x, t)\eqno{(8)}$$

for $1 \le j \le n$ ($e_j$ is $j$-th unit vector in $\mathbb{R}^n$).

In place of (4) and (5), we assume that $u^\circ$ is smooth and that

$$|\partial_x^\alpha \partial_t^m f(x, t)| \le C_{\alpha m K} (1 + |t|)^{-K}\eqno{(9)}$$

on $\mathbb{R}^3 \times [0, \infty)$, for any $\alpha, m, K$.

We then accept a solution of (1), (2), (3) as physically reasonable if it satisfies

$$u(x, t) = u(x + e_j, t) \eqno{(10)}$$

on $\mathbb{R}^3 \times [0, \infty)$ for $1 \le j \le n$

and

$$p, u \in C^\infty(\mathbb{R}^n \times [0, \infty)). \eqno{(11)}$$

A fundamental problem in analysis is to decide whether such smooth, physically reasonable solutions exist for the Navier–Stokes equations. To give reasonable leeway to solvers while retaining the heart of the problem, we ask for a proof of one of the following four statements.

(A) Existence and smoothness of Navier–Stokes solutions on $\mathbb{R}^3$. Take $\nu > 0$ and $n = 3$. Let $u^\circ(x)$ be any smooth, divergence-free vector field satisfying (4). Take $f(x, t)$ to be identically zero. Then there exist smooth functions $p(x, t)$, $u_i(x, t)$ on $\mathbb{R}^3 \times [0, \infty)$ that satisfy (1), (2), (3), (6), (7).

(B) Existence and smoothness of Navier–Stokes solutions in $\mathbb{R}^3 / \mathbb{Z}^3$. Take $\nu > 0$ and $n = 3$. Let $u^\circ(x)$ be any smooth, divergence-free vector field satisfying (8); we take $f(x, t)$ to be identically zero. Then there exist smooth functions $p(x, t)$, $u_i(x, t)$ on $\mathbb{R}^3 \times [0, \infty)$ that satisfy (1), (2), (3), (10), (11).

(C) Breakdown of Navier–Stokes solutions on $\mathbb{R}^3$. Take $\nu > 0$ and $n = 3$. Then there exist a smooth, divergence-free vector field $u^\circ(x)$ on $\mathbb{R}^3$ and a smooth $f(x, t)$ on $\mathbb{R}^3 \times [0, \infty)$, satisfying (4), (5), for which there exist no solutions $(p, u)$ of (1), (2), (3), (6), (7) on $\mathbb{R}^3 \times [0, \infty)$.

(D) Breakdown of Navier–Stokes Solutions on $\mathbb{R}^3 / \mathbb{Z}^3$. Take $\nu > 0$ and $n = 3$. Then there exist a smooth, divergence-free vector field $u^\circ(x)$ on $\mathbb{R}^3$ and a smooth $f(x, t)$ on $\mathbb{R}^3 \times [0, \infty)$, satisfying (8), (9), for which there exist no solutions $(p, u)$ of (1), (2), (3), (10), (11) on $\mathbb{R}^3 \times [0, \infty)$.

В блоге OpenAI утверждает, что задача решена в вариантах (C) и (D).

Цитата:

This resolves the Navier–Stokes Millennium Prize problem by establishing statement “C” (and also “D”) in the official Millennium Prize formulation⁠

Я не хочу сейчас обсуждать, где там вклад человека, а где ИИ. Мой вопрос о другом. Вот формулировка (С):

Цитата:

(C) Breakdown of Navier–Stokes solutions on $\mathbb{R}^3$. Take $\nu > 0$ and $n = 3$. Then there exist a smooth, divergence-free vector field $u^\circ(x)$ on $\mathbb{R}^3$ and a smooth $f(x, t)$ on $\mathbb{R}^3 \times [0, \infty)$, satisfying (4), (5), for which there exist no solutions $(p, u)$ of (1), (2), (3), (6), (7) on $\mathbb{R}^3 \times [0, \infty)$.

Я ее понимаю так: построить (на $\mathbb R^3$) такую "физичную" внешнюю силу $f$ и "физичные" начальные условия $u^\circ(x)$, что не будет существовать "физичного" решения $(p, u)$.

Я смотрю статью (pdf) OpenAI, и, если я правильно ее понимаю, они построили "нефизичное" решение $(p, u)$ (такое, что скорость жидкости за конечное время становится бесконечной). Одно решение. Мой вопрос: мы заранее знаем, что решение, если оно существует, единственно? Только так это решает задачу в формулировке (С): решение существует, оно единственно и нефизично.

Извините, я ДУЧП никогда не знал и давно забыл, включая условия существования и единственности решений.

[warlock66613]

Anton_Peplov в сообщении #1733596 писал(а):

мы заранее знаем, что решение, если оно существует, единственно? Только так это решает

А по-моему и так не решает. "Нефизическое" решение не является решением, его существование не нарушает теорему единственности. Тут нужна какая-то усиленная версия единственности, которая "нефизические" решения включает (являются ли такие "нефизические" решения слабыми решениями? тогда единственность слабых решений сработала бы (если бы она была доказана)).

[Anton_Peplov]

warlock66613 в сообщении #1733599 писал(а):

"Нефизическое" решение не является решением

Хм, я что-то забыл: как строго определяется решение ДУЧП? Если уравнение дифференциальное, то логично предположить, что функция должна быть всюду определена и дифференцируема хотя бы один раз. Функция $u$, которая за конечное время "уходит в бесконечность", определена не на всем $\mathbb R^3$, так должны ли мы называть ее решением уравнения?

[Mikhail_K]

Anton_Peplov в сообщении #1733596 писал(а):

Я ее понимаю так: построить (на $\mathbb R^3$) такую "физичную" внешнюю силу $f$ и "физичные" начальные условия $u^\circ(x)$, что не будет существовать "физичного" решения $(p, u)$.

Я смотрю статью (pdf)
OpenAI, и, если я правильно ее понимаю, они построили "нефизичное" решение $(p, u)$ (такое, что скорость жидкости за конечное время становится бесконечной). Одно решение. Мой вопрос: мы заранее знаем, что решение, если оно существует, единственно? Только так это решает задачу в формулировке (С): решение существует, оно единственно и нефизично.

warlock66613 в сообщении #1733599 писал(а):

Тут нужна какая-то усиленная версия единственности

Нужная теорема единственности - это лемма 10.5 (стр.121). Она утверждает, что любое гладкое решение $v$ в построенном примере должно совпадать с построенным "нефизичным" решением $u$ вплоть до любого момента $T<1$. (Точнее, должны совпадать функции скорости из решения.) А при $T\to 1$ уже возникает сингулярность.

Несуществование глобального гладкого решения на всём промежутке $t\in[0,+\infty)$ (а не просто существование решения с сингулярностью, "обрывающегося" в какой-то момент) заявляется и в последнем предложении формулировки основной теоремы 1.1 на стр.1 ("Consequently, there is no smooth solution"), и акцентируется в её доказательстве (абзац "Suppose that a global smooth solution $v$, $P$ with the same data had uniformly bounded kinetic energy" на стр.124), где как раз используется лемма 10.5.

Anton_Peplov в сообщении #1733602 писал(а):

Функция $u$, которая за конечное время "уходит в бесконечность", определена не на всем $\mathbb R^3$, так должны ли мы называть ее решением уравнения?

Ну, это решение на конечном промежутке $t\in[0,1)$, не продолжаемое дальше.

[Red_Herring]

Что было известно:
1) Существование глобального обобщенного решения с конечной (и невозрастающей) энергией. Единственность--неизвестна.
2) Существование глобального гладкого решения при малых начальных данных

Что утверждается:

3) существование решения, которое перестает быть гладким.

Что требуется после верификации 3): критерий, такой, что обобщенное решение удовлетворяющер этому критериюе существует и единственно.

Аналогия$: u_t + (u^2/2)_x =0, u|_{t=0}=f(x). $
Решение : $\sup |u|<\infty$

Критерий физичности: $(u^2/2)_t + (u^3/3)_x \le 0]$

[rockclimber]

Mikhail_K в сообщении #1733588 писал(а):

Это стандартная формулировка же, чтобы никто не придрался зря.

Формулировка может и стандартная, но деятельность по мониторингу запросов под нее подпадает, поэтому, формально, они всегда могут сказать - "в правилах предоставления сервиса это всё было описано".

Mikhail_K в сообщении #1733588 писал(а):

Прицельный человеческий мониторинг в поисках полезных идей конкретно для OpenAI с целью их самостоятельной разработки, а не обучения - это совсем другое, и наличие такого организованного мониторинга я считаю неправдоподобным.

Я не знаю, как в OpenAI устроена самостоятельная разработка математических идей. Но я бы предположил, как это могло бы быть устроено. Поскольку они разрабатывают ИИ, который, в идеале, будет умнее человека, им нужны топовые математики - чтобы хоть как-то понимать, что вообще происходит, когда модель достигнет определенного уровня. А топовому математику скорее всего неинтересно разбирать нейрослоп в режиме 24/7, причем ни за какие деньги. Поэтому соглашение наверняка подразумевает "вот тебе зарплата и топовая модель, делай свои исследования, а взамен иногда поглядывай на наш нейрослоп". А дальше этот математик, разбирая нейрослоп, будет время от времени натыкаться на хорошие вопросы и хорошие ответы - пользователей-то сотни миллионов уже, и компетентные среди них тоже есть. А дальше, если он увидел хороший вопрос и ответ по своей теме, он не сможет его развидеть.
То есть мониторинга с целью, как вы сформулировали, нет, но ситуация вполне может сложиться, как я описал.

[Anton_Peplov]

Red_Herring в сообщении #1733606 писал(а):

Что требуется после верификации 3): критерий, такой, что обобщенное решение удовлетворяющее этому критерию существует и единственно.

Простите, можно для совсем тупых: в недавней статье они все-таки решили проблему в варианте (C) или нет?