Определение дифференцируемости в точке

[vpb]

give_up в сообщении #1582293 писал(а):

книги Нестерова "Методы выпуклой оптимизации" (каноническая книга в этой области).

Гм. Такой книги, кажется, нет. Есть книга "Введение в выпуклую оптимизацию". Вероятно, про нее и идет речь. Или в английском оригинале, "Introductory lectures on convex optimization". Есть более длинная книжка "Lectures on convex optimization". В последней читаем буквально следующее, на стр.18.

Ю.Е.Нестеров писал(а):

Let the function $f(\cdot)$ (тут подразумевается, что она определена всюду на ${\mathbb R}^n$ ) be differentiable at $\overline x\in{\mathbb R}^n$. Then, for any $y\in{\mathbb R}^n$ we have

$$ f(y)=f(\overline x)+\langle\nabla f(\overline x), y-\overline x\rangle+o(\|y-\overline x\|),$$

where $o(\cdot)\colon[0,\infty)\longrightarrow{\mathbb R}$ is a function of $r\geq0$ satisfying the conditions

$$ \lim_{r\downarrow0}\frac1r o(r)=0, \qquad o(0)=0\,. $$

Ну, то есть наша функция представляется как сумма линейной (точнее, аффинной), и некоторой функции, зависящей лишь от расстояния до точки $\overline x$. Что, конечно, не так. Некурятно, товарищ Нестеров, некурятно...

(Оффтоп)

П.Л.Капица как-то про чью-то статью сказал: "Хорошая работа, но полна нечистот".

[give_up]

vpb в сообщении #1582320 писал(а):

Гм. Такой книги, кажется, нет.

Ну у меня она почему-то именно так и называется, "Методы выпуклой оптимизации" (сейчас специально посмотрел на обложку), издательства МЦНМО (год там, к сожалению, не указан почему-то, электронная версия). Хотя это не важно, так как цитата там полностью совпадает с той цитатой из англоязычного издания, что вы написали (я лишь позволил себе сделать переобозначение - точку $\bar x$ обозначил $\mathbf{x}_0$, а точку $y$ обозначил $\mathbf{x}$). Интересный факт, что Ю.Е. Нестеров являлся редактором книги Поляка, из которой было взято определение в моем самом первом посте темы. Так что получаем, что эти два товарища определяют понятие функции, дифференцируемой в точке, по-своему. И если честно, я совсем не ожидал, что их определение неправильное. Так как на их книги обожают ссылаться всякие статьи по оптимизации. Поэтому считаю, что было вполне оправданным задать здесь некоторые вопросы по поводу того, как оно соотносится с определениями из учебников по матанализу (пишу это свое оправдание на случай того, что один товарищ со "способностями" в очередной раз потребует удалить мою тему).

[vpb]

give_up в сообщении #1582328 писал(а):

Ну у меня она почему-то именно так и называется, "Методы выпуклой оптимизации" (сейчас специально посмотрел на обложку), издательства МЦНМО (год там, к сожалению, не указан почему-то, электронная версия).

Действительно, есть такой текст. Я даже когда-то его скачивал, но потом затерял, а сейчас таки нашел. Датирован 4/5/2010, очевидно, это то что позже было издано под названием "Введение в выпуклую оптимизацию".

give_up в сообщении #1582328 писал(а):

И если честно, я совсем не ожидал, что их определение неправильное. Так как на их книги обожают ссылаться всякие статьи по оптимизации.

Действительно, определение нехорошее, но это не катастрофа. Как-то так.

give_up в сообщении #1582328 писал(а):

Поэтому считаю, что было вполне оправданным задать здесь некоторые вопросы по поводу того, как оно соотносится с определениями из учебников по матанализу (пишу это свое оправдание на случай того, что один товарищ со "способностями" в очередной раз потребует удалить мою тему).

Я сейчас заглянул в Сухарева, и мне как-то не понравилось то, что я там увидел. (У меня, вообще говоря, и раньше был повод интересоваться оптимизацией, так что книжки я видел, но на шероховатости внимания не обращал. Поскольку в тех задачах, которые лично меня интересуют, всё бесконечно гладкое.). Тут действительно есть что обсудить и над чем подумать, но не прямо сейчас. Потому что ляпы в классическом учебнике --- это плохо. Надо будет еще в Васильева посмотреть, интересно что там.

[give_up]

vpb в сообщении #1582352 писал(а):

Надо будет еще в Васильева посмотреть, интересно что там.

Я как раз этим только что занимался . Вот что там написано (том 1, издание 2011 МЦНМО, стр.67):

Цитата:

Пусть функция $f(\mathbf{x})$ определена в некоторой $\varepsilon$-окрестности $U(\mathbf{x}_0, \varepsilon)$ точки $\mathbf{x}_0$. Говорят, что функция $f(\mathbf{x})$ дифференцируема в точке $\mathbf{x}_0$, если существует вектор $f'(\mathbf{x}_0) \in \mathbb{R}^n$, такой, что приращение функции можно представить в виде:
$\Delta f(\mathbf{x}_0) = f(\mathbf{x}_0+\mathbf{h}) - f(\mathbf{x}_0) = \langle f'(\mathbf{x}_0), \mathbf{h} \rangle + o(\mathbf{h}, \mathbf{x}_0), \quad \forall \mathbf{h}: \|\mathbf{h}\| < \varepsilon,$
где $o(\mathbf{h}, \mathbf{x}_0)$ – величина, бесконечно малая более высокого порядка, чем $\|\mathbf{h}\|$, т.е. $\displaystyle \lim _{\|\mathbf{h}\| \to 0} \frac{o(\mathbf{h}, \mathbf{x}_0)}{\|\mathbf{h}\|} = 0$. Вектор $f'(\mathbf{x}_0)$ называется первой производной или градиентом функции $f$ в точке $\mathbf{x}_0$.

(я позволил себе для удобства выделить векторы жирным и переобозначить $\mathbf{x}$ на $\mathbf{x}_0$).
Здесь можно обратить внимание на три вещи:
1) опять привлекается условие на вектор $\mathbf{h}$, означающее, что вектор $\mathbf{x}_0 + \mathbf{h}$ можно взять любой из области определения функции $f$ (в данном случае просто ее область определения $U(\mathbf{x}_0, \varepsilon)$, а не все $\mathbb{R}^n$, как было у Нестерова и Поляка)
2) похоже опять вводится функция $o(\mathbf{h}, \mathbf{x}_0)$, которая была у Нестерова.
3) утверждается, что вектор $f'(\mathbf{x}_0) \in \mathbb{R}^n$ называется первой производной или градиентом функции $f$ в точке $\mathbf{x}_0$. С этим утверждением бы точно поспорили авторы учебников по матанализу, ведь в них производной называется вектор-строка, то есть транспонированный градиент. Хотя это уже скорее моя придирка, несущественная.

[krum]

(Оффтоп)

vpb в сообщении #1582320 писал(а):

Есть книга "Введение в выпуклую оптимизацию".

Скачал. Посмотрел. Производит впечатление лютого приклада. Сам автор с какой-то информатики-экономики. Ожидать от этой книги математических стандартов строгости также бессмысленно как от учебника физики.

[give_up]

(Оффтоп)

krum в сообщении #1582359 писал(а):

Скачал. Посмотрел. Производит впечатление лютого приклада. Сам автор с какой-то информатики-экономики.

Во насмешили. Нестеров - классик выпуклой оптимизации, впервые разработавший С Немировским знаменитый метод внутренней точки. Является одним из крупнейших в мире ученых, кто занимается выпуклой оптимизацией. А не какой-то там очередной информатик-экономик.
Просто цитата из википедии:
Yurii Nesterov is a Russian mathematician, an internationally recognized expert in convex optimization, especially in the development of efficient algorithms and numerical optimization analysis. Nesterov is most famous for his work in convex optimization, including his 2004 book (это как раз так книга, которая цитируется выше), considered a canonical reference on the subject. His main novel contribution is an accelerated version of gradient descent that converges considerably faster than ordinary gradient descent (commonly referred as Nesterov momentum, Nesterov Acceleration or Nesterov accelerated gradient, in short — NAG).
His work with Arkadi Nemirovski in the 1994 book is the first to point out that the interior point method can solve convex optimization problems, and the first to make a systematic study of semidefinite programming (SDP). Also in this book, they introduced the self-concordant functions which are useful in the analysis of Newton's method.
Кстати, Поляк, Сухарев и Васильев для вас тоже, видимо, не авторитеты, а пара каких-то информатиков-экономиков, я правильно понял? Которые даже определение дифференцируемости в точки правильно написать не могут?

[vpb]

give_up в сообщении #1582356 писал(а):

похоже опять вводится функция $o(\mathbf{h}, \mathbf{x}_0)$, которая была у Нестерова.

Нет, у Нестерова нечто другое. У него $o()$ --- это функция от числа, а у Васильева от вектора. Но, по моему, это несущественные погрешности. Кто из нас без греха ? Просто можно мысленно подставить вместо определения из Нестерова обычное аккуратное, и спокойно читать книжку дальше.

-- 19.02.2023, 17:24 --

А Васильев, я посмотрел, хорошая книжка, в отношении аккуратности и общего стиля. Там таких мелких погрешностей вроде почти нет. (Я когда-то даже начинал ее читать, но потом отвлекся и так и не вернулся, а сейчас другие дела уже).

Вообще, мне кажется, если в какой-то книжке какая-то муть встречается (а муть встречается везде, в том же Сухареве) --- не надо впадать в ступор, а надо подумать самостоятельно, нельзя ли эту муть как-то устранить, обойти и т.д. Самому даже за автора что-то продумать. А то иначе ни из какого источника ничего дельного не извлечешь.

[give_up]

vpb в сообщении #1582369 писал(а):

не надо впадать в ступор, а надо подумать самостоятельно, нельзя ли эту муть как-то устранить, обойти и т.д. Самому даже за автора что-то продумать.

Когда в одном-двух встречается муть, то это еще ладно. Но когда в пяти подряд учебниках по оптимизации видишь одно и то же, причем касательно базового определения из матанализа, на котором строится почти все остальное повествование в этих учебниках, то вполне естественно начать думать том, что может оно как-то все-таки по особому соотносится с определением из матанализа, и даже усомниться - а не является ли определение из матанализа корявым (все-таки его дают чуть-ли не на первом курсе, могут чего-то и не договорить). И я решил спросить у мудрых советчиков на форуме dxdy. Потому что такое явление встречается совсем не часто, поверьте. И кстати, нельзя сказать что учебники по оптимизации не являются математическими строгими, доказательства утверждений в том же Васильеве/Нестерове проведены довольно строго с математической точки зрения. Поэтому более чем естественно ожидать от них строгости в определении дифференцируемости в точке.

[мат-ламер]

krum в сообщении #1582359 писал(а):

Скачал. Посмотрел. Производит впечатление лютого приклада. Сам автор с какой-то информатики-экономики. Ожидать от этой книги математических стандартов строгости также бессмысленно как от учебника физики.

Ну, ну! Всемирно известный ученый - https://scholar.google.com/citations?user=DJ8Ep8YAAAAJ&hl=ru&oi=ao . Статьи сугубо по методам оптимизации. Индекс Хирша - 65. Ссылок на цитируемый учебник - 6748. На восемь книг и статей ссылок более тысячи (на каждую). Ну, неужели там так всё запущено?

-- Вс фев 19, 2023 20:30:00 --

Поляк тоже достаточно уважаемый человек https://scholar.google.com/citations?user=Zhlib28AAAAJ&hl=ru&oi=sra . Индекс Хирша - 62.

[krum]

мат-ламер в сообщении #1582382 писал(а):

Ну, ну! Всемирно известный ученый - https://scholar.google.com/citations?us ... l=ru&oi=ao
. Статьи сугубо по методам оптимизации. Индекс Хирша - 65. Ссылок на цитируемый учебник - 6748.

Ну и что? Сколько угодно есть и физиков и биологов и экономистов с огромными хиршами, которые используют математику в своей деятельности, но математиками не являются и тексты их математическим стандартам строгости не соответствуют. Первый раз про это услышали?

-- 19.02.2023, 19:40 --

учебник Ю. Е. Нестеров Методы выпуклой оптимизации, о котором я сказал выше,
стандартам строгости, принятым в математике, не соответствует. И я за свои слова отвечаю.

[мат-ламер]

krum в сообщении #1582385 писал(а):

Сколько угодно есть и физиков и биологов и экономистов с огромными хиршами, которые используют математику в своей деятельности, но математиками не являются и тексты их математическим стандартам строгости не соответствуют. Первый раз про это услышали?

Причём тут биологи? Тексты как Поляка Б.Т., так и Нестерова Ю.И. являются сугубо математическими. Это прикладная математика, но всё же в первую очередь математика. Ляпсусов в их книгах и статьях нет. Если кому-то не нравится определения в их книгах, так они не обязаны совпадать с определениями из популярных русскоязычных учебников. Они вольны вводить определения так, как им удобно. Так, как они будут в дальнейшем применяться при доказательствах.

-- Вс фев 19, 2023 21:02:45 --

vpb в сообщении #1582320 писал(а):

Ну, то есть наша функция представляется как сумма линейной (точнее, аффинной), и некоторой функции, зависящей лишь от расстояния до точки $\overline x$. Что, конечно, не так. Некурятно, товарищ Нестеров, некурятно...

give_up в сообщении #1582328 писал(а):

ак что получаем, что эти два товарища определяют понятие функции, дифференцируемой в точке, по-своему. И если честно, я совсем не ожидал, что их определение неправильное.

А можно посмотреть на пример функции на $R^n$, для которой определение дифференцируемости по книгам Поляка или Нестерова даёт не общепринятый результат? Т.е. функция дифференцируема, но не дифференцируема по Поляку (Нестерову). Или наоборот.

Посмотрел книгу Нестерова. Там действительно ляп в определении дифференцируемости. Там надо либо не писать норму под символом о. И тогда эта функция имеет другую область определения. Либо писать норму под о. Но тогда о - это вообще не функция, а соглашение.

[krum]

мат-ламер в сообщении #1582389 писал(а):

Ляпсусов в их книгах и статьях нет

ага: http://dxdy.ru/post1582320.html#p1582320

мат-ламер в сообщении #1582389 писал(а):

Если кому-то не нравится определения в их книгах, так они не обязаны совпадать с определениями из популярных русскоязычных учебников.

Это Вы про определение производной?

[мат-ламер]

krum в сообщении #1582392 писал(а):

Это Вы про определение производной?

У Поляка я ошибок не нашёл. Про неточность Нестерова я в прошлом посту сделал добавление. Но я бы Нестерову эту неточность простил. Человек слишком загружен текущей работой и текущими исследованиями, чтобы концентрировать своё внимание на таких мелочах. И если кто знает определение дифференцируемости, так он его и раньше знал. А кто не знает, ну не по этой же книге его изучать.

-- Вс фев 19, 2023 21:32:43 --

мат-ламер в сообщении #1582389 писал(а):

Ляпсусов в их книгах и статьях нет.

Это я погорячился. Ляпсус у Нестерова действительно есть. Но я бы этот ляпсус ему простил. Тут у Зорича находили неточности. А учебник Зорича переиздавался наверное раз десять. Причём его читают и делают упражнения оттуда регулярно много студентов.

-- Вс фев 19, 2023 21:35:47 --

Я понимаю проблему так. Нестеров - работающий математик. Ему просто некогда подробно вычитывать каждую фразу. Если человек в основном занят преподаванием и пишет учебник для студентов, то тут и спрос другой.

-- Вс фев 19, 2023 21:43:14 --

give_up в сообщении #1582372 писал(а):

Когда в одном-двух встречается муть, то это еще ладно. Но когда в пяти подряд учебниках по оптимизации видишь одно и то же, причем касательно базового определения из матанализа, на котором строится почти все остальное повествование в этих учебниках,

Ну хорошо. С неточностью у Нестерова разобрались. А что не так у Поляка, Васильева, Сухарева и т.д.?

[krum]

мат-ламер в сообщении #1582394 писал(а):

И если кто знает определение дифференцируемости, так он его и раньше знал. А кто не знает, ну не по этой же книге его изучать.

Это точно! Я бы добавил, что тому его и учить не надо.

мат-ламер в сообщении #1582394 писал(а):

Ляпсус у Нестерова действительно есть

там еще есть ляпы типа $\min f$ для функций у которых минимума может и не быть и почему итерационный процесс должен сходиться тоже непонятно стр 39
или почему предел $s$ существует на стр 40
Кстати, с производной там в куче мест этот ляп растиражирован.
Ну и дифференцирование на непойми каком множестве тоже имеется стр 44

мат-ламер в сообщении #1582394 писал(а):

Тут у Зорича находили неточности.

а у кого их не находили-то

[vpb]

мат-ламер в сообщении #1582394 писал(а):

Человек слишком загружен текущей работой и текущими исследованиями, чтобы концентрировать своё внимание на таких мелочах.

мат-ламер в сообщении #1582394 писал(а):

Я понимаю проблему так. Нестеров - работающий математик. Ему просто некогда подробно вычитывать каждую фразу. Если человек в основном занят преподаванием и пишет учебник для студентов, то тут и спрос другой.

С какой стати ? Я тоже работающий математик, но когда пишу статьи, вычитываю каждую фразу. Написание внятных и аккуратных текстов --- часть работы ученого. А уж когда речь идет об учебнике для студентов, как в данном случае --- то тем более.