Определение дифференцируемости в точке

[krum]

должен признать, что кроме ляпа с дифференцированием я там ничего особенного больше не нахожу

[мат-ламер]

krum
Ну вы меня заинтриговали. Если честно, я его книгу не читал. Тут писали, что она якобы является "канонической". Я бы не сказал, что это так. Она сильно своеобразна. Надо будет познакомиться поближе.

Как-то тут на форуме очень много лет назад обсуждали отношения Колмогорова и Александрова. Так Профессор Снэйп рассказал анекдот про армянское радио и композитора Чайковского. Я не буду его пересказывать. Но заканчивался он словами "Но мы его любим не за это". Так и Нестеров пользуется уважением независимо от того, какие у него неточности. Кстати, на одну из статей, которую он опубликовал в докладах академии, уже больше 6000 ссылок. То есть человек получает реальные результаты. И как я полагаю, его статьи читают много людей. Так что явных ляпов в результатах у него нет. А на определение дифференцируемости просто особо никто не обращал внимание (и он сам, наверное, чисто автоматом что-то написал, особо не вдумываясь).

krum в сообщении #1582397 писал(а):

а у кого их не находили-то

Тут в одной из веток решают задачи из сборника задач под редакцией Кострикина. И издание отнюдь не первое. И решают оттуда задачи многие. Однако опечаток также много.

[give_up]

мат-ламер в сообщении #1582394 писал(а):

у Поляка

Лично мне было не так очевидно как вам, что он там имеет в виду под $o(\rho)$ - функцию или соглашение. Вы говорите, что если под этим символом нормы нет, то это мол функция. И в таком случае допустимо давать такое определение. Допустим что так. Но в таком случае хорошо бы было еще что-то Поляку сказать про область определения этой функции. А с другой стороны у меня сложилось впечатление, после прочтения следующих фраз местных экспертов

RIP в сообщении #1582206 писал(а):

Сформулировано криво. «$o(h)$ для всех $h$» (как и для $h$ из окрестности) — это бессмыслица. $o(\cdot)$ определяется через предел, поэтому нужно указывать, куда стремится $h$.

bot в сообщении #1582289 писал(а):

Разумется, равенство с о-малым - это не равенство, а предельный переход.

Что они трактуют символ $o$ в определении Поляка как соглашение (о-малое), а не как функцию. В любом случае, Поляку стоило бы чуть-чуть поподробнее расписать этот момент, чтобы не было всяких разночтений у допустим, студентов, которые видели только определение дифференцируемости через о-малое (и таким образом, вряд ли будут ассоциировать его с функцией).

мат-ламер в сообщении #1582394 писал(а):

у Сухарева

А Сухарев поступил умнее всех - он просто не стал давать в своей книге определение дифференцируемости в точке. А вместо этого сразу перешел к условиям экстремума.

[мат-ламер]

give_up в сообщении #1582402 писал(а):

Вы говорите, что если под этим символом нормы нет, то это мол функция.

Я такого не писал. Я имел в виду, что если Нестеров определяет символ $o$ как функцию, то символ нормы надо выбросить, а функция уже будет определена на $R^n$ . А уж если оставить знак нормы, то тут уже $o$ никакая не функция, и нет равенства двух функций, а надо договариваться, что такая запись означает. А можно символ нормы не ставить и опять же договориться, что эта запись будет обозначать.

(Оффтоп)

give_up . Извините, я спать ложусь. Полностью отвечу вам уже завтра.

[vpb]

give_up в сообщении #1582372 писал(а):

Когда в одном-двух встречается муть, то это еще ладно. Но когда в пяти подряд учебниках по оптимизации видишь одно и то же,

Есть области знания (какое-нибудь программирование, скажем), в которых на одну хорошую книжку приходится штук 20 неважных. Такова жизнь.

Кто-то (кажется, это был Эйлер) сказал, что опечатки (от себя добавим, и прочие мелкие ляпы,и даже ошибки) необыкновенно оживляют чтение математических текстов.

У прикладных математиков понятия о строгости и четкости изложения совсем не те, что у чистых. Я, как человек, с некоторых пор "принадлежащий к двум мирам" (большую часть жизни я алгеброй занимался), в текстах прикладников видал всяко разное. И ничего, не умер от разрывов шаблона.

По упомянутым авторам у меня такое впечатление. Самые аккуратный учебник, по-моему, у Васильева. Там текст аккуратный вообще по самым строгим стандартам. (Во всяком случае, поверхностное впечатление, по нескольким фрагментам, такое). Потом идет Сухарев с соавторами, а потом Нестеров и Поляк. (Я все эти книжки местами читал, но только местами. Поэтому сказать, какие там недостатки, не могу. По ходу чтения я эти недостатки и всякие странности замечал, но большого значения им не придавал, а сейчас даже и не помню, так как дело было несколько лет назад.)

Как-то так. В общем, если в чем-то сомневаетесь, смотрите в Васильева. (Ф.П.Васильев, Методы оптимизации, 2002, Факториал-Пресс.).

-- 19.02.2023, 21:42 --

(Оффтоп)

Кажется, всё, что я мог сказать по существу этой темы, сказал. Так что, наверное, пока откланяюсь.

[give_up]

vpb в сообщении #1582407 писал(а):

В общем, если в чем-то сомневаетесь, смотрите в Васильева. (Ф.П.Васильев, Методы оптимизации, 2002, Факториал-Пресс.).

Спасибо за совет (да и в целом за Ваше участие в обсуждении).

мат-ламер - хорошо, буду ждать вашего ответа завтра.

А пока напишу здесь свои промежуточные выводы по теме. Они у меня получились такие: в оптимизации в большинстве учебников определение дифференцируемости в точке для функции нескольких переменных дают немного не так, как в матанализе. В матанализе это определение (как правило) дают через понятие о-малого, под которым подразумевается символ $o(\|\mathbf{h}\|)$), а в оптимизации его дают обычно через функцию $o(\mathbf{h}): \mathbb{R}^n \to \mathbb{R}$, удовлетворяющую двум условиям (их я укажу чуть ниже). В терминах этой функции, как я понял, будет справедливо следующее определение дифференцируемости в точке (сам его попытался составить, слегка обобщив определение из книги Васильева, так что могут быть неточности - сильно не бейте):

Функция нескольких переменных $f: X \subseteq \mathbb{R}^n \to \mathbb{R}$ называется дифференцируемой в точке $\mathbf{x}_0 \in \operatorname{int} X$, если существует такой вектор $\mathbf{a} \in \mathbb{R}^n$, что
$f(\mathbf{x}_0 + \mathbf{h}) - f(\mathbf{x}_0) = \langle \mathbf{a}, \mathbf{h} \rangle + o(\mathbf{h}), \qquad \forall \mathbf{h}: ~\mathbf{x}_0 + \mathbf{h} \in X,$
где $o: \mathbb{R}^n \to \mathbb{R}$ - некоторая функция, удовлетворяющая двум условиям:
$\displaystyle \lim_{\|\mathbf{h}\| \to 0} \frac{o(\mathbf{h})}{\|\mathbf{h}\|} = 0, \quad o(\mathbf{0}) = 0.$

И, по всей видимости, это определение будет эквивалентно определению дифференцируемости в точке из учебников матанализа (которое дается через о-малое).

[ziv]

Раз уж затронули такие фамилии (Поляк, Васильев), то продублирую здесь: https://dxdy.ru/topic152660.html и https://dxdy.ru/topic152661.html.

[мат-ламер]

give_up в сообщении #1582413 писал(а):

в оптимизации в большинстве учебников определение дифференцируемости в точке для функции нескольких переменных дают немного не так, как в матанализе. В матанализе это определение (как правило) дают через понятие о-малого, под которым подразумевается символ $o(\|\mathbf{h}\|)$), а в оптимизации его дают обычно через функцию $o(\mathbf{h}): \mathbb{R}^n \to \mathbb{R}$,

Не скажу за большинство учебников, ибо не в курсе, но в некоторых старых и строгих по тем временам учебниках анализа символ $o$-малое определяется как функция. Например, Шилов Г.Е. "Математический анализ. Функции нескольких вещественных переменных", п.1.23. Или Булдырёв В.С., Павлов Б.С. "Линейная алгебра и функции многих переменных", п.2.1.1. Вероятно авторы учебников оптимизации учили анализ по такого рода книгам. Я и сам придерживался такого мнения, пока меня тут на форуме как-то не поправили. В то же время в некоторых учебниках оптимизации понятие дифференцируемости вообще не определяют, ибо считают, что это должно быть известно студентам. У Поляка книга по оптимизации. Это не учебник, это скорее пособие, рассчитанное на практиков. И те немногие определения из классического анализа, которые есть в начале книге Поляка, это скорее намёк на то, что читатель должен знать, и в каком виде это будет употребляться. И если он видит, что он не знает данное понятие в том виде, как употреблено у Поляка, это означает, что он должен обратиться к другим книгам, где это всё популярно разжёвано.

-- Пн фев 20, 2023 15:09:58 --

мат-ламер в сообщении #1582449 писал(а):

это означает, что он должен обратиться к другим книгам, где это всё популярно разжёвано.

Например, к книге А.П.Афанасьев, С.М.Дзюба. "Элементарное введение в теорию экстремальных задач", глава 1. И да, там $o$-малое определяется как функция. И функции считаются определёнными на всём $R^n$ .

-- Пн фев 20, 2023 15:20:48 --

give_up
Кстати, у Васильева в параграфе 2.2 определяется понятие дифференцируемости и непрерывной дифференцируемости на множестве $X$ , причём на счёт этого множества никаких предположений (типа открытости) не делается. Что может вызвать вопросы и возможно вам не понравится.

[give_up]

мат-ламер в сообщении #1582449 писал(а):

Не скажу за большинство учебников, ибо не в курсе, но в некоторых старых и строгих по тем временам учебниках анализа символ $o$-малое определяется как функция. Например, Шилов Г.Е. "Математический анализ. Функции нескольких вещественных переменных", п.1.23. Или Булдырёв В.С., Павлов Б.С. "Линейная алгебра и функции многих переменных", п.2.1.1. Вероятно авторы учебников оптимизации учили анализ по такого рода книгам.

Ясно, спасибо большое, теперь мне стала понятна ситуация. В современных учебниках по матанализу и курсах лекций (по крайней мере в тех 5-10) что я открывал, действительно, я ни разу не сталкивался чтобы они трактовали символ $o$ как функцию. Хотя в какой-то другой литературе (не по матанализу) я вроде встречал такое, но это было очень давно, и я уже начисто про это забыл.

мат-ламер в сообщении #1582449 писал(а):

У Поляка книга по оптимизации. Это не учебник, это скорее пособие, рассчитанное на практиков.

Ну с этим при желании можно немного поспорить, потому что если выкинуть из его содержания главы 2,4,6, то содержание этой книги будет очень сильно напоминать сжатый учебник Сухарева, например. Думаю книга Поляка вполне могла использоваться (и скорее всего использовалась) в качестве учебника в восьмидесятых-девяностых годах, в современных же курсах по оптимизации материал из глав 2,4,6 обычно не излагают. Интересный факт, что на ее англоязычный перевод до сих пор очень часто ссылаются в западных курсах по оптимизации и смежным дисциплинам.

мат-ламер в сообщении #1582449 писал(а):

это означает, что он должен обратиться к другим книгам, где это всё популярно разжёвано.

А я обратился первым делом к книге Нестерова, где была досадная опечатка, которая меня запутала еще больше . Путаницу вносит еще то, что как функция, так и соглашение (из современных учебников по матанализу), обозначаются одним и тем же символом $o$. Если бы они хотя б разные символы использовали, то неправильных ассоциаций бы не возникало. Но теперь думаю уже поздно что-то менять.

мат-ламер в сообщении #1582449 писал(а):

Кстати, у Васильева в параграфе 2.2 определяется понятие дифференцируемости и непрерывной дифференцируемости на множестве $X$ , причём на счёт этого множества никаких предположений (типа открытости) не делается. Что может вызвать вопросы и возможно вам не понравится.

Вы правы, я видел это определение (еще до того, как начать предыдущую тему здесь) и оно мне очень не понравилось. Лишь недавно на днях я решился заглянуть во вторую часть учебника Васильева, где излагается оптимизация с позиции общей теории банаховых пространств (это уже вторая половина книги, в издании 2011 года - второй том). И вот что я там нашел на с.522 (страница указана из издания 2002 года; пожалуй это я даже скопирую потом в свою предыдущую тему, вдруг кому будет интересно):

Цитата:

В определении (непрерывной дифференцируемости на множестве $U$ из банахова пространства $B$) предполагается, что если функция дифференцируема в точке, то она определена в некоторой окрестности этой точки. Поэтому, говоря о принадлежности функции множеству $C^1(U)$, обычно подразумевают существование некоторого открытого множества $W$ из банахова пространства $B$, которое содержит $U$ и на котором определена эта функция.

То есть в принципе то, к чему я пришел в предыдущей теме, оказалось верным - в учебниках оптимизации предполагают, что допустимое множество $S$ является подмножеством $\operatorname{int} \operatorname{dom} f$. Точнее даже так: $S \subseteq W \subseteq \operatorname{int} \operatorname{dom} f$, где $W$ - некоторое открытое множество. Думаю Вы согласитесь с тем, что об этом стоило бы упомянуть Васильеву еще в параграфе 2.2 на с.54, а не в конце книги на с.522 (так как в теорию оптимизации в банаховых пространствах думаю 70% читателей этой книги даже не заглядывают).

[мат-ламер]

give_up в сообщении #1582456 писал(а):

В современных учебниках по матанализу и курсах лекций (по крайней мере в тех 5-10) что я открывал, действительно, я ни разу не сталкивался чтобы они трактовали символ $o$ как функцию.

В то же время есть мнение , что бесконечная малая величина, это всё-таки не величина, а функция. А о-символика определяет, как эти бесконечно-малые (и большие) величины (а точнее, функции) соотносятся друг с другом. И тогда выражение с $o$-малым можно рассматривать как функцию.

-- Пн фев 20, 2023 16:57:34 --

В то же время в этой теме https://dxdy.ru/topic148377.html меня поправили:

Someone в сообщении #1544187 писал(а):

Вообще, так даже и не пишут, потому что $o(x)$ означает не конкретную функцию, а оценку сверху порядка малости погрешности.

-- Пн фев 20, 2023 17:12:56 --

мат-ламер в сообщении #1582449 писал(а):

У Поляка книга по оптимизации. Это не учебник, это скорее пособие, рассчитанное на практиков.

give_up в сообщении #1582456 писал(а):

Ну с этим при желании можно немного поспорить, потому что если выкинуть из его содержания главы 2,4,6, то содержание этой книги будет очень сильно напоминать сжатый учебник Сухарева, например. Думаю книга Поляка вполне могла использоваться (и скорее всего использовалась) в качестве учебника в восьмидесятых-девяностых годах

Из предисловия к книге Поляка:

Цитата:

Обращаясь к математикам, я хотел бы подчеркнуть, что данная книга - не учебник, она не связана с имеющимися вузовскими программами по курсу "методы оптимизации", не все приводимые теоремы доказаны ...

Поэтому у Поляка функции в начале книги определяются на всём $R^n$ . Ибо на суть дела, точнее на доказываемые в книге утверждения это никак не влияет. А если вдруг функция определена не на всём $R^n$ , то читатель может мыслить её определённой на некотором открытом множестве, которому принадлежит область определения независимой переменной $x$ . Ибо книга была рассчитана быть доступной инженерам. Поэтому на деталях, не отражающих суть дела, автор не останавливался.

-- Пн фев 20, 2023 17:19:32 --

give_up в сообщении #1582413 писал(а):

И, по всей видимости, это определение будет эквивалентно определению дифференцируемости в точке из учебников матанализа (которое дается через о-малое).

Я думаю, что будет эквивалентно. И вопрос этот скорее методический, чем математический.

-- Пн фев 20, 2023 17:23:04 --

give_up в сообщении #1582456 писал(а):

Думаю Вы согласитесь с тем, что об этом стоило бы упомянуть Васильеву еще в параграфе 2.2 на с.54, а не в конце книги на с.522 (так как в теорию оптимизации в банаховых пространствах думаю 70% читателей этой книги даже не заглядывают).

Я думаю, что на свою книгу Васильев получил отзывы, которые учёл во втором томе.

[give_up]

мат-ламер
Насчет книги Поляка мне тут уже vpb советовал - нужно было мне сначала в Васильева посмотреть. В следующий раз так и сделаю. Отмечу лишь, что на практике наблюдал пару раз, как ее советовали почитать в качестве учебника по оптимизации. Хоть это и не рекомендовано в предисловии этой книги, это Вы верно подметили. Я ни в коем случае не говорю, что это плохая книга. И по моему скромному мнению, вполне даже может сойти за учебник в некоторых случаях. Просто лично мне нужен, кхм, чуть больший уровень строгости и детализации в определениях.

Спасибо за Ваши ответы, помогли мне расставить точки над i.

[give_up]

мат-ламер в сообщении #1582394 писал(а):

А что не так у Сухарева ?

give_up в сообщении #1582402 писал(а):

А Сухарев поступил умнее всех - он просто не стал давать в своей книге определение дифференцируемости в точке. А вместо этого сразу перешел к условиям экстремума.

С прискорбием сообщаю, что с этим выводом я поторопился. Сухарев в приложении своей книги таки выписал определение дифференцируемости в точке (на с.359 в издании 2005-го года). Оно выглядит так:

Сухарев писал(а):

Функция $f$ (определенная в некоторой окрестности точки $x^* \in \mathbb{R}^n$) называется дифференцируемой в точке $x^*$, если градиент $f'(x)$ существует и при всех достаточно малых $h \in \mathbb{R}^n$ справедлива формула
$f(x^* + h) = f(x^*) + \langle f'(x^*), h\rangle + o(\| h\|).$
Здесь $o(\alpha)$ - некоторая числовая функция числового аргумента, удовлетворяющая условию $\displaystyle \lim_{\alpha \to 0} \frac{o(\alpha)}{\alpha}=0.$

Под числовой функцией числового аргумента в его книге, согласно с.358, подразумевается некоторая функция, отображающая вещественное число в вещественное число. Таким образом, он делает точно ту же опечатку, что и Нестеров в своей книге (которая обсуждалась выше в этой теме). У него есть и вторая опечатка в этом же определении, правда уже не такая существенная: в первой строчке вместо "если градиент $f'(x)$ существует" следует написать "если градиент $f'(x^*)$ существует".
Печально, так как издание обеих этих книг не первое. И если книгу Нестерова не так часто используют студенты (она больше популярна у аспирантов и ученых, занимающихся профессионально выпуклой оптимизацией), то книгу Сухарева они используют часто.

[мат-ламер]

give_up в сообщении #1585001 писал(а):

Под числовой функцией числового аргумента в его книге, согласно с.358,

Тот раздел мало кто внимательно читает. Он скорее для справки - что читатель должен знать. Однако ровно такое же определение возникает в начале пятой главы при обсуждении градиентного метода. В справочном разделе есть ещё определение второй производной и оно повторяется при обсуждении метода Ньютона. В принципе это можно простить, поскольку эти неточности не влияют на доказательства остальных теорем.

Интересно. что эта неточность повторяется и в некоторых лекциях по анализу. Так в лекциях Бутузова (лекции для физиков МГУ) в формуле 9.6 (пар.9.5) приращение функционала записывается в виде $\Delta u = ... +o(|\rho|)$ . Та же неточность в лекциях Кудрявцева Н.Л. (лекция 37, формула 11 - лекции для геофизиков МГУ). Причём эти неточности дальше эксплуатируются в доказательствах.

[Padawan]

мат-ламер в сообщении #1585080 писал(а):

приращение функционала записывается в виде $\Delta u = ... +o(|\rho|)$ . Та же неточность в лекциях Кудрявцева Н.Л.

Нет никакой неточности. Всё правильно.

[мат-ламер]

Padawan в сообщении #1585081 писал(а):

Нет никакой неточности. Всё правильно.

Поясните вашу мысль. А то я пришёл в этой теме к выводу, что вертикальные палочки в этой формуле ни к чему. Или я придираюсь?

-- Сб мар 11, 2023 17:25:52 --

Поскольку это же я обнаружил и в лекциях Теляковского (формула 12.1.1), то для начала попробую разобраться, а что они вообще понимают под $o(|x|)$ ?

-- Сб мар 11, 2023 17:38:06 --

Пересмотрел свои последние сообщения. Я ранее писал:

мат-ламер в сообщении #1582389 писал(а):

Посмотрел книгу Нестерова. Там действительно ляп в определении дифференцируемости. Там надо либо не писать норму под символом о. И тогда эта функция имеет другую область определения. Либо писать норму под о. Но тогда о - это вообще не функция, а соглашение.

Да, у Нестерова неточность. А А у Теляковского, к примеру, всё правильно. У него символ $o$ - это не функция, а соглашение. И оно разъясняется у него в первом томе.

-- Сб мар 11, 2023 17:43:14 --

мат-ламер в сообщении #1585082 писал(а):

А А у Теляковского, к примеру, всё правильно. У него символ $o$ - это не функция, а соглашение. И оно разъясняется у него в первом томе.

Допустим, если $\lim \frac {f(x)}{\|x\|} = 0$ при $x \to 0$, то мы смело можем писать $f(x)=o(\|x\|)$ . И здесь у нас $o$ - ни разу не функция.