Дифференциалы второго порядка и далее тензором не являются, что тоже хорошо известно.
Дифференциалы высших порядков (функций многих переменных) в Зориче вообще не вводятся до главы "Дифференциальное исчисление с более общей точки зрения". А в ней дано определение, согласно которому дифференциал

-го порядка (он же

-я производная)

- то есть, как я понимаю, всё-таки тензор. Не поясните ли этот момент? <...>
Мой оппонент уводит обсуждение в сторону, а я хотел бы побыстрее исчерпать очередное ответвление.
Поэтому, извините за вмешательство, ответ дам я.
Объясняю на примере вещественной функции нескольких вещественных аргументов.
Пусть

Первый дифференциал по Лагранжу - главная линейная (по приращению аргумента) часть функции

Разумеется, здесь я старался изобразить скалярное произведение градиента и приращения.
Второе производное отображение получится, если заняться линеаризацией первого.
По второму аргументу

первое уже линейно.
Поэтому линеаризация по

ничего нового не даст (линейное приближение к линейной функции - она сама).
А вот линеаризацию по первому аргументу

проделаем (в точности так, как вычисляют первый дифференциал). Вот что мы получим:

Здесь M - матрица вторых частных производных от функции по каждому отдельному аргументу (по координате вектора икс).
Всё как в теории билинейных и квадратичных форм: вектор справа от матрицы - вектор столбец,
вектор слева от матрицы - тоже, но транспонированный в строку.
Обратите внимание: это билинейная форма. У неё три векторных аргумента. По двум (по приращениям) она линейна, т.е. билинейна. От вектора

зависят коэффициенты этой билинейной формы. Её можно рассматривать как тензорное поле (второго ранга).
Теперь делаем следующую операцию: симметризацией превращаем билинейную форму в квадратичную, это и есть второй дифференциал в старинном смысле этого слова:

Здесь уже матрица Гессе - симметричная часть матрицы M.
Антисимметричная часть бесследно теряется.
Разумеется, это квадратичная функция, не полилинейная, не тензорное поле.
Если мы захотим ее линеаризовать с целью получения следующего дифференциала - ничего хорошего не получится. Квадрат приращения мешает.
Надо сначала (поляризацией) восстановить второе производное отображение (билинейную функцию), затем её линеаризовать, полученное третье производное отображение симметризовать и тогда получится третий дифференциал в старинном смысле этого слова.
Здесь становится понятной необходимость равенства смешанных производных (симметрия матрицы Гессе): без неё было бы невозможным восстановить второе производное отображение и следовательно у нас не получилось бы, что третий дифференциал есть дифференциал второго.
Наиболее ясное описание всего этого я видел в учебнике Колмогорова и Фомина.
Описание у Лорана Шварца (кажется, 1974 года) читать очень сложно из-за пестроты обозначений - рябит в глазах, суть тонет в множестве второстепенных мелочей.
Но всё это, повторяю, не имеет отношения к поставленному мной вопросу об ошибке Фихтенгольца. Мой оппонент топит вопрос в посторонних словах и поучениях в мой адрес, которых я у него не просил.Если он хочет знать, читал ли я "Анализ" Лорана Шварца - да, у меня в трех метрах от стула на полке стоит издание 1972 года, которое я купил в магазине в момент его появления на прилавке. Сначала очень обрадовался, а потом понял, что нового из него мало что можно узнать.
Все цитаты, которые приводит мой оппонент, - вне поставленного мной вопроса.
Речь идет о конкретной ошибке Фихтенгольца в теме дифференциалов функции. Эта ошибка породила в прошлом и до сих пор порождает тяжёлые повреждения математического мышления студентов СССР и теперь - России.