Продираться неподготовленному уму через формализмы очень сложно
По-моему, как раз всегда легко. Они для того и делаются, чтобы оперировать символами, не вдаваясь ни в какой смысл. Просто если делать формально — надо делать всё чисто, а не пополам с неформальным — тут уж любой человек запутается, где что делать и как это понимать! А определение функции в виде

— это как раз смешивание с применением функции потом. Я бы лучше писал

. Потом, если известно, что

, то
![$f(t) = A[t\text{ вместо }x]$ $f(t) = A[t\text{ вместо }x]$](https://dxdy-02.korotkov.co.uk/f/9/6/c/96c678b3f7d903eefc870f088f51da8882.png)
, что обозначает

с заменой всех свободных вхождений

в нём на

, механически, одинаково и одновременно. Свободные вхождения

— это такие, которые не «связаны» с помощью

(к сожалению, при отсутствии знаний о других связывающих штуках типа кванторов и интегралов, нельзя провести с ними аналогию). Например,

в формуле

встречается два раза, и оба раза свободно. А

в формуле

встречается 6 раз, причём 1-е, 2-е и 6-е вхождения свободные, а 3-е, 4-е и 5-е вхождения связанные. Если поменять все связанные вхождения переменной на другую переменную, смысл формулы не изменится, а вот если заменить на что-то типа

, формула перестанет означать что-либо. Потому такие вхождения и не заменяются.
Например, пусть

. Тогда
![$$f(a + 4) = (x^2 - x)[a+4\text{ вместо }x] = (a+4)^2 - (a+4) = a^2 + 7a + 12.$$ $$f(a + 4) = (x^2 - x)[a+4\text{ вместо }x] = (a+4)^2 - (a+4) = a^2 + 7a + 12.$$](https://dxdy-01.korotkov.co.uk/f/4/1/e/41eab18ba91c2cbee498ad49149580ca82.png)
Пусть

. Тогда
![$$g(-x) = (3x-4x^3)[-x\text{ вместо }x] = 3(-x)-4(-x)^3 = -3x+4x^3.$$ $$g(-x) = (3x-4x^3)[-x\text{ вместо }x] = 3(-x)-4(-x)^3 = -3x+4x^3.$$](https://dxdy-04.korotkov.co.uk/f/7/d/1/7d1133e3fdaa59ab539f954d399a401e82.png)
Если бы замена не проходила одновременно, мы бы могли получить что угодно или вообще не остановиться в механическом переписывании.
Композиция с

-синтаксисом определяется так:

Например,
![$$\begin{array}{ccc}
& (x\mapsto x^2)\circ(y\mapsto cy+1) & = \\
= & x\mapsto (x\mapsto x^2)((y\mapsto cy+1)(x)) & = \\
= & x\mapsto (x\mapsto x^2)((cy+1)[x\text{ вместо }y]) & = \\
= & x\mapsto (x\mapsto x^2)(cx+1) & = \\
= & x\mapsto(x^2)[cx+1\text{ вместо }x] & = \\
= & x\mapsto(cx+1)^2. &
\end{array}$$ $$\begin{array}{ccc}
& (x\mapsto x^2)\circ(y\mapsto cy+1) & = \\
= & x\mapsto (x\mapsto x^2)((y\mapsto cy+1)(x)) & = \\
= & x\mapsto (x\mapsto x^2)((cy+1)[x\text{ вместо }y]) & = \\
= & x\mapsto (x\mapsto x^2)(cx+1) & = \\
= & x\mapsto(x^2)[cx+1\text{ вместо }x] & = \\
= & x\mapsto(cx+1)^2. &
\end{array}$$](https://dxdy-02.korotkov.co.uk/f/9/b/5/9b5c078ca6102e9e72f2b98a5374bd0d82.png)
Просто применяем возможные преобразования по-очереди.
А вот что было бы при обратном порядке композиции:
![$$\begin{array}{ccc}
& (y\mapsto cy+1)\circ(x\mapsto x^2) & = \\
= & x\mapsto(y\mapsto cy+1)((x\mapsto x^2)(x)) & = \\
= & x\mapsto(y\mapsto cy+1)((x^2)[x\text{ вместо }x]) & = \\
= & x\mapsto(y\mapsto cy+1)(x^2) & = \\
= & x\mapsto(cy+1)[x^2\text{ вместо }y] & = \\
= & x\mapsto cx^2+1. &
\end{array}$$ $$\begin{array}{ccc}
& (y\mapsto cy+1)\circ(x\mapsto x^2) & = \\
= & x\mapsto(y\mapsto cy+1)((x\mapsto x^2)(x)) & = \\
= & x\mapsto(y\mapsto cy+1)((x^2)[x\text{ вместо }x]) & = \\
= & x\mapsto(y\mapsto cy+1)(x^2) & = \\
= & x\mapsto(cy+1)[x^2\text{ вместо }y] & = \\
= & x\mapsto cx^2+1. &
\end{array}$$](https://dxdy-04.korotkov.co.uk/f/f/d/f/fdff109b233fa7ff25046c15fbcc245082.png)
Хорошо запутал? (У самого сложилось впечатление, что переписывание формул далеко не так просто, как я только что писал выше,

но это, наверно, из-за того, что писать всё на бумаге гораздо быстрее, чем выписывать код.)
-- Пн окт 28, 2013 18:38:40 --(Мой ответ плох тем, что не следует себе: смешан синтаксис и семантика (я очень поверхностно описал замену, и, наверно, можно всё равно понять её неправильно; не оговорено много важных вещей, которые могут стать не сами собой разумеющимися в некоторых случаях). Чтобы всё было чисто синтаксически, надо написать много определений, что не улучшит понимание, да и не переписывать же сюда книги.)
-- Пн окт 28, 2013 19:01:06 --(Оффтоп)
Неужели такое страшное сообщение никто не поругает?