Да не нужны тут никакие множества. Проще думать так. Функция - это ящик со входом и выходом. Она берет всё, что мы дали ей на вход, производит с этим некоторые операции и выплёвывает результат на выходе.
Например, в записи
символ
символизирует то, что подаётся на вход, а возведение в квадрат - это та операция, которую производит ящик над входом, чтобы получить выход.
Тогда запись
означает, что мы подаём на вход функции не
, а
. Но это ничего не меняет, операция остаётся все той же: возведение в квадрат. То есть,
. Как бы заменяем в исходном выражении функции все места, где есть
, на новый вход
.
А потом просто нужно приравнять это тому, что указано в задании
и решить получившееся уравнение.