Да не нужны тут никакие множества. Проще думать так. Функция - это ящик со входом и выходом. Она берет всё, что мы дали ей на вход, производит с этим некоторые операции и выплёвывает результат на выходе.
Например, в записи

символ

символизирует то, что подаётся на вход, а возведение в квадрат - это та операция, которую производит ящик над входом, чтобы получить выход.
Тогда запись

означает, что мы подаём на вход функции не

, а

. Но это ничего не меняет, операция остаётся все той же: возведение в квадрат. То есть,

. Как бы заменяем в исходном выражении функции все места, где есть

, на новый вход

.
А потом просто нужно приравнять это тому, что указано в задании

и решить получившееся уравнение.