В новых переменных получится в таком виде:

Откуда:

А значит, учитывая симметрию области интегрирования в новых переменных, интеграл можно брать только по четвертинке, где

, и умножить на четыре.
В этой четвертинке подинтегральную функцию можно записать как
-- 25.11.2019, 20:28 --и выполняете замену
На всякий случай, не забывая сделать замену в пределах итегрирования.
Простите, конечно, но я не понял, что вы здесь написали. Что такое

?
Вы знаете, как замена в двойном интеграле делается? Записываете обычное преобразование поворота, как в аналитической геометрии учат - и выполняете замену.
В интеграле

при повороте осей на угол

сделал замену переменных по следующим формулам

. Подынтегральная функция тогда будет такая

. Стороны квадрата теперь будут параллельны координатным осям, а значит пределы интегрирования в обоих случаях будут от

до

. Значит интеграл примет вид

. Если я не прав, поправьте меня, пожалуйста.