||A|| = sup||Ax||,причём ||x||<=1
Это называется операторной нормой матрицы.
Здесь судя по всему мне нужно найти согласованную с евклидовой нормой норму матрицы A, т.е. которая равна корню квадратному из суммы квадратов элементов матрицы.
А это называется нормой Гильберта-Шмидта. И хотя она тоже норма, но -- отнюдь не операторная.
Операторной нормой матрицы относительно евклидовой нормы вектора является наибольшее из сингулярных чисел этой матрицы. Такую норму явно найти невозможно (вообще говоря) -- лишь численно.