Матричное уравнение.

[nestoklon]

Ну, "очевидно" если $A$ и $B$ коммутируют, общий базис в котором они диагональны, есть.

(Оффтоп)

Надеюсь, вы уже поняли что мои слова надо проверять и проверять

И тогда все матрицы диагональны и уравнение решается просто.
Это раз.
Можно попробовать разбить все матрицы на блоки ($k\times k$, $(n-k)\times k$, $k\times(n-k)$, $(n-k)\times(n-k)$), после чего попытаться что-то сделать с четыремя зацепленными матричными уравнениями "попроще". С ходу ничего хорошего там правда не получается.
Это два.
Я попробовал решить руками уравнение с матрицами 2x2, которые вы привели и у меня получилось, что решение далеко не тривиальное. Так что видимо решение общей задачи будет весьма и весьма непростым.
Это три.

[sng1]

Если наложить дополнительные условия: $k \geq n/2$, $A=\left(\begin{array}{cc} A_0 & A_0 * E_{12}\\ E_{21} * A_0 & 0 \end{array}\right)$, где $A_0$ - симметричная (0,1)-матрица размера $k \times k$, $E_{12}$ - матрица размера $k \times (n-k)$ c единицами на главной диагонали и остальными элементами равными 0, $E_{21}$ - матрица размера $(n-k) \times k$ c единицами на главной диагонали и остальными элементами равными 0, то не поможет ли это продвинуться в получении решения?

[mihiv]

В случае,когда матрица $A$ имеет квазидиагональный вид

$$A=\left (\begin {array}{cc}A_1&0\\0&A_2\end {array}\right )$$

(здесь $A_1$ и$A_2$ квадратные матрицы размера,соответственно $k\times k$ и $(n-k)\times (n-k)$) есть такое решение:

$$X=\lambda\left (\begin {array}{cc}A_1&0\\0&0\end {array}\right ),$$

где $\lambda =\frac {1\pm \sqrt 5}2$.

[mihiv]

Еще одно решение:

$$X=\left (\begin {array}{cc}\lambda A_1&0\\0&A_2\end {array}\right )$$

[sng1]

К сожалению матрица не квазидиагональная, а имеет вид указанный выше.