начните с того что нужно проверить совместимость.
Для этого метода проверка совмест
ности не нужна! Всё узнается в процессе нахождения решения.
Абсолютно с Вами согласен... но зачем решать если решений нет? хотя вопрос наверное из разряда риторических.
Давайте по порядку:
1. делим первую строку на 2
перезаписываем первую строку
ко второй строке прибавляем -3*на соответствующую ячейку первой строки
к третьей строке прибавим -5*на соответствующую ячейку первой строки
значения ячеек перезаписываем.
2. делим вторую строку на 15/2
переписываем вторую строку
к первой строке прибавляем соответствующуюю ячейку второй строки*-5/2
к третьей строке прибавляем соответсвующую ячейку второй строки* 15/2
результаты перезаписываем
Выглядит это так:
![$\[\left( {\left. {\begin{array}{*{20}{c}}
2&5&{ - 4} \\
3&{15}&{ - 9} \\
5&5&{ - 7}
\end{array}} \right|\begin{array}{*{20}{c}}
8 \\
5 \\
1
\end{array}} \right) \sim \left( {\left. {\begin{array}{*{20}{c}}
1&{\frac{5}{2}}&{ - 2} \\
0&{\frac{{15}}{2}}&{ - 3} \\
0&{ - \frac{{15}}{2}}&3
\end{array}} \right|\begin{array}{*{20}{c}}
4 \\
{ - 7} \\
{ - 19}
\end{array}} \right) \sim \left( {\left. {\begin{array}{*{20}{c}}
1&0&{ - 1} \\
0&1&{ - \frac{2}{5}} \\
0&0&0
\end{array}} \right|\begin{array}{*{20}{c}}
{\frac{{19}}{3}} \\
{ - \frac{{14}}{{15}}} \\
{ - 26}
\end{array}} \right)\]$](https://dxdy-01.korotkov.co.uk/f/0/f/0/0f0ae61df614b5a9cb6c0c7cff4beca482.png "$\[\left( {\left. {\begin{array}{*{20}{c}}
2&5&{ - 4} \\
3&{15}&{ - 9} \\
5&5&{ - 7}
\end{array}} \right|\begin{array}{*{20}{c}}
8 \\
5 \\
1
\end{array}} \right) \sim \left( {\left. {\begin{array}{*{20}{c}}
1&{\frac{5}{2}}&{ - 2} \\
0&{\frac{{15}}{2}}&{ - 3} \\
0&{ - \frac{{15}}{2}}&3
\end{array}} \right|\begin{array}{*{20}{c}}
4 \\
{ - 7} \\
{ - 19}
\end{array}} \right) \sim \left( {\left. {\begin{array}{*{20}{c}}
1&0&{ - 1} \\
0&1&{ - \frac{2}{5}} \\
0&0&0
\end{array}} \right|\begin{array}{*{20}{c}}
{\frac{{19}}{3}} \\
{ - \frac{{14}}{{15}}} \\
{ - 26}
\end{array}} \right)\]$")
Система решений не имеет.
Наконец-то я осмыслил этот алгоритм. Вот очень наглядная картинка алгоритма
P.S. Не стоит благодарности, старался для себя и общественности
31.01.2011, 20:47 
![$
\[\left( {\begin{array}{*{20}{c}}
{{2_{X1}} + } & {{5_{X2}} - } & {{4_{X3}} = 8} \\
{{3_{X1}} + } & {{{15}_{x2}} - } & {{9_{X3}} = 5} \\
{{5_{X1}} + } & {{5_{X2}} - } & {{7_{X3}} = 1} \\
\end{array} } ]$](https://dxdy-01.korotkov.co.uk/f/0/2/7/027bf5d8ae69961689700feabc5c724f82.png "$
\[\left( {\begin{array}{*{20}{c}}
{{2_{X1}} + } & {{5_{X2}} - } & {{4_{X3}} = 8} \\
{{3_{X1}} + } & {{{15}_{x2}} - } & {{9_{X3}} = 5} \\
{{5_{X1}} + } & {{5_{X2}} - } & {{7_{X3}} = 1} \\
\end{array} } ]$")
![$ \[\left( {\begin{array}{*{20}{c}} {{2_{X1}} + } & {{5_{X2}} - } & {{4_{X3}} = 8} \\ {{3_{X1}} + } & {{{15}_{x2}} - } & {{9_{X3}} = 5} \\ {{5_{X1}} + } & {{5_{X2}} - } & {{7_{X3}} = 1} \\ \end{array} } ]$](https://dxdy-01.korotkov.co.uk/f/8/0/9/80930161fcaf785f734210228dd3562482.png "$ \[\left( {\begin{array}{*{20}{c}} {{2_{X1}} + } & {{5_{X2}} - } & {{4_{X3}} = 8} \\ {{3_{X1}} + } & {{{15}_{x2}} - } & {{9_{X3}} = 5} \\ {{5_{X1}} + } & {{5_{X2}} - } & {{7_{X3}} = 1} \\ \end{array} } ]$")
и вычитаем его (домноженное на сколько надо) из первого и третьего. Теперь третье делим на коэффициент при 
и вычитаем его из первого и второго. Все.
и 
именно такое наименьшее общее кратное)
и во 2 строке 1 столбце было число 15. Для этого нужно умножить каждую из этих строк на определенное число. Потом, если вычтем из 3-ей строки вторую, то получим ноль в 3 строке, 1 столбце!!!! Если поймете это, все дальше делать будет очень легко!