если определитель не равен 0
Только не "если", а "тогда и только тогда".
Если определитель не равен нулю, то система имеет 1 решение.
Туда же.
система необратима
Обращают не систему. Обращают матрицу.
Что-то пока не улавливаю, что мне нужно сделать.
Очевидно, что проверить условие наличия обратной матрицы у матрицы системы в зависимости от

. После этого, я думаю, будет понятно, при каких

что будет. Конкретно в данной задаче будет не так много вариантов. Конечно, искать "в лоб" определитель 4-го порядка с параметром - дело неблагодарное. Но, я думаю, вы в курсе как меняется определитель при элементарных преобразованиях, которыми вы владеете, как я вижу.
P.S. Обратима/необратима - это жаргон, который я себе позволил. Правильно говорить "имеет обратную".