Итак:
Уравнение прямой проходящей через две точки в пространстве:

Здесь неизвестными являются числа

, остальные
неизвестные заданы в условии.
А уравнение плоскости допустим такое:

Итак первое условие:

Второе условие, думаю второе условие должно быть таким.
Возьмем две прямые из данной плоскости и проверим на
перпендикулярность с данной, получатся два уравнения.
Но дальше затрудняюсь, т. к. не знаю как проверить
перпендикулярность прямых в пространстве.
Я иду по правильному пути?
В принципе у Вас уже есть система из трех уравнений с тремя неизвестными. (Одно - уравнение плоскости, а два входят в уравнение прямой.)
Но (как я уже писал) гораздо удобнее решать, взяв вместо канонического уравнения прямой параметрическое.