И какое уравнение нужно рассматривать?Шредингера?
Какое уравнение решать и как вообще ставится задача --- это Вы должны были сказать. Сейчас обсуждается следующая постановка: решается уравнение Шредингера

в треугольнике ABC с граничными условиями

на сторонах треугольника AB, BC, CA. Имеет ли это отношение к тому, что пришло в "светлую голову" Вашего преподавателя, неизвестно.
Как конкретно можно решить эту задачу для прямоугольного равнобедренного треугольника?
Полного решения нет. Можно найти отдельные уровни энергии. Как --- написано
здесь.
P. S. Ага, оказывается, можно сделать еще немного лучше. Равнобедренный прямоугольный треугольник можно достроить до квадрата еще одним способом: взяв четыре таких треугольника и соединив прямыми углами. Соображения цитированного поста остаются применимы, но новым способом можно построить еще и собственные функции, симметричные относительно высоты треугольника.
Итак, квадрат имеет вид

,

, треугольник --- его четверть

,

,

, собственные функции соответствуют представлениями

(антисимметричные относительно высоты треугольника) и

(симметричные) группы

симметриии квадрата. Явный вид функций

, для представления

m,n --- четные, для

--- нечетные.
Состояние с наинизшей энергией соответствует n=1, m=3 и имеет энергию 10. Вполне возможно, что мы построили все состояния, по крайней мере это очень похоже на основное.