Почему мы ищем решение начально-краевой задачи в виде ряда Фурье по системе собственных функций задачи Штурма-Лиувилля, а не по какой-то другой?
Потому, что какая-то другая не удовлетворит краевым условиям. Корректность разложения по именно собственным функциям -- это вопрос отдельный; но, во всяком случае, надеяться на разумность разложения по другим системам было бы несколько наивно. Это во-первых.
А во-вторых (и в главных). Мы раскладываем по именно собственным функциям (неважно, как конкретно они выглядят) потому, что при умножении такого ряда на оператор собственные функции просто умножаются на число; любые же другие преобразовывались бы каким-то нетривиальным образом и, соответственно, никакой пользы из такого разложения и не вышло бы. Собственно, примерно это и хотел сказать
ИСН в своём последнем сообщении.