Похоже на уравнение Винера-Хопфа, но и только. Аналитическое решение вроде не просматривается. Вместо стандартного метода последовательных приближений можно попробовать такую модификацию. 
Пусть 

 такова, что разность 

  "мала", а уравнение

допускает "хорошее" приближенное решение 

. Тогда можно попробовать следующую схему.


Предполагается, что оператор 

 будет отслеживать особенности 

. 
Ну, например, не глядя на пределы интегрирования, "профурьируем" уравнение и получим

И отсюда каким-то образом извлечем 

.
Можно заменить 

 на 

 и попробовать использовать аналитическое решение уравнения Винера-Хопфа (там, однако, придется решать пару задач сопряжения ... )
Ну а можно попробовать использовать интегральные уравнения с вырожденным ядром

Тогда 

Подставляем и получаем СЛУ относительно неизвестных 

.
Здесь ну просто напрашивается разложение 

 в ряд Фурье на отрезке 
![$[-M,M]$ $[-M,M]$](https://dxdy-04.korotkov.co.uk/f/3/8/9/38918d96e6d96577491757099030d9d482.png)
.