1. В случае
простейшей линейной регрессии рассматривается задача, когда и

и

являются случайными величинами. В частности, в [1] со ссылкой на [2] задача формулируется так:
Цитата:
Дано

пар наблюдений

, …

, которые рассматриваются как отдельные значения случайных векторов, причем

и

. Величины

и

будем называть
истинными значениями 
и

, а величины

и

—
погрешностями. Будем считать выполненными следующие условия.
1. Случайные величины

,…,

одинаково распределены и некоррелированы:

,

;

существует (

).
2.

одинаково распределены и некоррелированы:

,

;

существует (

)
3. Случайные величины

и

некоррелированы:

, (

).
4. Между истинными значениями

и

существует линейная зависимость

.
...
Для удобства изложения будем считать

четным:

.
...
5.

,
где

— положительная постоянная. Заметим, что так например будет, если

В этих предположениях строятся состоятельные оценки параметров

и

.
Для случая когда погрешности

и

распределены по нормальным законам

,

строятся доверительные интервалы для

и

.
2. В той же главе [1] рассматривается и
ортогональная регрессия:
Цитата:
Пусть система точек

,…,

плоскости отличается следующим свойством: существует прямая линия

такая, что если отсчитывать расстояние

от

до

, придавая знак плюс по одну сторону от прямой и знак минус по другую, то величины

в совокупности нормальны

и независимы.
Возьмем прямоугольную систему координат

; пусть точка

имеет в ней координаты

, а искомая линия

имеет уравнение

, где

и

неизвестны. Требуется оценить

и

по наблюдениям

.
Максимизация функции правдоподобия приводит к минимизации

[это и есть минимизация расстояний точек до прямой]. Cвойства оценок вытекают из свойств оценок м.м.п.
3. По рассматриваемому в данной теме нелинейному случаю никаких ссылок с ходу привести не могу.
ref.
[1] Линник Ю.В. Метод наименьших квадратов и основы теории обработки наблюдений. — М., 1962; гл. XIII Некоторые исследования А. Вальда. Прямая ортогональной регрессии.
[2] А.Wald The fitting of straight lines if both variables are subject to errors, Ann. Math. Statistics, 11, N3, 1940, 284–300.