В чем разница между регрессией и аппроксимацией?

[logout2d]

Доброго времени суток!
В чем разница между регрессией и аппроксимацией?

[alisa-lebovski]

Регрессия обычно предполагает случайные данные, а аппроксимация - детерминированные.
Но и то, и другое может делаться одним методом - например, методом наименьших квадратов.

[logout2d]

Следующие примеры это случайные данные или детерминированные:
1. Результаты эксперимента (набор замеров какого либо физического процесса).
2. Бросание монеты.
3. Продажи магазина.
4. Извержения вулкана.
... т.д.

Под "случайными данными" можно понимать детерминированные + ошибка?
Не очень понял, можно ли считать любую аппроксимацию, моделью регрессии?

[ewert]

logout2d в сообщении #463383 писал(а):

можно ли считать любую аппроксимацию, моделью регрессии?

Регрессия -- это очень, очень частный случай аппроксимации вообще. Аппроксимация же -- это просто приближение.

[alisa-lebovski]

Все вами перечисленные - случайные. Но есть же и другие.
Например, есть какая-то зависимость между физическими или химическими величинами, измеренная с высокой точностью. И ясно, что она нелинейная. Но для удобства ее с какой-то точностью можно аппроксимировать линейной. Закон Ома, например.

[logout2d]

ewert в сообщении #463388 писал(а):

logout2d в сообщении #463383 писал(а):

можно ли считать любую аппроксимацию, моделью регрессии?

Регрессия -- это очень, очень частный случай аппроксимации вообще. Аппроксимация же -- это просто приближение.

Ну так приближение то идет как раз к искомому закону. То есть конечная цель это описание исследуемого закона.
Какие тут еще варианты?

alisa-lebovski в сообщении #463390 писал(а):

Все вами перечисленные - случайные. Но есть же и другие.
Например, есть какая-то зависимость между физическими или химическими величинами, измеренная с высокой точностью.

Я как раз и написал под номером 1 "зависимость между физическими или химическими величинами", по вашему случайные, но тут же и указываете на те же самые но говорите что они уже неслучайны!

Вообще же неважно какой пункт взять, скажем появление извержений вулканов, тут вполне детерминированные процессы. Почему они случайные непонятно, вы представьте стоит вулкан и тут бах не с того не с сего извержение? ИМХО бред! перед извержением была вполне однозначная цепочка причинно следственных связей приведших к извержению.
Так что получается если мы не хотим вдаваться в подробности мы просто берем и говорим что процесс случайный, а если подробности известны то он детерминированный! ИМХО тут какое то надуманное деление в науке!

[ewert]

logout2d в сообщении #463413 писал(а):

Так что получается если мы не хотим вдаваться в подробности мы просто берем и говорим что процесс случайный, а если подробности известны то он детерминированный!

Ровно так и получается. Случайность для нас -- это неполнота имеющейся у нас информации. Надо лишь иметь в виду, что эта неполнота бывает обусловлена не только нашей глупостью, но может носить и вполне объективный характер. Скажем, тепловые флуктуации зарождаются на квантовомеханическом уровне (где информация не может быть полной по определению), а проявляются вполне макроскопически.

[logout2d]

Тут даже во многих книгах в темах о регрессии говорят об аппроксимации.
Сколько не разбирался различий так и не обнаружил, думаю их можно считать синонимами. Или ко-то несогласен? Закрываем тему.

Цитата:

Надо лишь иметь в виду, что эта неполнота бывает обусловлена не только нашей глупостью, но может носить и вполне объективный характер. Скажем, тепловые флуктуации зарождаются на квантовомеханическом уровне (где информация не может быть полной по определению), а проявляются вполне макроскопически.

Квантовую механику не изучал, но что то мне подсказывает что это можно списать на "неполноту наших знаний"

[ewert]

logout2d в сообщении #463435 писал(а):

Сколько не разбирался различий так и не обнаружил, думаю их можно считать синонимами.

Значит, нисколько не разбирался. Аппроксимации бывают интерполяционные, бывают равномерные, бывают сплайн-аппроксимации (в свою очередь, интерполяционные и сглаживающие) и чего только вообще не бывает. И вот среди этого чего угодно встречаются иногда и регрессии.

logout2d в сообщении #463435 писал(а):

но что то мне подсказывает что это можно списать на "неполноту наших знаний"

Не слушайте его, он обманывает.

[Евгений Машеров]

Аппроксимация - цель (получить приближённое выражение), регрессия - инструмент (один из) для построения аппроксимирующего выражения. Аппроксимация при помощи регрессии предполагает, что аппроксимирующая функция близка к аппроксимируемой в некоторой (чаще всего квадратичной, но и $L_1$ и другие встречаются) метрике. А скажем, если требуется точное равенство значений в определённых узлах, или равенство как значений функции, так и производных - такая аппроксимация строится иными инструментами.

[logout2d]

Цитата:

Аппроксимации бывают интерполяционные, бывают равномерные, бывают сплайн-аппроксимации (в свою очередь, интерполяционные и сглаживающие) и чего только вообще не бывает. И вот среди этого чего угодно встречаются иногда и регрессии.

брррр давайте не путать (может я путаю) понятия. Математика наука точная, и в ней довольно точно все подразделено. Определения в студию!
Мне до селе было известно 3 больших раздела математики, причем в каждом из них находят некую функцию, но такую что:
1. Интерполяция - это такой метод, описания исходных данных, при котором интерполирующая функция проходит через исходные точки.
2. Аппроксимация - это такой метод, при котором аппроксимирующая функция приближается к исходным данным, выполняя какое-нибудь условие. Часто это МНК. Если ошибка отклонения равна нулю, то аппроксимация превращается в интерполяцию.
Часто используется для упрощения исходных данных.
3. Экстраполяция - прогноз исходных данных.

Причем функция может быть: линейная, кубическая, полиномиальная, сплайн, В сплайн, и т.д.
Вы не путайте, это не аппроксимация бывает сплайновой, а для аппроксимации берут сплайн, это вид подгоняемой функции. Просто говорят так для упрощения речи.

Куда же относится регрессия?

ИМХО это синоним интерполяции и аппроксимации, потому что вычисления одни и те же.

Цитата:

Аппроксимация - цель (получить приближённое выражение), регрессия - инструмент (один из) для построения аппроксимирующего выражения.

Как у любого инструмента у регрессии должна быть какая то база, логические предпосылки... Но что ни литература, то мы видим что в ней применяют МНК (реже другие методы) ровно как и в аппроксимации.
Назовите тогда в чем суть этого инструмента?
Может МНК (и другие критерии), выбор вида функции вот это инструменты?
Вот например МНК предполагает минимизацию квадрата отклонений, это его суть.

[ewert]

logout2d в сообщении #463481 писал(а):

Мне до селе было известно

Начнём с того (раз уж математика -- наука точная), что "до селе" не бывает. Бывает разве что "до села". Что блестяще и подтверждается следующим замечательным пассажем:

logout2d в сообщении #463481 писал(а):

Куда же относится регрессия?

ИМХО это синоним интерполяции и аппроксимации, потому что вычисления одни и те же.

[logout2d]

Это уже какая-то литература а не математика

[chuchueva]

Самая главная разница, на мой взгляд, состоит в том, что регрессия - есть инструмент, а аппроксимация - задача. То же самое, как есть гвоздь, который надо забить - это аппроксимация, и есть молоток, которым можно это сделать - это регрессия.

Задача - аппроксимация - состоит в том, чтобы упростить действительное описание объекта, например, последовательности, так как не всегда мы можем работать со сложными зависимостями. Сделать это можно по-разному с использованием различных инструментов! А инструмент - регрессию - можно применять как для аппроксимация, так для интерполяции, экстраполяции и кучи других задач. Это очень гибкий и эффективный инструмент!

[ewert]

chuchueva в сообщении #611316 писал(а):

А инструмент - регрессию - можно применять как для аппроксимация, так для интерполяции,

Вот уж для чего-чего, а для интерполяции её -- никак. Уж слишком жёстко закреплён последний термин.