Методы машинного обучения

[goaltender56]

Здравствуйте!
Помогите разобраться с разделением подходов на параметрические, непараметрические и полупараметрические. Как я понял логистическая регрессия относится к параметрическим методам, а решающие деревья к непараметрическим методам. Какие бывают полупараметрические алгоритмы для классификации (кроме EM-алгоритма)?

[Mihaylo]

Если глубоко копать, то можно выявить, что разделение на параметрические и непараметрические алгоритмы условное. Параметрические - это такие алгоритмы, которые адаптируют числовые переменные (параметры) - элементы массивов. Структурные (непараметрические) - это, как правило, более сложные в этом плане - они адаптируют не просто значения элементов массивов, но и, допустим, размер массивов.
Полупараметрические - это, получается, гибридные. Хотя не факт, не знаю. Я знаю деление на параметрическую и структурную адаптацию (из теории автоматического управления).

[Andrey_Kireew]

Вообще то EM - это не алгоритм классификации. И, кстати - он вполне себе параметрический, так как находит параметры вероятностных распределений. Непараметрические - это прецедентные алгоритмы. Метод ближайших соседей и т.п.

[madschumacher]

Andrey_Kireew в сообщении #1391908 писал(а):

Вообще то EM - это не алгоритм классификации.

Вообще-то ещё как классификации. См. "Numerical Recepies. The Art of Scientific Computing. Third Edition" 2007го, раздел 16.1 "Gaussian Mixture Models and k-Means Clustering".

[Andrey_Kireew]

madschumacher в сообщении #1392043 писал(а):

Gaussian Mixture Models and k-Means Clustering"

Если кто то не видит различий между классификацией и кластеризацией - обсуждать с ним, что либо в данной области бессмысленно.

[madschumacher]

Andrey_Kireew в сообщении #1392049 писал(а):

Если кто то не видит различий между классификацией и кластеризацией - обсуждать с ним, что либо в данной области бессмысленно.

Обученные на обучающем наборе распределения EM-алгоритмом (кластеризацией) очень даже хорошо работают для классификации неизвестных точек.

[Pavia]

madschumacher в сообщении #1392050 писал(а):

Обученные на обучающем наборе распределения EM-алгоритмом (кластеризацией) очень даже хорошо работают для классификации неизвестных точек.

Вы смешали в кучу 3 разных алгоритма не надо так делать.

[madschumacher]

Pavia в сообщении #1392051 писал(а):

Вы смешали в кучу 3 разных алгоритма не надо так делать.

А можно в целях образования и устранения неправильности пояснить мою ошибку? (если бы было 2 я бы и сам понял)

[Andrey_Kireew]

Мало ли где и что работает. Эти методы преследуют разные цели: EM -разведочный анализ данных, логистическая регрессия - решает задачу обучения. Да, можно приспособить одно для другого, как можно и микроскопом гвозди заколачивать, а топором карандаши точить.

[madschumacher]

Ясно. Спасибо за разъяснения, извиняюсь за внесение сумбура.