корреляционный анализ событий

[centurion]

Здравствуйте!
Задам два связных вопроса

1. Есть поток сообщений, который трудно описать числами, функциями. Вульгарный пример
Допустим мы наблюдаем за островами на которых живут разные туземцы
Мы можем наблюдать события. На одном острове зажгли факел, с другого на третий отправились туземцы
Туземцы тоже различаются на группы
есть еще какие-то события
Нужно сделать вывод, построить гипотезы - эти острова разделяют три государства, два в состоянии войны, третье тоже что-то там...
На это способен человек, такое предлагают в виде тестов

Но если событий тысячи, они принадлежат разным процессам
Ну например анализ криминала или маркетинговые исследования
И их трудно формализовать
нужен машинный анализ, чтобы строить гипотезы
Какие есть подходы для таких задач. Может есть готовое ПО

2.
При рассылке спам сообщений на форумы
роботами учитывается контекст в котором применено слово
смысл насколько я понял, что они учитывают вероятность появления связки слов для заданного контекста

Существуют ли готовые базы данных такого рода цепочек пусть для ограниченно набора тем

Просто тогда это способ создать метрику для событий, и тогда их уже можно пытаться математически обсчитать
Спасибо

[Foxer]

Обычно это называют машинным обучением. Погуглите. Если хотите что-то писать, то используйте iPython Notebook, ну и скачайте библиотечку scikit-learn (там реализовано много методов машинного обучения, причем нормально реализовано, то есть это будет работать раз в 20 быстрее, чем если Вы сами напишите).

То что вы сказали про метрику - самый топорный и очевидный метод в машинном обучении - KNN (k-Nearest-Neighbour) - k ближайших соседей (хотя иногда он действует неплохо, если уметь настраивать метрику). В реальности, как Вы правильно подметили, Вам нужна обучающая выборка (то есть тексты сообщений, про которые известно, что есть спам, а что нет) - откуда ее достать, наверное все же вопрос не для dxdy.ru , можете погуглить, наверняка что-то такое есть.