Подготовка данных для задачи классификации

[baser]

Всем привет! Пытаюсь сейчас заниматься решением каких-то практических задач методами ML, в связи с чем возник следующий вопрос.

У меня есть датасет, представляющий собой описание действий юзера на веб-странице, с конечным показателем 1 или 0 (1 - нажал на рекламу, 0 - нет). Первая колонка представляет собой user_id, последняя ответ, все, что между ними - признаки. Отдельных тренировочных и тестовых выборок нет, поэтому делю на них то, что есть.
Хочу на нем попробовать стандартные алгоритмы для решения задач классификации (SVC, Random Forest, kNN), но есть проблема. Всего в таблице порядка 20 тысяч строк, описывающих действия юзеров, но при этом уникальных среди них - порядка 8 тысяч. Если загонять в алгоритмы данные в том виде, в котором они есть, предсказание получается слишком хорошим, так как мы по сути предсказываем ответ для объекта, основываясь на его же предыдущих ответах.
Как можно устранить этот недостаток? На ум приходит просто оставить строки с уникальными id, но как именно их выбирать, если для одного id может быть много действий? В добавок, это значительно сократит объем данных для обучения, что, как я думаю, негативно скажется на точности предсказания.

Буду очень рад идеям и объяснениям, заранее спасибо.

[jabra]

Зависит от того что вам нужно предсказать - если реакцию юзера при первом заходе то стоит брать только самое первое действие каждого юзера.

Если же не важно в какой по счёту заход кликнул - то конечно нужно думать как сгруппировать чтобы получилась осмысленная статистика.

[Mihaylo]

Очень просто: усредните результаты по каждому юзеру по отдельности, то есть замените конечный показатель 0 / 1 на частоту (вероятность). Например, юзер 1 раз нажал на рекламу, 2 раза не нажал, частота равна 0,33. И решайте задачу регрессии вместо классификации.

[AdaBoost]

ищите pdf с именем "Проблемы формирования обучающей выборки в задачах машинного обучения", на киберленинке есть.

[Paragraph]

Кажется, что постановка задачи неполна. На каких данных будет работать классификатор? На фиксированном множестве известных пользователей? На новых пользователях? На их смеси?

В типовых постановках задач уникальный user id не должен использоваться для обучения. Например, для нового пользователя, user id которого создается в момент первого посещения (например, как хеш всех данных пользователя), знание всех предыдущих user id никак не помогает в предсказании.

Но, например, если user id одновременно является ip адресом, то его можно использовать для извлечения географического признака.

У jabra, см выше, другой пример, где user id оправдано использовать, но только вместе с timestamp, чтоб определить первое посещение.

[Mihaylo]

Задача вполне полна, если поставить себя на место того владельца сайта...