Формализация репрезентативности обучающей выборки

[manul91]

_hum_ в сообщении #1191643 писал(а):

в пропорции нельзя "делить на нуль".

Зато нуль на все делить можно, в чем проблема? Отношение м:ж как 0:1 : ))
А если серьезно, то разумеется деление на нуль тут непричем.
Нейронка обученная на выборке где отношение женщин к мужчин 10000:1 (не нуль), при тестировании на реальной совокупности у которой отношение женщин к мужчин 50:50 - будет иметь худшую итоговую узнаваемость в среднем, чем та же нейронка но обученная на репрезентативной выборке где отношение ж/м 50:50 (то же самое, как и у реальной совокупности).

_hum_ в сообщении #1191643 писал(а):

вы занимаетесь буквоедством. мне неважно, как это называется. назовите learning-representativeness, если вас цепляет использование того же термина.

В том то и дело, что тот же самый термин в вашем случае используется в своем стандартном значении (ваша "learning-representativeness" и обычная "representativeness" - на самом деле одно и то же). Не зная стандартное значение, вы просто додумали от себя не пойми чего.
Подразумевать под терминов то же самое что они и значат - не буквоедство, а обычный здравый разум.
А вот чтобы утверждать что используется такой же термин, но в отличном от стандартном значении - нужно иметь веские основания.

[mihaild]

manul91 в сообщении #1191616 писал(а):

выборка репрезентативна относно совокупности "всех людей на земле" если она выбрана случайным семплированием всех людей на земле

Это странное определение - получается, что репрезентативность выборки не является свойством собственно выборки.

manul91 в сообщении #1191655 писал(а):

Нейронка обученная на выборке где отношение женщин к мужчин 10000:1 (не нуль), при тестировании на реальной совокупности у которой отношение женщин к мужчин 50:50 - будет иметь худшую итоговую узнаваемость в среднем, чем та же нейронка но обученная на репрезентативной выборке

Не факт. В эту сторону скорее всего правда, а вот в обратную - искусственное смещение, чтобы классы стали близкими по размеру - может сделать сильно лучше.

-- 11.02.2017, 03:43 --

manul91 в сообщении #1191616 писал(а):

выборка репрезентативна относно совокупности "всех людей на земле" если она выбрана случайным семплированием всех людей на земле

Это странное определение - получается, что репрезентативность выборки не является свойством собственно выборки.

manul91 в сообщении #1191655 писал(а):

Нейронка обученная на выборке где отношение женщин к мужчин 10000:1 (не нуль), при тестировании на реальной совокупности у которой отношение женщин к мужчин 50:50 - будет иметь худшую итоговую узнаваемость в среднем, чем та же нейронка но обученная на репрезентативной выборке

Не факт. В эту сторону скорее всего правда, а вот в обратную - искусственное смещение, чтобы классы стали близкими по размеру - может сделать сильно лучше.

[manul91]

mihaild в сообщении #1191659 писал(а):

Это странное определение - получается, что репрезентативность выборки не является свойством собственно выборки.

Да, оно определяется методом выбора (а именно равновероятно-случайным), и не бывает "репрезентативность выборки вообще" - а только относно некоей четко заданной глобальной совокупности.
Например, если глобальная совокупность "население москвы" (10 миллионов) и у ней соотношение некоего признака скажем 50:50 - для репрезентативной выборки из них, размером 10000 (т.е. эти 10000 равновероятно-случайно выбраны из эти 10 миллиона) - можно например доказать, что с вероятностью 95% ошибка для соотношения того же признака в данной выборки не превышает 1% (по отношению 50:50 в глобальной совокупности) - т.е. с 95% вероятностью тот же признак в выборки будет в границ 50:50 до 51:49. Или например, можно доказать что с вероятностью 0.000001% ошибка в выборки для соотношения того же признака будет превышать 10% (т.е. будет 60:40 или более). И так далее.
Для нерепрезентативной выборки размером 10000 (выбранной НЕслучайно из этих 10 миллионов, или выбранной случайно, но из некоторых других 10 миллионов с неизвестным распределением признаков) - ничего формально доказать нельзя.
Нерепрезентативность относно данной общей совокупности - означает что выборка выбрана непонятно как (хотя возможно из той же совокупности) и/или что вообще выбрана из какой-то другой совокупности.
(числа примерны, взяты с потолка - не считал).
Уж такое определение репрезентативности.
(Я вполне допускаю и "разговорное" понятие репрезентативности - выборка репрезентативна относно общей совокупности только если "хорошо ее иммитирует", и наоборот если "нехорошо иммитирует", то нерепрезентативна - но стандартное определение репрезентативности этого не требует - наоборот, доказывается например что *репрезентативная* выборка определенного размера, с очень малой вероятностью может быть "сильно непохожей" на общей совокупности.)

mihaild в сообщении #1191659 писал(а):

Не факт. В эту сторону скорее всего правда, а вот в обратную - искусственное смещение, чтобы классы стали близкими по размеру - может сделать сильно лучше.

Не совсем понятно что вы имеете ввиду. Но все равно, чтобы такого говорить как минимум нужно четко определить (формализовать) что значит "сильно лучше".
Как мерять будем, что лучше и насколько?

manul91 в сообщении #1191616 писал(а):

Представьте себе что классификатор не бинарный, а должен распознавать например прописные буквы алфавита 30-ти букв (30 классов) в типично встречающихся текстах на русском языке.
По-вашему, искуственно подобранная обучающая выборка у которой 30 букв встречаются с одинаковой частотой - для цели распознавания текста будет лучше, чем естественная в которой буквы встречаются с той же частотой как и в тексте?

Что вы думаете насчет сказанного - и какие будут обоснования?

[mihaild]

manul91, понятно, что репрезентативность зависит от распределения, его считаем фиксированным.
Кажется очень странным говорить "репрезентативность выборки их распределения", понимая под выборкой мультимножество объектов, но при этом нельзя проверить, является ли выборка репрезентативной, глядя только на это мультимножество и распределение.
Откуда у вас такое определение? Я всегда видел только что-то вроде "репрезентативная выборка - выборка, в которой распределение близко к общему" - но внезапно не могу найти ни одного нормального источника, где вообще было бы определение репрезентативности. А то, о чем говорите вы, всегда называлось просто "выборкой из распределения" - и дальше уже можно смотреть, как связано распределение выборочных статистик с соответствующими статистиками распределения.

manul91 в сообщении #1191671 писал(а):

Как мерять будем, что лучше и насколько?

Фиксируем классификатор, фиксируем метод и параметры обучения, обучаем, сравниваем LogLoss или AUC, или любую другую стандартную метрику.

Стандартный пример хорошего смещения для выборки - hard negative. (тут конечно вопрос определений, считаем мы это изменением выборки или частью обучения)

manul91 в сообщении #1191671 писал(а):

Что вы думаете насчет сказанного - и какие будут обоснования?

Зависит от классификатора, от реального распределения и т.д. Просто "приписать всем буквам равную частоту" скорее всего сделает хуже, т.к. это какое-то случайное непонятно чем обоснованное искажение.

[manul91]

mihaild в сообщении #1191730 писал(а):

Кажется очень странным говорить "репрезентативность выборки их распределения", понимая под выборкой мультимножество объектов, но при этом нельзя проверить, является ли выборка репрезентативной, глядя только на это мультимножество и распределение.

Когда под репрезентативностью понимаем способ выборки из целевой совокупности (а именно - равновероятный), в этом ничего странного.
Именно для таких выборок, и можно доказывать статистические связи для любых признаков выборки с теми же в целевой совокупностью (известных и неизвестных).

mihaild в сообщении #1191730 писал(а):

Откуда у вас такое определение?

Не помню (самому лень искать), но у меня в голове со студенческих лет прочно засело определение "A representative sample is one which is drawn without bias from the population of interest."

mihaild в сообщении #1191730 писал(а):

Я всегда видел только что-то вроде "репрезентативная выборка - выборка, в которой распределение близко к общему" - но внезапно не могу найти ни одного нормального источника, где вообще было бы определение репрезентативности.

Популярна и такая интерпретация понятия в обиходном языке (наверное просто потому, что вероятность чтобы распределение representative sample отклонялось от общего - очень мала, и падает очень быстро с размером выборки - так что ее можно пренебречь для практических нужд).
Не знаю насколько "официально" мое определение, но во всяком случае оно логично.
Проблема в "популярном" понятии в том, что если выборка сделана искуственно - да, ее распределение можно подогнать только под распределение некоторых (известных параметров) в целевой совокупности - но для того что не подогнано, ничего доказать нельзя.
Например, целевая совокупность - "люди земли" - известно соотношение полов 50:50.
Вы искуственно делаете выборку в котором соотношение полов то же 50:50.
Можно ли ее назвать репрезентативной для "людей земли"?
Нет (если не только условно, только по этого признака распределения пола) - потому что про других признаков (напр. расовая принадлежность) ничего сказать нельзя про связи с общим распределением в целевой совокупности.
Ладно, берем искуственно выборку в которой соотношение полов 50:50, и соотношение рас тоже такое же как в целевой совокупности.
Ее опять нельзя назвать "репрезентативной" т.к. какой то третий признак может быть распределен не так (да и корреляция пола с расы может не совпадать). И так далее.
С другой стороны, для репрезентативной (unbiased - т.е. равновероятной) выборки - мы можем доказать что любые признаки и любые корреляции и т.д. - известные и неизвестные - будут близки к теми же в общей совокупности (с большой вероятностью клонящей очень быстро к 100%, при увеличивании размера выборки).
Это и ближе по смыслу к теме нашего обсуждения для машинного обучения - где в "чистом" случае, для предметной области ничего не известно (существует только обучающий "оракул" на базе ответов которого настраивается нейронка)

mihaild в сообщении #1191730 писал(а):

А то, о чем говорите вы, всегда называлось просто "выборкой из распределения" - и дальше уже можно смотреть, как связано распределение выборочных статистик с соответствующими статистиками распределения.

Просто "выборка из распределения" (без указания как именно сделана выборка) - может быть сделана как угодно - поэтому для связи статистикой ее признаков (вкл. неизвестных) со статистикой тех же признаков в распределении - можно "смотреть" (для известных признаков), но ничего формально доказать (для любых признаков! известных и неизвестных) нельзя.

mihaild в сообщении #1191730 писал(а):

Фиксируем классификатор, фиксируем метод и параметры обучения, обучаем, сравниваем LogLoss или AUC, или любую другую стандартную метрику.
Стандартный пример хорошего смещения для выборки - hard negative. (тут конечно вопрос определений, считаем мы это изменением выборки или частью обучения)

Это понятно, но тестировать-то (и вычислять ошибку) будем именно над целевой совокупности - верно?
В моем примере с текстом, тестировать распознавание и считать среднюю ошибку (по соответной методике) - будем именно над типичных русскоязычных текстов (где буквы встречаются с разной вероятностью) - а не например над некой совокупностью где "испитывающий" предлагает буквы равновероятно уже обученной нейронки?

mihaild в сообщении #1191730 писал(а):

Зависит от классификатора, от реального распределения и т.д. Просто "приписать всем буквам равную частоту" скорее всего сделает хуже, т.к. это какое-то случайное непонятно чем обоснованное искажение.

Вот вот, и я об этом (подчеркнул ключевое в вашей цитаты)
Я не отрицаю, что "подкручивая выборку" - результаты можно сделать лучше (и именно в строгом понимании выше).
Но это всегда подразумевает некоторую дополнительную информацию о предметной области (то самое, в чем вы "обвиняли" _hum_).

Пример в случае для распознавания букв - если имеются близкие по написанию буквы (типа "н" и "и") которые в определенном смысле очень близки в пространстве входных признаков ("трудноотличаемые") (и одна из них типа "и" встречается довольно часто) - то стоит увеличить их частоту в обучающей выборке (по отношению к "естественной" в русских текстов) - и это на самом деле уменьшит среднюю ошибку по сравнению с "естественном распределении".
Но это - уже закладывание дополнительного знания из предметной области в задаче обучения (а именно, знание как конкретно связаны входные признаки с определяемых классов).
Для задачи обучения классификатора "в чистом виде" - где о предметной области нам ничегошеньки неизвестно - лучшие результаты будут если мы подаем именно репрезентативную выборку (просто потому, что не на чего другого "опереться").

В примере с классификатора классов - связь входных признаков с классов наперед никак не известна (существует только "оракул" обучения) - поэтому единственное разумное/естественное предположение это что классы "равномерно размазаны по входных признаков" ("все буквы одинаково трудно отличимы друг от друга") - и тут мы не можем сделать ничего лучшего, кроме как подавать на вход репрезентативную выборку. Все другое как вы сказали - будет "необоснованным искажением".

[mihaild]

manul91 в сообщении #1191810 писал(а):

Просто "выборка из распределения" (без указания как именно сделана выборка)

Формально, когда мы говорим о выборке размера $n$ из распределения на $A$ - мы берем распределение на $A^n$, в котором каждая компонента распределена по нашему исходному распределению, и компоненты независимы в совокупности. И дальше можно уже изучать распределение всяких функций на $A^n$, и доказывать, что это при больших $n$ эти функции с большой вероятностью близки к чему-то.

Но это кажется спор об определениях. То, что вы формулируете как "статистики по репрезентативной выборке с большой вероятностью близки к статистикам распределения", я формулирую как "случайная выборка с большой вероятностью репрезентативна". Если работать на уровне вероятностных пространств (более низком по сравнению с понятием "выборки") - то у нас, кажется, разногласий нет.

manul91 в сообщении #1191810 писал(а):

Это понятно, но тестировать-то (и вычислять ошибку) будем именно над целевой совокупности - верно?

Ну не на обучающей же выборке тестироваться:)

manul91 в сообщении #1191810 писал(а):

и тут мы не можем сделать ничего лучшего, кроме как подавать на вход репрезентативную выборку

Тут вопрос в том, где у нас граница между подготовкой данных и методом обучения. Есть куча довольно универсальных алгоритмов, в которых мы в какой-то момент проводим обучение на тех примерах, на которых классификатор в настоящий момент работает плохо. Считать ли это искажением выборки?

manul91 в сообщении #1191810 писал(а):

поэтому единственное разумное/естественное предположение это что классы "равномерно размазаны по входных признаков"

Вот мы можем понять, что это, видимо, неправда, уже в процессе обучения - если, скажем, наш классификатор начнет делать ошибки в какую-то одну сторону сильно чаще, чем в какую-то другую.

[mserg]

Математический аппарат статистики предполагает выполнение некоторых условий. Например, метод максимального правдоподобия часто предполагает независимость исходных переменных. А это бывает по большим праздникам, и практическое использование математического аппарата происходит за рамками условий его применимости.

Отсюда следует, что используемые в классификации и других задачах Data Mining, математические модели стоятся, строго говоря, не на статистических предположениях. Да, «формулы» из статистики, но модели – не статистические. Статистическая терминология верна лишь условно, в том числе и термин «Репрезентативность».

Математические модели Data Mining стоятся по-другому. Например, так.
Дано: обучающие данные, проверочные данные, критерий точности описания данных.
Найти функцию f, которая зависит от обучающих данных и минимизирует критерий точности на проверочных данных. При этом не должно случаться утечки данных (data leakage) из проверочных данных. Другими словами, обучающие данные – это как бы прошлое, а проверочное – это как бы будущее, на котором проверяется модель. Информация из будущего не должна попасть в прошлое. Отсюда следует, что оценка точности модели зависит от правильности предположения относительно будущего.

Если все же требуется получить критерий «репрезентативности выборки», то более-менее понятно, как это можно сделать.
* Первое – раздобыть репозиторий задач (классификации). Это будет считаться выборкой (элемент выборки – это задача) из задач, которые бывают на практике.
* Для каждой задачи перепробовать различные алгоритмы, и лучшую точность для конкретной задачи считать характеристикой набора данных.
* После этого, придумать некоторые признаки, вычисляемые на наборе данных, которые, предположительно влияют на точность классификации. Вычислить для каждой задачи эти характеристики
* Построить регрессионную модель на признаках и лучшей точности
Вуаля – Вы получите некоторую характеристику, на входе: набор данных, на выходе число от 0 до 1, характеризующее «репрезентативность». Потом, в принципе, можно посмотреть, какие именно характеристики. И т.д.
Одной их характеристик, видимо будет дисбаланс:
https://www.analyticsvidhya.com/blog/20 ... -problems/

[manul91]

mihaild в сообщении #1191880 писал(а):

Формально, когда мы говорим о выборке размера $n$ из распределения на $A$ - мы берем распределение на $A^n$, в котором каждая компонента распределена по нашему исходному распределению, и компоненты независимы в совокупности.

Это (особенно "независимость компонентов в совокупности") подразумевает знание о предметной области наперед.
Далее под "просто выборкой" - я такого метода не подразумеваю - выборку можно делать самыми разными способами (вкл. способом указанном вами) - если не уточнено как она сделана - это просто некое подмножество из общей совокупности, выбранное непонятно как.

mihaild в сообщении #1191880 писал(а):

Тут вопрос в том, где у нас граница между подготовкой данных и методом обучения. Есть куча довольно универсальных алгоритмов, в которых мы в какой-то момент проводим обучение на тех примерах, на которых классификатор в настоящий момент работает плохо.

mihaild в сообщении #1191880 писал(а):

Вот мы можем понять, что это, видимо, неправда, уже в процессе обучения - если, скажем, наш классификатор начнет делать ошибки в какую-то одну сторону сильно чаще, чем в какую-то другую.

Все верно, но вопрос таким образом (выборка параллельно подстраивается под результаты обучения, в процессе обучения в зависимости от его результатов) - топикстартером вроде не ставился.
Он вроде, спрашивал про наводку для статистического распределения выборки наперед (прежде того, чем вообще начнется обучение, и будут известны его резулататы).

mihaild в сообщении #1191880 писал(а):

Считать ли это искажением выборки?

Ну, такую выборку можно назвать "оптимальной для обучения", "подстраиваемую под результатом обучения" или еще как-то еще - но я точно не назвал бы ее "репрезентативной" относно глобальной совокупности.
Если у нее распределение признаков совершенно другое нежели как у глобальной совокупности, и элементы выборки не выбираются из нее "without bias" (а biased на базе статистики результатов частичного обучения) - то какая тут репрезентативность? (такая выборка по-любому не будет репрезентативной - кроме если понятие термина "репрезентативности" не переопределить с точностью до наоборот).
Что войдет в такой "подстраиваемой выборки" и в какой пропорции - очевидно сильно зависит от выбора самих признаков как таковых (и их связей с классов), от алгоритма "подстройки", как и от деталей реализации самой нейронки - так что нельзя ожидать чтобы существовали какие-то формальные связи/зависимости ее статистики со статистикой глобальной совокупности в общем случае.

[mihaild]

manul91 в сообщении #1192481 писал(а):

Это (особенно "независимость компонентов в совокупности") подразумевает знание о предметной области наперед.

Тут написано, что если мы берем два объекта, то свойства одного и свойства другого независимы. Если это не так - у нас всё совсем плохо.

Вообще, "общая совокупность" - это пространство элементарных исходов. На которое без учета меры смотреть совсем неинтересно в любом случае.

manul91 в сообщении #1192481 писал(а):

выборка параллельно подстраивается под результаты обучения, в процессе обучения в зависимости от его результатов

Можно считать, что у нас такой хитрый механизм подбора выборки, включающий в себя обучение классификатора.
ТС, правда, видимо предлагал на этом этапе не подглядывать в целевую функцию...

manul91 в сообщении #1192481 писал(а):

Ну, такую выборку можно назвать "оптимальной для обучения", "подстраиваемую под результатом обучения" или еще как-то еще - но я точно не назвал бы ее "репрезентативной" относно глобальной совокупности

А я и не предлагал ее так называть. Это было к

manul91 в сообщении #1191810 писал(а):

и тут мы не можем сделать ничего лучшего, кроме как подавать на вход репрезентативную выборку

Но кажется вопрос, как менять выборку чтобы классификатор лучше обучался - это сильный оффтоп уже.

[manul91]

mihaild в сообщении #1192487 писал(а):

Тут написано, что если мы берем два объекта, то свойства одного и свойства другого независимы. Если это не так - у нас всё совсем плохо.Вообще, "общая совокупность" - это пространство элементарных исходов. На которое без учета меры смотреть совсем неинтересно в любом случае.

Как подобрать признаки которые все независимы друг от друга (не коррелируют статистически в общей совокупности)? Признаки которые мы можем подавать на вход, обычно всегда более менее скорелированы (обратное было бы редкой счастливой случайностью).
Или вы о чего-то другого - что понимаете под "компонентами"?
Дайте пример (на классификации/распознавания букв над типичных русских текстов) - "выборке размера $n$ из распределения на $A$ - мы берем распределение на $A^n$, в котором каждая компонента распределена по нашему исходному распределению, и компоненты независимы в совокупности" - как в конкретном примере реализовать чтобы "каждая компонента распределена по нашему исходному распределению, и компоненты независимы в совокупности"?

[mihaild]

manul91 в сообщении #1192490 писал(а):

Или вы о чего-то другого - что понимаете под "компонентами"?

$A$ - это уже всё пространство признаков целиком.
Например, в задаче о распознавании букв нам приносят $k$ картинок, каждая из которых является элементом $A = \mathbb{R}^n$ (для простоты).
Вся обучающая выборка - это элемент $A^k = (\mathbb{R}^n)^k$; обозначим это $(a_1, a_2, \ldots, a_k)$, где $a_i \in A$.
И мы хотим, чтобы все $a_i$ были независимы в совокупности.
Что при этом происходит с признаками внутри одного $a$ - неважно.

[manul91]

mihaild в сообщении #1192495 писал(а):

$A$ - это уже всё пространство признаков целиком.
Например, в задаче о распознавании букв нам приносят $k$ картинок, каждая из которых является элементом $A = \mathbb{R}^n$ (для простоты).
Вся обучающая выборка - это элемент $A^k = (\mathbb{R}^n)^k$; обозначим это $(a_1, a_2, \ldots, a_k)$, где $a_i \in A$.
И мы хотим, чтобы все $a_i$ были независимы в совокупности.
Что при этом происходит с признаками внутри одного $a$ - неважно.

А вы об этом.. Но что тут конкретно значит "все $a_i$ были независимы в совокупности" - порядок?
Например написание рукописных букв в типичных русских текстах - довольно зависимо от прежней буквы - поэтому для нейронки с обратной связью (памятью) - будут лучшие результаты если ее на вход подаются буквы последовательно именно так как встречаются в текстах (а не в случайном порядке, хотя и с той же самой частоты). Вы что-то такое имеете ввиду?

[mihaild]

manul91 в сообщении #1192499 писал(а):

Но что тут конкретно значит "все $a_i$ были независимы в совокупности" - порядок?

$a_i$ - это случайные величины на одном вероятностном пространстве, для таких величин определено понятие "независимы в совокупности" (а именно - порожденные ими сигма-алгебры независимы в совокупности, т.е. для любых $X_1, X_2, \ldots X_k \subset R^n$ события $a_i^{-1}(X_i)$ независимы в совокупности).

manul91 в сообщении #1192499 писал(а):

для нейронки с обратной связью

Для рекуррентной нейронки объектом обучающей выборки будет уже не отдельная буква, а последовательность.