Можно попробовать сделать так. Поскольку Вы предполагаете, что эксперты могут расставить категории правильно, то их мнение разумно учитывать для того, чтобы оценивать квалификацию других участников для оценки.
Допустим, в некоторый момент эксперты оценили некоторое количество участников. Их мнение при этом можно держать в секрете от остальных. Причем разумно не просто выбирать три лучших категории, а как-то указывать, какие категории могут быть в принципе приписаны данному участнику, а какие - не могут ни при каких условиях.
После этого система оценивает квалификацию других участников в оценках. Чем больше мнение участника совпадает с мнением эксперта, тем больший вес присваивает его мнению система. То есть она выбирает тех, кто судит так же, как эксперты.
Если я правильно понимаю суть того, что хочется сделать, то поясню на примере нашего форума. Вот у нас есть только одна категория - Заслуженный участник (не считая всяких там модераторов и администратов
). А допустим была бы более сложная система классификации: "дилетант", "альтернативщик", "трепач", "клоун", "шутник", "халявщик", "студент", "препод" ну и так далее. И оценивали бы участники таким образом друг друга. Возможно, что-то подобное и предполагается.
Наличие опорной точки в виде экспертов (оракулов) сильно упрощает ситуацию, так как дает возможность набирать обучающий материал. Если бы их не было, то, вероятно, действительно могло бы наблюдаться что-то похожее на группировку элит, создание кланов и т.д., когда группа участников могла бы хорошо организоваться и сделать себя чатланами, а прочих - пацаками. А так в общем-то больших проблем нет.
Если знать содержательный смысл категорий, то возможно получится сделать разумную систему классификации того, в какую сторону участники могут отличаться от экспертов. Например, если категории имеют очевидную "положительную" и "отрицательную" окраску, то могут быть "добрые обыватели", которые, условно говоря, склонны к завышенным оценкам, и "злыдни", склонные к занижению. Соответственно, если добрый обыватель ставит высокую оценку, то это не особо содержательно и вес этого голоса низкий. Ну а если даже добрый обыватель ставит низкую, то это либо очевидно низкая оценка, либо уже что-то вроде личной неприязни.
1. эксперты и смотреть по аналогии оценок с имеющимися экспертами оценок? ну возможно, конечно. но что-то мне подсказывает, что будет непоказательно.
как пример. возьмем 10 категорий. пусть нам нужны наборы 3 из 10. пусть эксперт выдает с достаточно большой вероятностью точно 2 из 10 обычно, но иногда бывают ошибки, условно 2.5 из 10 выдает.
то есть это ошибка уже 0.5/3 = 1/6. причем эта одна шестая попадает постоянно на одну из трех все время разную, а не именно 2 точно всегда угадывают, а вот с конкретной третьей не всегда.
еще более конкретно:
159, 248, 367, 127. эксперт с некоторой вероятностью может неугадать любую из трех цифр, и это не зависит от ее номера или на каком месте она стоит. тут можно навести связи, конечно, но это ЕЩЕ ТРУДНЕЕ будет. я боюсь даже говорить, как это все вазимосвязанно, ПОТОНЕМ
не знаю... по "аналогии с экспертами" методможно подключить, но нужно чем-то еще смотреть корреляцию, я думаю. но в целом как стартовый метод ранжирования важности оценок людей на основе шаблонно-идеального менения экспертов - это да, хороший подход, я думаю. просто если не равнение на экспертов, то вообще непонятно от чего отталкиваться...
2. про добрый и злой, и подобное - это не, такого не подразумевается
3. про ваш акцент на экспертности и вообще шкале обучаемости... цель системы и процесса не в этом, не в том, кто больше и лучше разбирается. это как побочный процесс, который бы гарантировал существование в системе достаточное кол-во экспертных оценок разной степени достоверности на общем фоне, и это все гарантировало устойчивость системы в плане что результаты оценок и уточнения этих результатов постоянно для каждого человека не будут БРЕДОМ. только для этого нужно, я думаю.
а цель системы сама такая, что
а) человек определяет себя в рамках системы самостоятельно или с помощью экспертов или других участников
б) получает понимание + возможность совершенствование этого понимания до нужной ему планки
в) а дальше это распределение людей, точнее их спектров, позволяет
1. наблюдать собственные изменения человеку и вообще за человеком
2. группировка людей согласно их спектрам
-- Чт окт 01, 2009 23:50:11 --Zexh, я просто представил себе ситуацию, когда людей очень много и речь идёт, скажем, об установлении некоторого оптимального соотношения начальников и исполнителей. Тогда судьба каждого отдельного представителя не важна. И ту дифура вполне даже сработают.
Если же для вас важно установить, насколько стабилен в различных условиях тот или иной набор характеристик участника, то это другое дело.
В общем, чего там гадать. Выкладывайте Вашу постановку задачи. Надеюсь, Вы не наш форум рассматриваете в качестве полигона для испытаний Вышего метода?
да
1. напишу более формализированно ситуацию в самом общем виде + конкретный пример
2. откровенно слабоват чисто в дифурах, хотя могу вспомнить что-то и освоить новое
3. этот форум?.. не представляю, как это возможно ,если честно.
4. ну и это не какая-то модель дискриминации и загоняния всех по полкам-классам, провести типа стратификацию жесткую и каждому что-то в зубы. еще раз говорю: именно я вижу в этом больше позитива, в плане что
а) будет СПЕКТР, который наоборот СГЛАЖИВАЕТ различия, а не ты тупой, я умный, ты красивый, а я нет - то есть не отдельные показатели
б) каждый класс - это не лучше, хуже, а равноценный класс, то есть дискриминации не предполагается
в) движение куда-то и самоопределение человека - это лично его желание, понимание и возможные цели.
поэтому все более чем позитивно я это вижу...
-- Чт окт 01, 2009 23:54:16 --Разбивать на разные темы не надо.
А вообще я не очень понял. Сначала, по идее, нужно задать точные правила функционирования системы. Я обсуждал только этот аспект, стараясь выбрать правила, которые бы решали некоторую целевую задачу. Затем уже, когда правила выбраны, можно попробовать промоделировать ситуацию, чтобы понять поведение системы. Но нужно ли Вам это? Для того, чтобы моделировать, Вам придется очень много разных допущений и предположений делать. Какая Ваша цель в конечном итоге?
так, поняно. я должен сам перейти к конкретике и описать это.
цель?
1) устойчивая система при определенных допустимых кол-вах входов и выходов участников из нее, что качество оценок (то есть самоопределения и определения других) не ухудшается
2) наблюдение за своими изменениями в системе
3) наблюдение вообще за людьми в этой системе, меняются они или ни на грамм, а только вокруг центров равновесия своих колеблются + краткосрочные выбросы нехарактерные в целом для них
