Какую выбрать модель и методы рассчета?

[Zexh]

Какую выбрать модель и методы рассчета?
Есть такой вопрос по некоторой приблизительной модели. Хотелось бы или сразу мнение результативное, либо к каким методам это можно отнести, чтобы поточнее рассчитать, либо что-то еще.

1) Пусть в самом начале есть сообщество с N человек, кол-во людей растет.
2) Каждый человек должен иметь категорию (одну или до трех) из набора состоящего из 10. (более сложный вариант, когда 3 категории, но текущая активная одна из трех у человека)
3) Принадлежность к категориям для определяется через какой-то, к примеру тест или экспертным путем.
4) Дальше путем постоянных оценок действий данного человека по шкале из 10 категорий, ему другие люди изменяют текущий набор категорий.
5) В итоге происходит постоянное движение спектра из категорий для данного человека.
6) Нужно учесть тот фактор, что оценивают сами участники друг друга регулярно и в неограниченных кол-вах, но они могут быть НЕПРАВЫ, то есть субъективное понимание.
7) Будут также введен вес в оценке и разные статусы (эксперт, понимающий, ..., обыватель), чтобы не каждая оценка давала одинаковый результат.
8) Кто-то приходит в сообщество, кто-то уходит, кто-то становится постепенно более понимающим и дающим компетентные оценки. Пока распределение разных статусов людей в плане экспертности непонятно.

Дополнение: в целом набор для каждого человека более-менее фиксирован, но могут быть разовые всплески из других категорий у любого человека.
Цель: получить в идеале некоторую сходимость набора (пусть 3 из 10) для каждого человека, который бы мигрировал несильно, но если имзенения и происходят, то это не было бы шумом или результатом некомпетентных оценок.
Вопрос: возможно ли на основе начального достаточно профессионального теста + возможно небольшом участии начальном экспертов (невозможно всех зарегистрировавших тестировать глубоко) + (ГЛАВНОЕ) дальнейшей оценке постоянной друг друга участников сообщества, получить адекватные наборы для каждого человека таким образом, что если проверить набор любого человекоа экспертом, то мнения не будут сильно отличаться.
А также условия такой сходимости бы желательно рассчитать как-то: сколько минимально человек; какой состав должен быть в % отношении экспертов, пониманию, обывателей; какая должна быть динамика новичков, чтобы не нарушать общего состояния системы в плане оценок и так далее.
Понятно, что тут итерационные какие-то методы, но если с точки зрения детализации, то какая модель и наборы конкретных методов тут можно применить?
Да и решаема ли вообще задача такая? А то типа ввяжемся в бой, а там что будет, не хотелось бы. А вдруг вообще сходимости нет, затевать не стоит. Лучше прикинуть необходимые условия для нее сначала.

Заранее спасибо за возможную дискуссию. Конкретизировать что-то готов прям тут.

[gris]

Необходимо дополнительно рассматривать вопросы заинтересованности участников в своём статусе, возможности принудительного или покупного получения нужных оценок, возможность создания группировок, наличие контроля "старшего брата" и т.п.
Задача интересная, но не думаю, что формализуемая без сведения её к модели, не имеющей ничего общего с реальной жизнью.

[Zexh]

gris в сообщении #248125 писал(а):

Необходимо дополнительно рассматривать вопросы заинтересованности участников в своём статусе, возможности принудительного или покупного получения нужных оценок, возможность создания группировок, наличие контроля "старшего брата" и т.п.
Задача интересная, но не думаю, что формализуемая без сведения её к модели, не имеющей ничего общего с реальной жизнью.

первый абзац ваш - это да, отдельный аспект. но так как оценки не будут означать СТАТУС, а лишь многообразие равноценных классов, то этого можно будет избежать.

сведение к реальной жизни? ну так я и пытаюсь найти аналогии, чтобы почитать где-то, что-то хотя бы частями похожее найти.

[gris]

Это ближе к психологии коллектива, чем к теории экспертного оценивания. Психологи написали кучу работ по этой теме. Но там гораздо больше обычной статистики, чем моделирования.

-- Чт окт 01, 2009 18:41:44 --

Попробуйте для начала представить себе конкретную ситуацию и подробно расписать методику оценивания, присвоения категорий и т.д.

[Zexh]

gris в сообщении #248134 писал(а):

Это ближе к психологии коллектива, чем к теории экспертного оценивания. Психологи написали кучу работ по этой теме. Но там гораздо больше обычной статистики, чем моделирования.

-- Чт окт 01, 2009 18:41:44 --

Попробуйте для начала представить себе конкретную ситуацию и подробно расписать методику оценивания, присвоения категорий и т.д.

система имеется, разработана. все нормально. эксперт или группа экспертов с очень большой вероятностью оценят одного человека ЕДИНСТВЕННО ПРАВИЛЬНЫМ набором. в этом проблем нет.

[gris]

Так оценивают внешние эксперты или сами участники форума коллектива будут оценивать друг друга?

[Maslov]

А каким образом эксперты строят свои оценки? Есть какая-нибудь формальная процедура или по результатам личного неформального общения?

[Zexh]

gris в сообщении #248147 писал(а):

Так оценивают внешние эксперты или сами участники форума коллектива будут оценивать друг друга?

100% оценка тестами или экспертами невозможна в силу ресурсных ограничений.
на начальном этапе экспертов можно набрать и оценок более-менее адекватных нагнать.
дальше % оценок экспертами будет падать и точечно проводиться, возможно, где не будет хватать данных в целом по системе + что-то в штатном режиме, но все равно предполагается мизерный %.

но так как в самом сообществе % понимающих растет, то и они постепенно уже оценивают лучше и лучше (хотя бы какой-то % людей такой будет), и сами становятся экспертами. в целом остальные тоже хоть чуть, но в курсе, то есть совсем РАНДОМНЫХ оценок не будет, но на качество уповать от всех не придется.

не знаю, пусть через год: 1% оценок эксперты проверенные, 5% понимающие хорошо, 10% более-менее, 84% разные остальные, но не рандом.

я не знаю, какая будет раскладка и какую нужно достигать, чтобы достичь качества самоподдерживающегося. вот и хочу оценить и этот фактор тоже.

-- Чт окт 01, 2009 19:07:58 --

Maslov в сообщении #248148 писал(а):

А каким образом эксперты строят свои оценки? Есть какая-нибудь формальная процедура или по результатам личного неформального общения?

будем говорить о том, что группа экспертов из X человек может однозначно определить у любого человека набор M из N классов у любого человека, ну или M-1 из N однозначно.

но человек может меняться или выдать ситуативно что-то не совсем себе свойственное, поэтому дальнейшее уточнее необходимо. но в целом эксперты могут дать точную оценку +/-

[gris]

Тогда вопрос в мотивации. Имеется ли цель у коллектива увеличить количество собственных экспертов? Есть ли мотивация у каждого участника самому стать экспертом и способствовать тому, чтобы экспертами становились достойные? Есть мотивация у эксперта обучать других? Насколько сложно новичку овладеть методикой оценки, или это чисто формальная процедура?

[Maslov]

Без каких-либо намеков на предметную область довольно сложно что-нибудь советовать.
А Вы не пробовали имитационную модель всей этой системы построить?

[Zexh]

gris в сообщении #248155 писал(а):

Тогда вопрос в мотивации. Имеется ли цель у коллектива увеличить количество собственных экспертов? Есть ли мотивация у каждого участника самому стать экспертом и способствовать тому, чтобы экспертами становились достойные? Есть мотивация у эксперта обучать других? Насколько сложно новичку овладеть методикой оценки, или это чисто формальная процедура?

хм. ну вообще вопрос мотивации хоть и имеет тут место быть, но если модель говорит о том, что должно быть столько и только, такие процессы и в таких рамках, тогда будем иметь то и то, то можно и замотивировать.

понимаете, не в этом сейчас дело. не понятно именно как вот эту модель получить с параметрами для того чтобы погонять в разных условиях итерационных ее.

а если получить уже хорошие варианты после прогонки, то кого надо замотивировать и сколько - это решаемо.

[Maslov]

gris в сообщении #248155 писал(а):

Есть ли мотивация у каждого участника самому стать экспертом и способствовать тому, чтобы экспертами становились достойные?

+1
Есть такая штука, "теория элит" называется. Если элита пополняет себя сама, то ей свойственна тенденция к вырождению.

[Zexh]

Maslov в сообщении #248156 писал(а):

Без каких-либо намеков на предметную область довольно сложно что-нибудь советовать.
А Вы не пробовали имитационную модель всей этой системы построить?

именно хочу это и сделать, если честно.
но последний раз касался математики более-менее плотно в вузе лет 10 назад, да и современный весь софт для моделирования уже давно не трогал. но могу и хочу оживить свои знания и понимания + разберусь с софтом и прочим.

не понимаю с чего начать строить, чего-то ступор, шаг 0 ищу
ну хотя бы конкретно:
1) какой софт
2) какой тип или семейство моделей под это подойдут + я почитаю теорию про это (вспомню или изучу, если раньше именно с этим не сталкивался)
3) какие методы для динамики (понятно, что итерационные какие-то)

один не потяну все, конечно. но для начала нужно двинуться самому, я считаю.

[gris]

Долгосрочный самоуправляемый коллектив строителей. Группа изучения иностранного языка.

[Zexh]

Maslov в сообщении #248159 писал(а):

gris в сообщении #248155 писал(а):

Есть ли мотивация у каждого участника самому стать экспертом и способствовать тому, чтобы экспертами становились достойные?

+1
Есть такая штука, "теория элит" называется. Если элита пополняет себя сама, то ей свойственна тенденция к вырождению.

читал кратко, но в рамках философии.
матмодели как-то к этому привязывали? если да, то можно попробовать поискать...

-- Чт окт 01, 2009 19:26:33 --

gris в сообщении #248162 писал(а):

Долгосрочный самоуправляемый коллектив строителей. Группа изучения иностранного языка.

где-то можно ознакомиться с математическими оценками этих процессов, или на интуитивном уровне все это производится?