Если все студенты станут учиться на отлично

[Pphantom]

Munin в сообщении #1375225 писал(а):

А на каком основании вы сделали такой вывод?

Я знаю, где и кем каждый из нас работал/работает.

Ruslan_Sharipov в сообщении #1375265 писал(а):

Стремление создать экзаменатора в виде облачной нейросети можно рассматривать в виде дорожной карты (модный термин сейчас).

Извините, а можно обойтись без речекряка? Roadmap переводится на русский язык как "план".

Ruslan_Sharipov в сообщении #1375265 писал(а):

Полагаю мы все несколько заниженно оцениваем здесь наши возможности. Если подобная задача будет поставлена перед мощными IT компаниями, типа Яндекса, в форме госзаказа, она может быть решена уже сейчас.

Видите ли, эта идея многим приходила в голову (и не только в России), ее даже реализовывать пытались, поэтому известно, что получилось.

Собственно, реализацию пока можно оставить в стороне. Давайте начнем с "более простого" вопроса - техзадания. Выберите какой-нибудь школьный предмет по вкусу (можно даже отдельный его раздел) и напишите, что именно вы хотите проверять на экзамене. Только не "знание ... " (или, упаси боже, "компетенции ..."), а конкретно, вместе с критериями оценок (хотя бы в форме "зачет/незачет"). Наверное, лучше взять что-то профильное для форума, физико-математическое, хотя меня лично устроят и другие естественные науки.

А то вы пока концентрируетесь на тривиальных вопросах, вроде идентификации экзаменуемых, а проблема зарыта совсем не там.

[iliaborisov]

Red_Herring
вопрос Вам несколько не в тему. (но та что ближе по смыслу закрыта). Насколько я помню Вы преподаете в Канадском университете.

"Бороздя просторы интернета" интересуюсь разными вопросами зарубежной жизни, в том числе системой образования, черпая информацию из эмигрантских форумов
Пишут что в ряде стран, по кр мере в Англии и США , университеты требуют от абитуриентов толи какое то резюме, толи собственную презентацию, которая проходит возможно в форме собеседования.
И нередко бывают случаи - когда предпочитают человека с более низкими оценками, но с понравившимся резюме, где он вроде как более убедительно доказывает,что действительно достоин учиться в этом университете.

Конечно глупо критиковать эту вроде бы очень субъективную систему принятия решения - думаю что они знают что делают, т.к. проверено временем.

И тем не менее по вашему мнению - насколько это действительно оказывается нужным учитывать при приеме этот фактор ,по которому приемная комиссия оценивает данного абитуриента быть достойным к зачислению, что и как они оценивают в этом "резюме" и почему это может быть важнее оценок?

[Red_Herring]

iliaborisov У вас совершенно фантастическое "понимание" того, как устроена "заграница". Англия это одно (и я не знаю практически ничего о наборах), Канада--другое, а США это уже третье. Кроме того, в Канаде образование--ответственность провинций, и правила могут различаться (и даже между университетами одной провинции). В США куча частных университетов и колледжей, и там разнобой огромен. Отбором на undergrad занимается Admission & Awards Office, и по моему мнению, в подавляющем большинстве случаев они нечто среднее между Public Enemy #1 и Lunatic Asylum.

Почему резюме иногда должно перевешивать оценки (и это, увы, не так в моем университете)? Мой ответ относится к провинции Онтарио. Ну если в резюме медаль на IMO, то она должна стоит для абитуриента, желающего заниматься не просто "наукой", а конкретно математикой или физикой неизмеримо больше, чем оценка, поставленная школьным преподавателем математики, который в 99 случаях из 100 просто не имеет квалификации чтобы оценить студента такого уровня или учить его, или вообще учителя английского или немецкого. При этом решение в руках какого-нибудь Bachelor или Master of (f)Arts (которыми набит этот офис), а он/а может прислушаться, а могут и нет к мнению Dept of Math (в лице Undergraduate Chair).

[Atmosfera]

Red_Herring, может ли каким-то образом профессура повлиять на набор, скажем придти в офис стукнуть кулаком по столу и сказать, что этот олимпиадник мне нужен?

[Red_Herring]

Atmosfera в сообщении #1375342 писал(а):

Red_Herring, может ли каким-то образом профессура повлиять на набор, скажем придти в офис стукнуть кулаком по столу и сказать, что этот олимпиадник мне нужен?

Придти и стукнуть--может, но эффект в лучшем случае будет нулевой.

[Korvin]

Red_Herring в сообщении #1375343 писал(а):

Придти и стукнуть--может, но эффект в лучшем случае будет нулевой.

Это универсальный паттерн. Когда после 1-го образования я вздумал выучить англ. язык профессионально, подал документы в пед на иняз. Не взяли, впереди стояли девочки которых мамы загодя еще в школе записали нянечками в детсады - у них типа склонность к педагогике. Завкафедрой, которому я сдавал вступительный, пошел в заочный деканат и именно так и сделал - пошел и стукнул (в буквальном, не переносном). На что получил ответ заочной проректорши что нам (это в смысле Стране) не нужны электрики со знанием английского языка.
С зав.каф. после этого встретился в коридоре, он посоветовал идти в школу и отработать год преп. труда. Я подумал и год преподавал физику, совмещая с заводом. После чего поступил в другой иняз и за 3 года закончил.

[Ruslan_Sharipov]

Pphantom в сообщении #1375303 писал(а):

Выберите какой-нибудь школьный предмет по вкусу (можно даже отдельный его раздел) и напишите, что именно вы хотите проверять на экзамене.

Выбираем школьный предмет Алгебра скажем за 9 класс. Берём несколько рекомендованных учебников и задачников по данному предмету за 9 класс и ниже. Выбираем название какого-то параграфа из учебника за 9 класс и даём его ученику как тему для раскрытия (если это устный экзамен). Анализируем полноту раскрытия. Для того, чтобы это сделал компьютер, в нём должна быть сформирована карта смыслов. Это граф, состоящий из понятий и связок между ними. Например, понятие уравнение. Оно связано с понятиями формула, переменная, знак равно. Далее через эти понятия со следующими понятиями значение (переменной, формулы), число, равенство (значений, чисел). Кроме того у понятий будут атрибуты, которые дадут дополнительные связи с другими понятиями. Например, у понятия уравнение будут атрибуты линейное, алгебраическое, в радикалах, логарифмическое, тригонометрическое.

Связь между понятиями ученик излагает словесно, речевыми оборотами (речевыми формами). Для их понимания у компьютера должен формироваться словарь речевых форм. Это нечто большее чем словарь слов языкаа. Но объёмы облачных средств хранения информации на сегодня достаточны для формирования подобного словаря речевых форм.

Устный экзамен - это беседа. Параграф в учебнике - это монолог автора учебника. Но там и там есть набор понятий и озвученных связей между ними В беседе компьютер выделяет понятия в речи ученика и сравнивает их с понятиями в параграфе из учебника. Затем находит связи между понятиями, озвученные учеником со связями в учебнике. Совпадение повышает оценку ученика, несовпадение или отсутствие - понижает. Переходы по связям между понятиями на другие параграфы учебника допускаются, но сравниваются с наличием/отсутствием таких переходов в учебнике и оцениваются.

Привязка к конкретным учебникам нужна на время пока сама облачная нейросеть учится. Впоследствии в ней формируется список тем (сюжетов), составляющих объём знаний по Алгебре за 9 класс (и за 8 класс и за 7 класс и за другие).

[Pphantom]

Ruslan_Sharipov в сообщении #1375364 писал(а):

Выбираем школьный предмет Алгебра скажем за 9 класс. Берём несколько рекомендованных учебников и задачников по данному предмету за 9 класс и ниже. Выбираем название какого-то параграфа из учебника за 9 класс и даём его ученику как тему для раскрытия (если это устный экзамен). Анализируем полноту раскрытия. Для того, чтобы это сделал компьютер, в нём должна быть сформирована карта смыслов. Это граф, состоящий из понятий и связок между ними. Например, понятие уравнение. Оно связано с понятиями формула, переменная, знак равно. Далее через эти понятия со следующими понятиями значение (переменной, формулы), число, равенство (значений, чисел). Кроме того у понятий будут атрибуты, которые дадут дополнительные связи с другими понятиями. Например, у понятия уравнение будут атрибуты линейное, алгебраическое, в радикалах, логарифмическое, тригонометрическое.

Простите, но это все полная ерунда, которая никоим образом не характеризует знания и возможности ученика в нужной нам области. Вы тем самым проверите способность ученика воспроизвести содержание нужного параграфа учебника (т.е. его память и отчасти умение говорить).

[Red_Herring]

Korvin в сообщении #1375358 писал(а):

Это универсальный паттерн.

Не совсем: у нас объясняют это "integrity of the system". Более того, я не могу решать, кто конкретно возьмет мой класс, а кто нет.

Ну, в какой-то мере могу: если студент Бол Ван получает финальную оценку за мой класс ОДУ 44 балла (F), то из соображений гнилого гуманизма я ему поставлю 50 (D-). Но если он обмолвится до этого, что он еще собирается взять УЧП, или поступать в аспирантуру по математике, то "Нафиг! Умерла так умерла!" Ни себе, ни коллеге я такой пакости не устрою.

[Munin]

Pphantom в сообщении #1375303 писал(а):

Я знаю, где и кем каждый из нас работал/работает.

Окей. Но ваши собеседники - не знают. Так что вашему выводу вынуждены не доверять. Извините, пока так это выглядит.

И по содержанию вы высказались слишком общо и обтекаемо.

-- 11.02.2019 18:20:24 --

Ruslan_Sharipov в сообщении #1375364 писал(а):

Выбираем школьный предмет Алгебра скажем за 9 класс. Берём несколько рекомендованных учебников и задачников по данному предмету за 9 класс и ниже. Выбираем название какого-то параграфа из учебника за 9 класс и даём его ученику как тему для раскрытия (если это устный экзамен). Анализируем полноту раскрытия. Для того, чтобы это сделал компьютер, в нём должна быть сформирована карта смыслов. Это граф, состоящий из понятий и связок между ними. Например, понятие уравнение. Оно связано с понятиями формула, переменная, знак равно. Далее через эти понятия со следующими понятиями значение (переменной, формулы), число, равенство (значений, чисел). Кроме того у понятий будут атрибуты, которые дадут дополнительные связи с другими понятиями. Например, у понятия уравнение будут атрибуты линейное, алгебраическое, в радикалах, логарифмическое, тригонометрическое.

Вот приходит ученик, и произносит буквально следующее:

"Уравнение состоит из формул, переменных и знака равно. Всё это связано со значением, числом, равенством. Уравнение бывает линейное, алгебраическое, в радикалах, логарифмическое, тригонометрическое."

По вашему подходу, тема раскрыта, и заслуживает оценки 5 (100 %).
По мнению любого нормального экзаменатора...

[Ruslan_Sharipov]

Pphantom в сообщении #1375366 писал(а):

Простите, но это все полная ерунда, которая никоим образом не характеризует знания и возможности ученика в нужной нам области.

Знания - да. Возможности - нет. Возможности, если они ещё не реализованы, не раскроет никакой экзаменатор.

Pphantom в сообщении #1375366 писал(а):

Вы тем самым проверите способность ученика воспроизвести содержание нужного параграфа учебника (т.е. его память и отчасти умение говорить).

Про учебник я сказал, что он на время, пока сама облачная нейросеть учится. Далее в ней сформируется интегрированное по многим учебникам понимание того, что надо в идеале излагать по той или иной теме школьной программы. Знание и есть структурированная память. Умение говорить не будет сильно влиять на оценку, если словарь речевых форм в облачном экзаменаторе будет достаточно богат, будет распознавать различные акценты, грамматические неправильности, не влияющие на смысл, вольности с использованием уличной лексики или специальной лексики (геймерской, хакерской, из соц. сетей, фильмов).

Если Вы возражаете, пожалуйста, изложите (разложив на компоненты) то, как Вы, человек, станете оценивать ответ ученика скажем на тему корни квадратного уравнения.

[Pphantom]

Munin в сообщении #1375370 писал(а):

Окей. Но ваши собеседники - не знают. Так что вашему выводу вынуждены не доверять. Извините, пока так это выглядит.

Вообще говоря, да, но я и не стремлюсь кого-то обязательно убедить. Однако вот этот вопрос данное соображение не снимает:

Pphantom в сообщении #1375222 писал(а):

Осталось пояснить, откуда это знает А.Иванов.

Мне пояснять не обязательно, можете попробовать ответить на этот вопрос сами себе.

Ruslan_Sharipov в сообщении #1375375 писал(а):

Знания - да.

Munin выше привел отличный пример, только очень мягкий. Может получиться и хуже: "Понятийная сущность уравнение включает в себя переменные формулы знаков равенства...".

Ruslan_Sharipov в сообщении #1375375 писал(а):

Если Вы возражаете, пожалуйста, изложите (разложив на компоненты) то, как Вы, человек, станете оценивать ответ ученика скажем на тему корни квадратного уравнения.

Ха. Вы доказываете, что некоторую формальную процедуру построить можно, вам объясняют, что это не так и предлагают построить хотя бы одну для примера, а вы в ответ пытаетесь стрясти искомую формализацию с оппонентов.

[mihaild]

Ruslan_Sharipov в сообщении #1375375 писал(а):

пока сама облачная нейросеть учится.

А на что вы ее учить собираетесь, кстати?

Pphantom в сообщении #1375376 писал(а):

Ха. Вы доказываете, что некоторую формальную процедуру построить можно, вам объясняют, что это не так и предлагают построить хотя бы одну для примера, а вы в ответ пытаетесь стрясти искомую формализацию с оппонентов.

А кстати пример, как мог бы проходить диалог при ответе школьника по этой теме, вы привести можете?
(я подумал 5 минут и не придумал, что интересного можно там спросить; впрочем, в школе я никогда ничего не преподавал, так что и привычки как задавать вопросы такого объема тоже нет)

[Pphantom]

mihaild в сообщении #1375377 писал(а):

А кстати пример, как мог бы проходить диалог при ответе школьника по этой теме, вы привести можете?

Тяжело. В любом случае надо сначала послушать, что он скажет, а потом уже задавать вопросы (и возможных вариантов развития беседы даже для такой простой темы получится очень много).

[Ruslan_Sharipov]

Munin в сообщении #1375370 писал(а):

Вот приходит ученик, и произносит буквально следующее:
"Уравнение состоит из формул, переменных и знака равно. Всё это связано со значением, числом, равенством. Уравнение бывает линейное, алгебраическое, в радикалах, логарифмическое, тригонометрическое." По вашему подходу, тема раскрыта, и заслуживает оценки 5 (100 %).

ОК. Тема уравнение. Анализируем ответ. Уравнение состоит из формул. Такая связь между понятиями есть. Но не указан атрибут - количество формул в уравнении. Правильный ответ был бы Уравнение состоит из двух формул, между которыми ставится знак равно. Понижаем оценку и задаём уточняющий вопрос. При правильном ответе повышаем оценку обратно.

Анализируем ответ дальше. Уравнение состоит из переменных. Такая связь есть, но непрямая, уравнение связано с переменными через формулу. Формула связана с переменными через знаки функций и алгебраических операций. Понижаем оценку и задаём уточняющие вопросы. При правильных ответах повышаем оценку обратно. Глубина рекурсии уточняющих вопросов зависит от ресурса времени, отведённого на экзамен. Это как при анализе ходов в шахматной партии.

Анализируем ответ дальше. Уравнение имеет атрибут решение. Связь не раскрыта. Понижаем оценку и задаём уточняющие вопросы, если позволяет ресурс времени.

Для оптимального распределения ресурса времени облачная сеть сначала анализирует ответ без уточняющих вопросов, намечает уточняющие вопросы, оценивает их значимость и задаёт только значимые из них.