2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 15:29 
Заслуженный участник
Аватара пользователя


11/03/08
9967
Москва
Серьёзные математические ошибки NHTSA позволили Tesla заявить о безопасности автопилота
https://habr.com/ru/post/440774/

(Вкратце - заявлено о повышении безопасности при использовании автопилота на 40%, аккуратный пересчёт показал, что автопилот повышает аварийность на 59%)

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 16:16 
Аватара пользователя


24/01/19

265
Авария либо была, либо нет. Что значит "аккуратный пересчёт"?

-- 19.02.2019, 15:16 --

Авария либо была, либо нет. Что значит "аккуратный пересчёт"?

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 16:31 
Заслуженный участник
Аватара пользователя


11/03/08
9967
Москва
Читайте по ссылке.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 17:00 
Аватара пользователя


24/01/19

265
Евгений Машеров

(Оффтоп)

Если в комментарии нет ника юсера, то у него не горит индикатор "Упоминания". Я понял Ваше нежелание ткнуть мышью в мой ник как показное пренебрежение.
я не ставил ваш ник, потому что вы автор поста и вам интересен любой коммент.

По теме:
Налицо не что-то серьёзней "наглой лжи", а элементарная невнимательность исследователей.
Обоснование? Оно есть:
Цитата:
Судя по всему, NHTSA давно заметила свою ошибку, просто стеснялась в ней признаться. Ещё в мае прошлого года ведомство дистанцировалось от собственного отчёта, назвав его «беглым сравнением», которое «не оценивает эффективность технологии Autosteer».

Ну и не для читателей-аналитиков уже в заголовке говорится о мат. ошибках.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 19:22 
Заслуженный участник
Аватара пользователя


11/03/08
9967
Москва
Математическая ошибка, конечно. Поскольку математическая ошибка это не только и не столько ошибка в вычислениях, сколько ошибка в модели. Число аварий на километр пробега - характеристика разумная, но модель не учитывает того, что в части данных не указано, после какого пробега был установлен автопилот. Разрешить эту проблему можно было бы трояко:
1. Исключить такие наблюдения вообще.
2. Провести дополнительный сбор данных для таких машин.
3. Оценить неизвестный момент включения (а по нему пробег "до" и "после") на основе дополнительной косвенной информации.
Вместо этого данные, включавшие неизвестный параметр, рассматривались, как полные.
До этого места можно было бы списать на невнимательность или недостаток квалификации. Но то, что пробег по "неопределённым" машинам засчитан, как пробег с автопилотом (что увеличило знаменатель расчёта коэффициента аварийности при автопилоте), а аварии при этом засчитаны, как случившиеся без автопилота (то есть завышен числитель коэффициента аварийности без автопилота), и занижение первого с завышением второго дало благостную для "Теслы" картину. Когда же посчитали по варианту (1), используя только данные, в отношении которых нет сомнений, получили, что автопилот аварийность повышает. Это заставляет думать, что это названо "ошибкой" лишь в желании избежать встречного иска, а вообще выглядит, как проплаченная статистическая манипуляция.

-- 19 фев 2019, 19:24 --

podih в сообщении #1377117 писал(а):
Авария либо была, либо нет. Что значит "аккуратный пересчёт"?


Значит повторный расчёт с использованием данных, в которых нет сомнения, а также без произвольного разнесения неопределённых данных по категориям.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 20:23 
Аватара пользователя


24/01/19

265
Евгений Машеров в сообщении #1377166 писал(а):
Но то, что пробег по "неопределённым" машинам засчитан, как пробег с автопилотом (что увеличило знаменатель расчёта коэффициента аварийности при автопилоте), а аварии при этом засчитаны, как случившиеся без автопилота (то есть завышен числитель коэффициента аварийности без автопилота), и занижение первого с завышением второго дало благостную для "Теслы" картину.

Манипуляция данными наблюдается и у вас.
Во-первых, вы повторили тезис про "неизвестный параметр, рассматривались, как полные." уже как новые отягчающие обстоятельства.
Так и разграничили: "до этого места". - А потом просто раскрыли последствия первого тезиса.
Как судья бы в приговоре назвал подсудимого убийцей, а дальше написал бы: "кроме того, он убил человека".
Во-вторых, вы сказали, что аварии по ВСЕМ неопределённым машинам засчитаны как аварии без автопилота. В статье вы "не заметили" слов "18 ДТП", 20%, 43781 - всего, 29051 - неопределённые.
Да, слов "по ВСЕМ" вы не говорили. Они явно подразумеваются.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 20:30 
Заслуженный участник
Аватара пользователя


08/11/11
5940
Евгений Машеров, а Вы не могли бы добавить ссылки на оригинальные статьи и отчёты?

Просто тащить сюда с хабра, да ещё и ализаровщину, мне кажется, не очень хорошо, этот автор известен некачественными переводами без указания ссылок на источники.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 22:28 
Заслуженный участник
Аватара пользователя


01/09/13
4676
Евгений Машеров в сообщении #1377166 писал(а):
Провести дополнительный сбор данных для таких машин.

Смешно, что у Теслы этих данных "просто нет"...

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 22:36 


14/01/11
3062
g______d в сообщении #1377185 писал(а):
Евгений Машеров, а Вы не могли бы добавить ссылки на оригинальные статьи и отчёты?

В статье на хабре есть ссылка на отчёт, в первом же абзаце.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 22:40 
Заслуженный участник
Аватара пользователя


08/11/11
5940
Sender в сообщении #1377205 писал(а):
В статье на хабре есть ссылка на отчёт, в первом же абзаце.


Там ссылка на аннотацию, а не на отчёт.

http://quality-control.us/nhtsa_autopil ... laims.html

Впрочем, я не сразу догадался, что там можно кликнуть на картинку и получить pdf.

http://www.safetyresearch.net/Library/N ... _Claim.pdf

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 23:37 
Заслуженный участник


18/01/15
3237
Евгений Машеров в сообщении #1377166 писал(а):
аварии при этом засчитаны,

правильнее, конечно, было бы написать "аварии (или, по крайней мере, их часть) были засчитаны". Но эта небольшая погрешность изложения отнюдь не дает оснований для
podih в сообщении #1377184 писал(а):
Манипуляция данными наблюдается и у вас.

(Лично я, правда, из статьи так и не понял, те 18 аварий, что были засчитаны как происшедшие без автопилота --- это полное число аварий по "неопределенным" машинам, или нет. )
Вообще, описанное в статье выглядит, как жульничество под видом ошибки. Если что, я сужу чисто как математик, в машинах не разбираюсь.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение19.02.2019, 23:54 
Аватара пользователя


24/01/19

265
vpb в сообщении #1377215 писал(а):
Лично я, правда, из статьи так и не понял, те 18 аварий, что были засчитаны как происшедшие без автопилота --- это полное число аварий по "неопределенным" машинам, или нет. )

Цитата:
это более 20% из всех 86 аварий, которые произошли с автомобилями Tesla без функции Autosteer!

Неопределённых машин было $\frac{3}{4}$ среди всей выборки.
vpb в сообщении #1377215 писал(а):
выглядит, как жульничество под видом ошибки.

Цитата:
Мы не можем посчитать реальные данные по всей выборке, поскольку бóльшая часть данных повреждена

Вели на Access - и тут свет вырубили. Как там: не стоит предполагать умысел, где можно предположить глупость.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение20.02.2019, 00:03 
Заслуженный участник


18/01/15
3237
podih в сообщении #1377220 писал(а):
Как там: не стоит предполагать умысел, где можно предположить глупость.
Мне кажется, быть таким благопредполагающим при наличии большого денежного интереса --- наивно... В данной ситуации гипотеза 1 --- это жульничество, а 2 --- это свет вырубили.

 Профиль  
                  
 
 Re: Тесла или Статистика по Марку Твену.
Сообщение20.02.2019, 08:33 
Заслуженный участник
Аватара пользователя


11/03/08
9967
Москва
Причин, по которым данные неполны, может быть много, в том числе и случайные. А вот выбор способа их обработки закономерен. "Выключен свет" могло быть в момент сбора данных, что обусловило неполноту, то есть сама по себе неполнота ещё не преступление. А вот в ходе обработки, может, свет и выключался, но не всё же время? Сбойнуло - повторяем сначала.
То есть такой подход к обработке (повторю - есть варианты работы с неполными данными: отбрасывание неполных, добирание данных, оценка отсутствующих данных по коррелированным с ними косвенным признакам, но ни один из разумных подходов тут не просматривается, сделано произвольное разнесение - и в пользу одного из ответов) не может быть оправдан чисто техническими проблемами, это либо некомпетентность, либо "заказ". Как выражались Ильф и Петров - "головотяпство со взломом".
В пользу того, что это проплаченная манипуляция, говорит то, что на этот отчёт ссылались на пресс-конференциях по случаю аварий машин с автопилотом - "Это единичный случай, статистика доказывает...". Однако прямое обвинение может повлечь встречный иск, а доказать факт проплаты статистическим анализом не получится, поэтому сообщают лишь о том, что неоспоримо - указанные результаты получены заведомо ошибочной обработкой, обработка тех данных, в которых сомнения нет, даёт противоположный результат, при этом объявленный результат крайне выгоден одной стороне, а противоположный может вызвать её крах. А далее - либо чудом находятся полные данные, подтверждающие декларированный результат (ой... сумнительно...), либо в агентстве проводят внутреннее расследование и дезавуируют отчёт (ну и раздача слонов авторам).
ЗЫ
Хотел дать ссылку на полный текст, но выше уже указали.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 14 ] 

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group