Это же бубль гум! (это неинтересно - мозгъ напрягает)

Глазенап©

Глазенап©

Гуру

Сообщения : 26090
Репутация : 776
Дата регистрации : 2015-02-02
Возраст : 64
Откуда : Анк-Морпорк

Во как! Кто-то такм заглянул сюда, вопреки предупреждениям в заголовке.... Ну тогда вот вам.

Сегодня мы поговорим о том, что к статистическим данным, получаемым из любых источников следует относиться очень аккуратно.

Одним из таких явлений, сильно влияющих на восприятие информации является парадокс Симпсона, тем паче что он так часто встречается при убеждении нас путем статистических данных, что уже мозги прокомпостировал. А чему нас учили когда-то - мы уже и позабыли нах, захлестнуло потоком ~~говнища~~ информации

Итак, разберемся, в чём он заключается. Поехали!

Дядька Эдик Симпсон-сан. Сам6ля. Собственной персоной, мля.

Похожие статистические явления были впервые описаны Карлом Пирсоном и Удни Юлом в 1903 год в исследованиях по изменчивости пород лошадей. Однако в технической литературе первым парадокс описал как раз Эдвард Х. Симпсон

Суть парадокса заключается в том, что когда приводятся проценты для нескольких групп, каждая из которых разбита на подгруппы, кажется что налицо определенная зависимость.

Однако, в действительности всё может быть не так: причинно-следственная интерпретация данных может не иметь ничего общего с действительностью!

Давайте на простом примере. Пусть известно следующее распределение рабочих мест/кандидатов/принятых на работу в некой организации:

Мир математики- 13. Изд. Deagostini

Посмотрев итоговые данные, и [привычно] не анализируя остальные, казалось бы, можно сделать вывод о том, что женщины дискриминируются при приеме на работу, ведь из 355 мужчин работу получили 53,5%, а их 325 женщин - всего 18,5 %.

Однако, оценив полную картину, мы получим прямо противоположные выводы: в службе монтажа получило место значительно больше мужчин, чем женщин по объективным причинам.

В остальных группах же, наоборот, соотношение в пользу женщин: их в процентном соотношении принято на работу даже больше!

Таким образом, одна из подгрупп (самая массивная) потянула за собой всю статистику, на основании чего можно сделать ложный вывод!

Геометрический пример, описанного выше парадокса Симпсона: есть две положительные тенденции для разных подгрупп. Однако, если мы объединим данные, то получим тенденцию уже негативную (пунктирная линия).

Еще более интригующим может быть такое проявление парадокса в жизни. Пусть у нас имеются данные о зависимости количества часов физических упражнений в неделю от риска развития заболевания, при мы разбили выборку на две подгруппы: старше и младше 50 лет:

Слева - меньше 50 лет: чем больше часов упражнений, тем меньше риск заболевания. На правом графике ситуация аналогичная.

А теперь мы объединим графики и чисто визуально столкнемся с противоположной тенденцией:

Оказывается на совокупности, физические упражнения уже приводят к повышенному риску данного заболевания!

~~Чезаxyйня~~ Что же происходит?

Здесь нужно немного включить интуицию и найти настоящую причинно-следственную связь, которая лежит на поверхности: риск заболевания очень сильно зависит от возраста:

Очень сильная зависимость именно от возраста "перевешивает" положительный тренд, который задают физические упражнения. Особенно наглядно можно описать этот факт на простой векторной диаграмме:

На рисунке синим цветом представлены зависимости из одной подгруппы, оранжевой - из другой. B2 растет быстрее, чем L2 (наклон меньше), B1 растет быстрее, чем L1, однако векторная сумма говорит о том, что L1+L2 растёт быстрее!

К чему всё это? А к тому, что нужно семь раз подумать, прежде чем объединять какие-то данные вместе, выдавая, казалось бы, полную статистику.

Нужно находить именно причинно-следственные связи и на их основе выделять фактор-группы, для которых статистика будет на самом деле отражать текущие тренды.

С другой стороны уже нужно хладнокровно разделять большие статистические отчеты, выявляя в них специфические связи, а не верить конечной цифре.

Главное правило: после - не значит вследствие...

PS ...а вы тут еще супроти нашего православного шаббата бочки катите, типа для здоровья вредно...

PPS ...впрочем, все это бредни, совершенно не соответствующие требованиям времени. А времена нынче такие, что положено не теории/гипотезы укладывать в факты, а факты подгонять-сортировать под теорию.