green_fr (green_fr) wrote,
green_fr
green_fr

Categories:

Pour la science (№ 429) — парадокс Симпсона

Это один из моих любимых парадоксов. Возьмём какую-то гипотетическую болезнь и два лекарства от неё. Предположим, у нас есть статистика выздоровления больных, которых лечили обоими лекарствами:

Общая статистикаВыздоровелоНе выздоровелоДоля выздоровевших
Лекарство А404050%
Лекарство Б324840%
Таблица 1

Очевидно, нужно всем прописывать лекарство А — вероятность выздоровления существенно выше.

Затем, к нам приходят более подробные результаты того же исследования:

Мужская статистикаВыздоровелоНе выздоровелоДоля выздоровевших
Лекарство А362460%
Лекарство Б14670%
Таблица 2

Ага, у мужчин лекарство Б оказывается более действенно, прописываем им Б.
Что там с женщинами? Простым вычитанием получаем следующую таблицу:

Женская статистикаВыздоровелоНе выздоровелоДоля выздоровевших
Лекарство А41620%
Лекарство Б184230%
Таблица 3

И у женщин тоже лекарство Б более действенно. Приехали.


Парадокс красивый, в очередной раз показывает, что наши мозги со статистикой не дружат, интуиция здесь не работает. Можно просто свыкнуться с этой идеей, а можно постараться переделать собственную интуицию, постараться найти что-то, делающее результат этого парадокса более интуитивным. Переформулируем парадокс:
Есть два неравенства Рассматриваем соотношении величин
Очень хочется сказать, что и там должно быть «больше». Но с какой стати? Порисуем графики, в плоскости (m x n) интересующее нас отношение соответствует углу наклона прямой, соединяющей начало координат и точку (m, n). И графически понимаем, что может быть так, а может и эдак.



Самый интересный вопрос в этом парадоксе — кто виноват и что делать?

Ставим себя на место врача из начала поста. Нужно прописать пациенту лекарство — какое?
В статье рассматривается вариант «если я знаю пол пациента, то лекарство Б, если не знаю — лекарство А», но, как я понимаю, этот вариант упомянули исключительно для того, чтобы его эффектно опровергнуть.
Другой вариант — я использую максимально подробную информацию, то есть таблицы 2 и 3, первую вообще в расчёт не беру, то есть всегда лекарство Б. Это не решение парадокса, т.к. можно построить таблицы 4 и 5 по другому уточняющему критерию (брюнет / блондин), которые точно так же будут указывать на лекарство А. Более того, можно построить вообще все возможные варианты «самых точных» таблиц (одновременно пол и цвет волос), которые будут совместимы с таблицами 1–5.

Вывода в статье толком не делают, но как я понимаю рассуждения автора, нужно пытаться понять внутреннюю структуру парадокса. Либо мы сосредоточились на несущественных переменных (пол в нашем случае), и решение можно принимать случайным образом. Либо мы складываем (усредняем) переменные, внутренняя структура которых при этом теряется.
Возьмём пример парадокса Симпсона из реальной жизни. Смертность в Коста Рике выше смертности в Швеции — какой бы мы ни взяли возраст, вероятность умереть в этом возрасте выше в Коста Рике. При этом суммарная смертность ниже в Коста Рике — среди всего населения страны в год умирает меньший процент людей.
Разгадка здесь, очевидно, в скрытом распределении населения по возрастам — в Коста Рике гораздо больше молодёжи, чем в Швеции, а у молодёжи смертность ниже, чем у стариков. Таким образом, большая доля стариков в шведском обществе гораздо больше увеличивает среднюю смертность, чем глобальная разница в уровне смертности.


А ещё, совершенно неожиданно в статье ответили на давно мучивший меня вопрос взаимоотношения альтруистов и эгоистов. В двух словах (большое упрощение, и birdwatcher очень красиво разжевал мне ещё тогда это упрощение, но тем не менее), при прочих равных, эгоисты находятся в более выгодном положении, чем альтруисты. При этом, общество с большим количеством эгоистов менее «счастливо», чем общество с меньшим. То есть, мы автоматически скатываемся в общество несчастных эгоистов. Не знаю, как кого, мне этот факт (ген эгоизма, вырождение альтруизма) сильно капал на мозги все эти годы. И вот — па-пам! — прекрасное разрешение проблемы через парадокс Симпсона.

Возьмём 3 группы бактерий. В каждой группе есть бактерии-альтруисты (они вырабатывают антибиотик, который нужен всем) и бактерии-эгоисты (они пользуются антибиотиком, но не вырабатывают его). В первой группе 1/4 бактерий альтруистов, во второй — 1/2, в третьей — 3/4. Группы равные, то есть в общем 1/2 бактерий — альтруисты.
Запускаем время и видим, как в каждой группе доля бактерий-альтруистов падает, но при этом общая пропорция бактерий-альтруистов растёт. Потому что первая группа, в которой их было большинство, развивается быстрее, и её удельный вес становится всё больше и больше.

Понятно, что этим мы только отодвинули решение проблемы до полного перемешивания групп (установления полной глобализации, если вернуться к человеческому обществу), но всё равно, чертовски приятно!
Tags: ja, pour la science, thebest, альтруисты и эгоисты
Subscribe

  • Дом "Жемчуг" в Ташкенте

    А ещё, когда читал книжку про популяционную генетику, встретил описание удивительного здания в Ташкенте. Жилой дом, построенный ещё при СССР, с чуть…

  • Суп бурдэ

    Как перевести %subj% на французский? Можно попытаться сказать la soupe Bourdais, но нет. Сижу недавно на собрании, обсуждаем экономические сценарии…

  • La Vague и L'Odyssée des Gènes

    Практически одновременно купил два нон-фикшена. La Vague — книга французского эпидемиолога о первой волне ковида. Мы с Анютой — она тоже прочитала…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 26 comments

  • Дом "Жемчуг" в Ташкенте

    А ещё, когда читал книжку про популяционную генетику, встретил описание удивительного здания в Ташкенте. Жилой дом, построенный ещё при СССР, с чуть…

  • Суп бурдэ

    Как перевести %subj% на французский? Можно попытаться сказать la soupe Bourdais, но нет. Сижу недавно на собрании, обсуждаем экономические сценарии…

  • La Vague и L'Odyssée des Gènes

    Практически одновременно купил два нон-фикшена. La Vague — книга французского эпидемиолога о первой волне ковида. Мы с Анютой — она тоже прочитала…