Несмотря на то, что программное обеспечение призвано быть объективным, оно воспроизводит предвзятые представления, свойственные людям.
Исследователи из Калифорнийского университета в Беркли и Чикагского университета установили, что компьютерные алгоритмы, разработанные для устранения предвзятости в сфере здравоохранения, проявляют расовую предвзятость. Результаты исследования были опубликованы авторами опубликовали в Science.
Специалисты изучили процесс отбора пациентов для участия в государственной программе медицинской помощи с использованием алгоритмов. Целью данного программного обеспечения является выявление пациентов с повышенным риском для здоровья, исключая влияние субъективных факторов, таких как стереотипы, предубеждения, предрассудки или личные предпочтения. Необходимо, чтобы пациенты, нуждающиеся в лечении, не получали отказа на основании пола, расы, уровня образования, религиозных убеждений или образа жизни.
В последнее время исследования демонстрируют, что алгоритмы всё чаще используют предвзятые критерии отбора, свойственные людям. Почему так получается? Иногда проблема в подходе к обучению, если речь идет о нейросетях. В случае же, описанном в статье, проблема была в недостатке переменных, которыми оперировала программа.
Анализ данных, включавший информацию о 43 539 белых и 6079 чернокожих пациентов, показал, что алгоритм распределял их по группам, нуждающимся в помощи или не нуждающимся в ней. Программа должна была определить тех пациентов, которым можно оказать наиболее эффективную помощь, учитывая соотношение риска, результата и затрат. Результаты, полученные с помощью алгоритма, были сопоставлены с ручными оценками, основанными на биомаркерах и жизненно важных показателях, и не учитывающими расовую принадлежность пациента. В ходе оценки выяснилось, что алгоритм демонстрирует расовую предвзятость, отдавая предпочтение здоровым белым американцам и игнорируя чернокожих пациентов.
Несоответствие возникло вследствие ошибки в алгоритме отбора. В настоящее время, в США, чернокожее население имеет менее благоприятный доступ к медицинскому обслуживанию и, соответственно, в среднем демонстрирует худшие показатели здоровья. В результате, сопутствующие заболевания и, как правило, более выраженная степень развития основных недугов приводят к тому, что расовый фактор в алгоритмах программы коррелирует с менее благоприятными прогнозами и более высокими затратами на лечение.
«Алгоритмы сами по себе не обладают положительными или отрицательными качествами; их ценность определяется принципами, на которых они основаны. Проблема, описанная в работе, вполне разрешима, и, по крайней мере, один разработчик программного обеспечения уже предпринимает шаги для ее решения. Профессор Сендхил Малленатан призывает и других последовать этому примеру. Учитывая в алгоритмах больше факторов, в частности, снижение будущих затрат на лечение благодаря небольшим профилактическим расходам, исследователям удалось добиться нормального расового распределения пациентов, прошедших отбор.
Исследователи утверждают, что это подчеркивает необходимость учета всех факторов при принятии решений, чтобы избежать разработки неэффективных методов оценки. Регулярные проверки помогут устранять ошибки в вычислениях. «Для алгоритмов, как и для медицины, мы бы предпочли предотвращать проблемы, а не лечить их», — шутит ведущий автор работы Зиад Обермейер.