"Большая часть дискуссий о справедливости в машинном обучении была сосредоточена на технических решениях, таких как исправление несправедливых алгоритмов и как сделать системы справедливыми", - говорит специалист по вычислительной социологии и соавтор Рубен Бах из Университета Мангейма, Германия. "Но наш вопрос в том, что люди считают справедливым? Речь идет не только о разработке алгоритмов. Они должны быть приняты обществом и соответствовать нормативным представлениям в реальном мире".

Автоматизированное принятие решений, при котором вывод делается исключительно компьютером, позволяет анализировать большие наборы данных для выявления закономерностей. Компьютеры часто считаются объективными и нейтральными по сравнению с людьми, чьи предубеждения могут затуманить суждения. Тем не менее, предвзятость может проникнуть в компьютерные системы, поскольку они извлекают уроки из данных, отражающих дискриминационные модели в нашем мире. Понимание справедливости компьютерных и человеческих решений имеет решающее значение для построения более справедливого общества.

Чтобы понять, что люди считают справедливым при автоматизированном принятии решений, исследователи опросили 3930 человек в Германии. Исследователи предложили им гипотетические сценарии, связанные с банковскими системами, системами трудоустройства, тюрьмами и системами безработицы. В рамках сценариев они далее сравнили различные ситуации, в том числе, приводит ли решение к положительному или отрицательному результату, откуда берутся данные для оценки и кто принимает окончательное решение - человек, компьютер или и то, и другое.

"Как и ожидалось, мы увидели, что полностью автоматизированное принятие решений не приветствовалось", - говорит специалист по вычислительной социологии и один из первых авторов Кристоф Керн из Университета Мангейма. "Но что было интересно, так это то, что когда у вас есть человеческий надзор за автоматизированным принятием решений, уровень воспринимаемой справедливости становится похожим на принятие решений, ориентированных на человека". Результаты показали, что люди воспринимают решение как более справедливое, когда в нем участвуют люди.

Люди также больше беспокоились о справедливости, когда решения касались системы уголовного правосудия или перспектив трудоустройства, где ставки выше. Возможно, рассматривая вес потерь больше, чем вес выгод, участники сочли решения, которые могут привести к положительным результатам, более справедливыми, чем отрицательные. По сравнению с системами, которые полагаются только на данные, связанные со сценарием, те, которые используют дополнительные несвязанные данные из Интернета, были признаны менее справедливыми, подтверждая важность прозрачности и конфиденциальности данных. В совокупности результаты показали, что контекст имеет значение. Автоматизированные системы принятия решений должны быть тщательно спроектированы, когда возникают опасения по поводу справедливости.

Хотя гипотетические ситуации в опросе могут не полностью соответствовать реальному миру, команда уже проводит мозговой штурм следующих шагов, чтобы лучше понять справедливость. Они планируют продолжить исследование, чтобы понять, как разные люди определяют справедливость. Они также хотят использовать аналогичные опросы, чтобы задать больше вопросов о таких идеях, как распределительная справедливость, справедливость распределения ресурсов среди сообщества.

"В некотором смысле мы надеемся, что люди в отрасли смогут воспринять эти результаты как пищу для размышлений и как то, что они должны проверить, прежде чем разрабатывать и внедрять автоматизированную систему принятия решений", - говорит Бах. "Нам также необходимо убедиться, что люди понимают, как обрабатываются данные и как на их основе принимаются решения".