В 2016 году исследователи Сяолинь Ву (Xiaolin Wu) и Си Чжан (Xi Zhang) опубликовали статью, в которой заявили о том, что с помощью машинного обучения можно выявлять преступные склонности человека по чертам лица.
В нейросеть загрузили около 2000 изображений лиц преступников и не преступников – взрослых мужчин китайской национальности, без отличительных внешних особенностей (таких как усы, борода, шрамы, татуировки). Компьютерный алгоритм сравнил все фото и выявил характерные для преступников черты: меньшее расстояние между внутренними уголками глаз, меньший угол между кончиком носа и уголками губ, больший изгиб верхней губы.
Учёные отдельно подчёркивали непредвзятость алгоритма: у него нет эмоций и предрассудков, которые влияют на то, как мы воспринимаем других людей. То есть он объективен. Полученным данным можно верить.
И здесь мы попадаем в ловушку. Потому что нейросеть действительно быстро научается выполнять поставленные задачи, определять и сортировать любые данные. Вопрос в том, на каких данных её тренировали.
Когда фотографии изучили повнимательней, оказалось, что, в отличие от не преступников, преступники на них серьезны и слегка нахмурены. Нейросеть научилась определять не криминальные склонности, а улыбку и расслабленное выражение лица.
Дело в том, что фотографии преступников исследователям предоставила полиция, остальные фото они нашли на открытых веб-ресурсах: на сайтах компаний и личных страницах. На таких сайтах обычно выкладывают изображения, где люди выглядят привлекательно и доброжелательно.
Попробуйте на минуту представить, что вас оценивают по фото в паспорте или на водительских правах!
Этот кейс взят из англоязычного курса по критическому мышлению и анализу информации «Calling Bullshit». Курс разработан двумя профессорами Вашингтонского университета и учит подвергать сомнению так называемые точные данные (основанные на графиках, статистике и прочих «железных фактах»), которые выглядят убедительно, но часто оказываются неверными.
Рекомендуем к прочтению: https://callingbullshit.org/index.html