Адрес кажется довольно нейтральными данными. Но для алгоритма почтовый индекс или координаты могут оказаться коротким путем к целому набору предположений о человеке.
Исследователи Университета Южной Калифорнии обратили внимание на проблему пространственной справедливости ИИ. Районы городов десятилетиями формировались под влиянием доходов, миграции, стоимости жилья, доступности образования и исторической сегрегации. Поэтому даже если разработчик исключит из модели чувствительные характеристики человека, география способна незаметно вернуть часть этой информации обратно.
Проверить логику довольно просто. Дайте алгоритму только адрес, и он может сопоставить его со стоимостью жилья, типом застройки, транспортной доступностью, статистикой доходов или образования в районе. Он по-прежнему ничего не знает о конкретном человеке. Но уже способен построить его вероятностный портрет.
И вот здесь возникает принципиальная разница: адрес позволяет машине не узнать человека, а предположить его.
Эти предположения могут влиять на вполне реальные решения. Географические данные используются в страховании, кредитовании, ценообразовании и работе различных сервисов. Полностью отказаться от них невозможно: страховщику действительно важно знать, находится ли дом в зоне природного риска, а сервису такси необходимо понимать, куда ехать. Вопрос в другом: где заканчивается необходимая информация о месте и начинается суждение о человеке, который там живет?
Показателен и другой эксперимент. Исследователи проверили мультимодальные модели на изображениях более чем 200 городов мира и обнаружили: знание географического положения способно изменить оценку того, что машина видит на фотографии. Для африканских городов после добавления информации о местоположении оценки вроде «богатый» и «красивый» в среднем снижались примерно на 80%, тогда как для Азии и Северной Америки росли примерно на 26%.
Получается странная вещь. Картинка не изменилась. Изменилось только знание машины о том, где она сделана. И вслед за этим изменилось ее суждение.
Поэтому проблема пространственной предвзятости не решается простым удалением нескольких граф из анкеты. Исследователи предлагают проверять не только какие данные получает алгоритм, но и какие выводы он учится из них делать.
В конце концов, человеку можно не сообщать машине свой доход, происхождение или социальный статус.
Иногда ей достаточно знать, где он живет.
