Чому пора перестати сліпо вірити в big data

Актуальне 16 жовтня 2022 Перегляди: 32

Зараз алгоритми вирішують, кому схвалити позику, хто отримає страховку або запрошення на співбесіду, але часто вони роблять це несправедливо. І це тільки збільшує розрив між верствами населення.

Математик, спеціаліст з аналізу фінансових ринків, автор книги «Зброя математичного ураження».

Щоб побудувати алгоритм, потрібні дві речі: дані (що сталося в минулому) і визначення успішного результату (що ви хочете знайти за допомогою цього алгоритму). Потім він визначає, які критерії призводять до успішного результату. Але ж визначення успіху не може бути універсальним.

Алгоритм — це чия-то думка, вбудована в код.

Ми звикли думати, що алгоритми об’єктивні і достовірні, але це тільки маркетинговий трюк, покликаний залякати нас і викликати у нас довіру до алгоритмів і математичних даних.

О’Ніл наводить приклади, коли алгоритми можуть завдати серйозної шкоди. Так відбувається при оцінці співробітників. Наприклад, у 2011 році в шкільному окрузі Вашингтона було звільнено понад 200 вчителів після того, як їх відсіяв алгоритм, хоча у них були відмінні рекомендації від батьків і колег.

Крім того, алгоритми часто виявляються причиною винесення упереджених вироків. Новинна організація ProPublica нещодавно проводила розслідування і виявила, що алгоритми, які визначають ризик рецидивізму, працюють не об’єктивно. При однакових злочинах вироки частіше виносяться чорношкірим американцям.

Всі ми схильні до упередження, і ми привносимо їх в алгоритми, коли вирішуємо, які дані потрібно враховувати.

Алгоритми просто повторюють наші минулі помилки, автоматизують існуючий порядок. Тому ми не можемо сліпо довіряти їм, ми повинні перевіряти їх на об’єктивність: заново обміркувати визначення успішного результату, помилки, від яких не застрахований жоден алгоритм. Як часто вони відбуваються і кого зачіпають? Яка ціна таких помилок?

Фахівці, які працюють з даними, не повинні бути вершителями справедливості. Час перестати сліпо вірити великим даним.