Виявлення компромісів між справедливістю, стабільністю і точністю для відповідального вибору моделі машинного навчання

Abstract

Предметом дослідження в статті є процес вибору моделі машинного навчання, що виконується дата-саєнтистами для побудови моделей у критично важливих сферах. Мета роботи: 1) створити програмну бібліотеку для вимірювання точності, стабільності та справедливості моделей; 2) провести експерименти для виявлення компромісів між справедливістю, стабільністю і точністю; 3) запропонувати відповідальний процес вибору моделей для підвищення безпеки використання моделей машинного навчання. У статті передбачено розв’язати такі завдання: виміряти справедливість і стабільність моделей машинного навчання та дослідити їх взаємозв’язок з точністю моделей. Упроваджено такі методи: емпіричне оцінювання, теорія розкладання помилки моделі на упередження та дисперсію, теорія алгоритмічної справедливості та методи кількісного оцінювання невизначеності. Досягнуті результати: 1) запропоновано низьку передбачувальну мінливість як бажану властивість для забезпечення безпеки та рівність варіативності між різними соціальними групами як нову метрику справедливості моделей машинного навчання; 2) продемонстровано, як аналіз стабільності допомагає фахівцям долати виклики множинності моделей і обирати надійні, стійкі та справедливі моделі; 3) створено програмний фреймворк з відкритим кодом для використання спільнотою, який інтегрує вимірювання стабільності у процеси розроблення моделей. Висновки. У цій роботі запропоновано нову парадигму групової справедливості, що об’єднує питання правильності / якості та випадковості / стабільності з порядку денного досліджень відповідального штучного інтелекту. Застосування запропонованих підходів допомагає у відповідальному виборі моделей машинного навчання за умов множинності моделей, демонструє, що, хоча може існувати чимало моделей із зіставною точністю, є лише одна (або декілька) "найкраща" модель, що є надійною, справедливою і стабільною, як це й потрібно.