Розробка комбінованого методу аналізу емоційної забарвленості текстів

Abstract

Однією з ключових задач обробки природної мови (NLP) є аналіз емоційної забарвленості тексту, який відіграє важливу роль у численних прикладних сферах, зокрема в маркетингу, соціології, психології, аналізі громадської думки та інформаційній безпеці. Системи аналізу забарвленості текстової інформації дозволяють оперативно отримувати структуровану інформацію про емоційні настрої суспільства, прогнозувати реакцію на певні події, а також виявляти потенційні загрози чи деструктивний контент. Метою дослідження є підвищення точності класифікації емоційної забарвленості природномовних текстів за рахунок використання лексиконних, статистичних і контекстуальних методів, які дозволять врахувати як поверхневі лексичні ознаки, так і глибокі семантичні зв’язки у тексті. В запропонованому комбінованому методі поєднуються статистичне (TF-IDF) та контекстуальне (BERT) векторні представлення тексту. Таке поєднання дозволяє враховувати як частотні закономірності, так і глибокі семантичні залежності між словами. Використання ансамблевого класифікатора Random Forest дозволило побудувати стійку модель, яка здатна ефективно класифікувати короткі англомовні тексти з високим рівнем точності. Результати експериментів показали, що запропонований комбінований метод має вищу точність класифікації (89 %) текстів, у порівнянні з базовими – TF-IDF + RF та BERT + RF (78 % і 82 % відповідно). Використання комбінованого методу дозволить підвищити ефективність аналізу контексту, розпізнання складних мовних конструкції, що робить його перспективним для аналізу громадської думки в соціальних мережах, медіа та чат-ботах; для застосування у службах підтримки клієнтів; при визначенні емоцій користувачів веб-сервісів, сайтів та веб-додатків.