Дослідження архітектур нейронних мереж для обробки мультимодальних даних

Abstract

У роботі проведено дослідження сучасних архітектур нейронних мереж, призначених для оброблення мультимодальних даних, що включають текстові та візуальні компоненти. Розглянуто основні підходи до інтеграції модальностей, зокрема раннє, пізнє та гібридне злиття, а також контрастивне навчання та крос-модальну увагу. Виконано порівняльний аналіз моделей CLIP, ViLT, LXMERT та Perceiver IO за критеріями ефективністю, швидкістю навчання, масштабованістю та інтерпретованістю результатів. Результати дослідження демонструють переваги гібридних та контрастивних підходів у задачах мультимодальної класифікації та прогнозування, а також перспективи застосування таких моделей у медичній діагностиці, автономних системах та інтелектуальних системах рекомендацій.