A new stable solution to the linear regression problem under multicollinearity

Abstract

The detailed analysis of the situation with multicollinearity provided in the paper allows concluding that the only way out of this situation is to create a new method solution of the OLS-equation which should give a stable solution with small variability, as in the ridge-method, and small bias. Precisely such method is the Modified OLS (MOLS) which is proposed in the paper. The MOLS is an approximate method which uses the known Tikhonov’s regularization principle and a new method solution to the regularized OLS-equation, which is based on the modified Cramer’s rule, which is proposed in the paper. Проведений аналіз дозволив зробити висновок, що єдиним вихо-дом з існуючій ситуації є створення нових методів розв’язку МНК-рівняння які б давали рішення з малою варіабельністю, як в ridge-методі, наприклад, але з малим зміщенням. Саме таким методом є новий модифікований метод найменших квадратів (ММНК), який є представленим в роботі. ММНК є наближеним методом, в якому є використаним метод регуляризації Тіхонова і новий метод рішення регуляризованого МНК-рівняння, заснований на модифікованому методі Крамера, який запропонован в статті. Проведенный анализ позволяет сделать вывод о том, что единственным выходом из существующей ситуации есть создание новых методов решения МНК-уравнения, которые давали бы решения с малой вариабельностью, как в ridge-методе, например, но с малым смещением. Именно таким методом является новый модифицированный метод наименьших квадратов (ММНК), который представлен в работе. ММНК является приближенным методом, в котором использован метод регуляризации Тихонова и новый метод решения регуляризованого МНК-уравнения, основанный на модифицированном методе Крамера, который предложен в статье.