A new stable solution to the linear regression problem under multicollinearity

Abstract

The main shortcomings of the OLS solution to the linear regression problem under multicollinearity, which prevent from obtaining an adequate contribution of each regressor to the regressand, have been considered. It is shown that the main cause of a common incorrectness regarding the economic aspect of OLS solutions is their great variability in the presence of data multicollinearity. It is also shown that mathematically correct OLS-solutions can become economically incorrect with data collinearity increasing which leads to a diminishing of the physically correct codomain of the OLS-matrix. Existing in the literature methods to overcome the OLS-solutions great variability are considered both from economical and mathematical aspects. The considering provided shows with confidence the impossibility of existing methods to overcome the data multicollinearity problems both from mathematical and economic considerations such as choosing the best regressions, “lasso” and so on. The detailed analysis of the situation with multicollinearity provided in the paper allows concluding that the only way out of this situation is to create a new method solution of the OLS-equation which should give a stable solution with small variability, as in the ridge-method, and small bias. Precisely such method is the Modified OLS (MOLS) which is proposed in the paper. The MOLS is an approximate method which uses the known Tikhonov’s regularization principle and a new method solution to the regularized OLS-equation, which is based on the modified Cramer’s rule, which is proposed in the paper. It is shown that the MOLS method gives stable and practically unbiased solution to the linear regression problem regardless of the near-collinearity level of the data used. Unlike the ridge-method, the MOLS method gives a negligible bias and does not require the optimization of the regularization constant. The proposed MOLS method is verified in the paper for adequacy with the aid of the artificial data population (ADP), which is based on the Monte Carlo simulation method. Using the ADP, the new MOLS method is checked for the biasedness and stability for both small and large samples. Розглянутo існуючі проблеми рішення багатофакторної задачі лінійної регресії за наявністю мультиколінеарності методом найменших квадратів (МНК), які не дозволяють отримати адекватне рішення економічної проблеми оцінки впливу кожного окремого регресора на відгук. Виявлені причини появи некоректних рішень економічної задачі регресії математичним методом найменших квадратів, які пов’язані з великою варіабельністю МНК-рішення при значної колінеарності даних. Показано, що некоректні з точки зору економіки математичні рішення стандартного МНК виникають при збільшенні рівня колінеарності даних за рахунок зменшення області фізичної коректності МНК-матриці. Розглянуто існуючі на сьогодення методи подолання великої варіабельності МНК-рішень як з економічної, так і з математичної точки зору. Проведений розгляд з очевидністю показує неспроможність існуючих на сьогодні методів подолання проблеми мультиколінеарності як з боку математиці, так і з боку економічного розгляду спрощення самої економічної проблеми: вибір найкращих регресій, lasso і т. і. Проведений аналіз дозволив зробити висновок, що єдиним виходом з існуючій ситуації є створення нових методів розв’язку МНК-рівняння які б давали рішення з малою варіабельністю, як в ridge-методі, наприклад, але з малим зміщенням. Саме таким методом є новий модифікований метод найменших квадратів (ММНК), який є представленим в роботі. ММНК є наближеним методом, в якому є використаним метод регуляризації Тіхонова і новий метод рішення регуляризованого МНК-рівняння, заснований на модифікованому методі Крамера, який запропонован в статті. Показано, що ММНК дає стійке та практично незміщене рішення задачі лінійної регресії при будь-якому рівні колінеарності даних. На відміну від методу ridge-регресії, ММНК не потребує оптимізації константи регуляризації. Запропонований в роботі ММНК перевіряється на адекватність за допомогою штучної генеральної сукупності, яка створена за допомогою методу Монте-Карло. З використанням цієї генеральної сукупності в роботі показана як практична незміщеність ММНК, так і висока стабільність рішень задачі регресії як для великих, так і для малих вибірок. Рассмотрены существующие проблемы решения многофакторной задачи линейной регрессии в условиях мультиколлинеарности методом наименьших квадратов (МНК), которые не позволяеют получить адекватное решение экономической проблемы оценки влияния каждого отдельного регрессора на отклик. Выявлены причины некорректного решения экономической задачи регрессии математическим методом наименьших квадратов. Эти причины связаны с большой вариабельностью МНК-решений при значительной коллинеарности данных. Показано, что некорректные, с точки зрения экономики, математические решения стандартного МНК возникают при увеличении уровня коллинеарности данных за счет уменьшения области физической корректности МНК-матрицы. Рассмотрены существующие на сегодняшний день методы борьбы с большой вариабельностью МНК-решений как с экономической, так и с математической точек зрения. Проведенное рассмотрение убедительно показывает недееспособность существующих на сегодняшний день методов преодоления мультиколлинеарности как со стороны математики, так и со стороны экономического рассмотрения способов упрощения самой экономической проблемы: выбор наилучших регрессий, lasso, и т.д. Проведенный анализ позволяет сделать вывод о том, что единственным выходом из существующей ситуации есть создание новых методов решения МНК-уравнения, которые давали бы решения с малой вариабельностью, как в ridge-методе, например, но с малым смещением. Именно таким методом является новый модифицированный метод наименьших квадратов (ММНК), который представлен в работе. ММНК является приближенным методом, в котором использован метод регуляризации Тихонова и новый метод решения регуляризованого МНК-уравнения, основанный на модифицированном методе Крамера, который предложен в статье. Показано, что ММНК дает устойчивое и практически несмещенное решение задачи линейной регрессии при любом уровне коллинеарности данных. В отличие от метода ridge-регрессии, ММНК не требует оптимизации константы регуляризации. Предложенный в работе ММНК, проверяется на адекватность с помощью искусственной генеральной совокупности, созданной с помощью метода Монте-Карло. С использованием этой генеральной совокупности, в работе показана как практическая несмещенность ММНК, так и высокая стабильность решений задачи линейной регрессии, как для больших, так и для малых выборок.