Ordinary least squares: the adequacy of linear regression solutions under multicollinearity and without it

Abstract

The article is devoted to the problem of the economic adequacy of solving a linear regression problem by the common OLS. We use in the paper the following definition of the adequacy: a linear regression solution to be adequate it should not only have the correct signs but also correctly reflect the relationship between the coefficients of regression in the population. If herewith, the coefficient of determination is greater than 0.8, the solution is considered economically adequate. As an indicator of the adequacy of a linear regression problem solution, it has been proposed to use a 10% level of the coefficient of variability (CV) of the regression coefficients. It has been shown that OLS solutions may be not adequate to the solution in the population, although they may be physically correct (with correct signs) and statistically significant. The mentioned result has been obtained by using the artificial data population (ADP) algorithm. The ADP allows you generating data of any size with known regression coefficients in the whole population, which can be calculated with the aid of the OLS solution for a very large sample. The ADP algorithm allows you to change the regular component of the influence of the regressors on the response. Besides, the random changes of regressors in the ADP are divided into two parts. The first part is coherent to the response changes, but the second part is completely random (incoherent). This one allows us changing the near-collinearity level of the data by changing the variance of the incoherent noise in regressors. Studies using ADP has been showed, with a high probability, that the OLS solutions are physically incorrect if the sample sizes (n) are less than 23; physically correct, but not adequate for 23 < n < 400: adequate for n > 400. It has been also noted that if the elimination of strongly correlated regressors is not economically justified, but is rather a measure of lowering the VIF factor, the results may be far from reality. In this regard, it has been noted that the use of the MOLS frees, in general, from the need to exclude strongly correlated regressors at all, since the accuracy of the MOLS solution increases with an increase in the VIF. Стаття присвячена проблемі економічної адекватності рішення задачі лінійної регресії методом найменших квадратів (МНК). В статті використовується наступне означення адекватності: рішення задачі регресії вважається адекватнім, якщо воно не тільки має коректні знаки, а й вірно відображає взаємовідношення між коефіцієнтами регресії в генеральної сукупності (ГС). Якщо при цьому коефіцієнт детермінації більший за 0.8, рішення вважається економічно адекватним. У якості показника адекватності рішення задачі регресії запропоновано використати 10% рівень коефіцієнта варіабельності коефіцієнтів регресії. Показано, що МНК рішення можуть бути не адекватними рішенню в ГС, хоча бути фізично коректними (з вірними знаками) і статистично значимими. Зазначений результат був отриманим за допомогою алгоритму штучної генеральної сукупности (AДП). AДП дозволяє генерувати вибірки будь-якого розміру з відомими коефіцієнтами регресії в ГС, які можуть бути розрахованими за допомогою МНК рішення для дуже великої вибірки. Алгоритм АДП дозволяє зміняти регулярну компоненту впливу регресора на відгук. Крім цього, випадкова складова регресорів в АДП розділена на дві частини. Перша частина когерентна змінам відгуку, а друга є повністю випадкової (некогерентною). Саме це дозволяє змінювати рівень майже-колінеарності, за допомогою зміни дисперсії некогерентного шуму в регресорах. Дослідження за допомогою АДП показали з високою ймовірністю, що МНК рішення можуть бути фізично некоректними при розміру вибірки (n) менших, ніж 23; фізично коректними, але не адекватними при 23 < n < 400; адекватними при n > 400. Відмічено, що виключення сильно корелюючих регресорів, якщо це невиправдано з економічної точки зору, а диктується тільки необхідністю зменшити VIF-фактор, може привести до результатів, далеких від реальності. У зв’язку з цим відмічено, що використання модифікованого МНК (ММНК) взагалі звільняє від необхідності виключення сильно корелюючих регресорів, оскільки точність ММНК тільки зростає зі зростанням VIF-фактора. Статья посвящена проблеме экономической адекватности решения задачи линейной регрессии методом наименьших квадратов (МНК). В статье используется следующее определение адекватности: решение задачи регрессии считается адекватным, если оно не только имеет корректные знаки, но и верно отражает взаимоотношения между коэффициентами регрессии в генеральной совокупности (ГС). Если при этом коэффициент детерминации больше 0.8, решение считается экономически адекватным. В качестве показателя адекватности решения задачи регрессии предложено использовать 10% уровень коэффициента вариабельности коэффициентов регрессии. Показано, что МНК решения могут быть неадекватными решению в ГС, хотя быть физически корректными (с верными знаками) и статистически значимыми. Указанный результат был полученным с помощью алгоритма искусственной генеральной совокупности (AДП). AДП позволяет генерировать выборки любого размера с известными коэффициентами регрессии в ГС, которые могут быть рассчитаны с помощью МНК решения для очень большой выборки. Алгоритм АДП позволяет изменять регулярную компоненту воздействия регрессоров на отклик. Кроме этого, случайная составляющая регрессоров в АДП разделена на две части. Первая часть когерентна изменениям отклика, а вторая полностью случайна (некогерентна). Именно это позволяет изменять уровень почти-коллинеарности, с помощью изменения дисперсии некогерентного шума в регрессорах. Исследования с помощью АДП показали с высокой вероятностью, что МНК решения могут быть физически некорректными при размере выборки (n) меньших, чем 23; физически корректными, но не адекватными при 23 <n <400; адекватными при n> 400. Отмечено, что исключение сильно коррелирующих регрессоров, если это неоправданно с экономической точки зрения, а диктуется только необходимостью уменьшить VIF-фактор, может привести к результатам, далеким от реальности. В связи с этим отмечено, что использование модифицированного МНК (ММНК) вообще освобождает от необходимости исключения сильно коррелирующих регрессоров, поскольку точность ММНК только растет с ростом VIF-фактора.