통계12 [고차원 데이터분석] Group Lasso (with Group MCP, SCAD) 많은 회귀 문제들에서 설명변수들은 완전히 분리되는 것이 아니라 변수들이 하나의 공통 요인으로 묶일 수 있는 경우가 종종 있다. 예를 들어 범주형 변수를 지시 함수(Indicator function)을 통해 더미 변수(Dummy variable)로 나타내면 생성된 여러 변수들은 하나의 공통 요인으로 묶일 수 있다. 연속형 변수 역시 사전적으로 변수들의 그룹 정보를 알고 있다면 이 정보를 이용하지 않을 이유는 없다. 실제로 데이터가 그룹구조를 가지고 있을 때 그 정보를 활용해 더 높은 수준의 예측 성능을 낼 수 있다. 또한 변수 선택 관점에서 개별 변수를 선택하는 것이 아니라 변수들의 집합인 그룹을 선택하면, 진보적인(liberal) 결과와 함께 조금 더 해석적인 모형을 만들 수 있다. 노테이션 먼저 정의하.. 2022. 8. 21. [고차원 데이터분석] MCP와 SCAD (Bias reduction technique) (2) 지난 포스팅에 이어 MCP와 SCAD를 다룬다. LASSO와 마찬가지로 MCP와 SCAD는 Design matrix가 orthonomal한 경우 closed form solution을 가진다. 이 때 MCP와 SCAD의 univariate solution은 다음과 같다. MCP thresholding (firm thresholding) : $$ F(z | \lambda, \gamma ) = \begin{cases} \frac{\gamma}{\gamma-1}S(z|\gamma) & \text{if $|z|\leq \gamma \lambda $}\\ z & \text{if $|z| > \gamma \lambda $} \end{cases} $$ where $\gamma > 1$ SCAD thresholding.. 2022. 8. 20. [시계열 분석] KPSS 검정 with R 단위근 검정을 통해 모형이 단위근(확률적 추세)을 가지는지 판별할 수 있다. 같은 말로 모형이 정상성을 가지는지 또한 단위근 검정을 통해 확인할 수 있다. 대표적인 단위근 검정으로는 ADF검정과 KPSS검정이 있는데 이 둘은 가설이 반대로 설정된다. $H_{0}$ $H_{1}$ ADF 검정 $ \gamma=0 $ (Has unit root) $ \gamma 0$ (Has unit root) 어떤 검정이 더 좋고 나쁘고는 차이가 없다고 한다. 다만 통계학개론에서 배웠듯이 어떤 오류를 통제하고 싶은지에 따라 입맛대로 선택하면 될 듯 하다. 즉 Stationary라고 판단했을 때 생기는 오류를 조절하고 싶으면 ADF검정을, 단위근을 가진다고 판단했을 때 생기는 오류를 조절하고 싶으면 KPSS검정을 선택하면 된.. 2022. 8. 19. [시계열 분석] ADF 검정 (Augmented Dickey-Fuller 검정) with R 단위근 검정을 통해 모형이 단위근(확률적 추세)을 가지는지 판별할 수 있다. 같은 말로 모형이 정상성을 가지는지 또한 단위근 검정을 통해 확인할 수 있다. 대표적인 단위근 검정으로는 ADF검정과 KPSS검정이 있는데 이 둘은 가설이 반대로 설정된다. $H_{0}$ $H_{1}$ ADF 검정 $ \gamma=0 $ (Has unit root) $ \gamma 0$ (Has unit root) 어떤 검정이 더 좋고 나쁘고는 차이가 없다고 한다. 다만 통계학개론에서 배웠듯이 어떤 오류를 통제하고 싶은지에 따라 입맛대로 선택하면 될 듯 하다. 즉 Stationary라고 판단했을 때 생기는 오류를 조절하고 싶으면 ADF검정을, 단위근을 가진다고 판단했을 때 생기는 오류를 조절하고 싶으면 KPSS검정을 선택하면 된.. 2022. 8. 18. 이전 1 2 3 다음
