Descrição
Vários conjuntos de dados modernos possuem a alta dimensionalidade como característica principal. Do ponto de vista prático, podemos ter um grande número de variáveis/preditores disponíveis para explicar algum fenômeno de interesse, mas não sabermos ao certo quais variáveis são de fato as mais importantes. A chave para analisar dados nesse cenário é a suposição de esparsidade, ou seja, de que a dimensão intrínseca do processo gerador de tais dados é baixa em comparação com a dimensionalidade observada. Problemas desse tipo levaram a uma crescente investigação e desenvolvimento de métodos estatísticos para modelos esparsos nos últimos anos. O objetivo deste minicurso é introduzir os alunos à área de estatística em alta dimensão e apresentar modelos esparsos que podem ser utilizados para realizar inferência estatística neste cenário. Focando no modelo lasso para regressão linear esparsa, os alunos serão apresentados a métodos de inferências via intervalos de confiança e teste de hipóteses nesse cenário. As metodologias discutidas serão ilustradas com exemplos no software R e banco de dados reais.
Parte 1
Tema/título: Estatística em alta dimensãoConteúdo: Alta dimensionalidade e o conceito de esparsidade, Lasso para modelos lineares
Slides
Parte 2
Tema/título: Inferência em alta dimensãoConteúdo: Lasso com bootstrap, inferência via lasso deviesado
Slides
Exemplos em R
Exemplo com dados de crimes (Lasso para modelo linear e validação cruzada)Exemplo com dados de diabetes (Lasso com boostrap e lasso deviesado)