Reducción de dimensiones para datos composicionales en alta dimensión

Abstract

La reducción de dimensiones es esencial en el análisis de datos complejos de alta dimensión para conservar información relevante y fundamentar conclusiones. Aunque ampliamente desarrollada en estadística y aprendizaje automático, requiere adaptaciones para datos complejos como los del microbioma humano, que influyen en enfermedades, tratamientos y desarrollo infantil. El microbioma, descrito como datos de conteo de alta dimensión que registra el número de microorganismos leídos en una muestra, presenta retos debido a su cuantificación compleja, abundancias relativas informativas, alta cantidad de ceros y variabilidad entre individuos. El análisis de estos datos busca identificar diferencias significativas en la composición del microbioma relacionadas con variables de interés, pero también explicar qué componentes impulsan estas asociaciones. Esta tesis introduce métodos basados en reducción suficiente de dimensiones y modelos gráficos para datos composicionales y de conteo de alta dimensión. Los modelos gráficos condicionales permiten modelar dependencias complejas entre componentes de la microbiota, describiéndolos como un ecosistema. Se presentan nuevos modelos gráficos capaces de manejar una gran proporción de ceros y se desarrollan algoritmos de estimación. La metodología incluye caracterización de distribuciones multivariadas y modelado de predictores como función de la respuesta, derivando la reducción suficiente de dimensiones (RSD). Se minimiza una divergencia con penalización jerárquica para identificar predictores asociados con la respuesta, produciendo estimadores consistentes aplicables a respuestas continuas o categóricas. Con selección de variables, las reducciones permiten evaluar asociaciones globales e identificar componentes clave de la microbiota. Los métodos se ilustran con simulaciones y datos reales de microbioma.

This thesis introduces novel methods for dimension reduction tailored to microbiome data, a type of complex high-dimensional compositional data characterized by its sparse nature and the presence of numerous zeros. The human microbiome is significant for various health outcomes, yet its complex data structure poses challenges for traditional statistical and machine learning approaches. Existing methods often fail to adequately address the unique features of microbiome data, such as its compositionality and sparsity. The proposed methodology leverages sufficient dimension reductions and graphical models to preserve relevant information and model complex dependencies among microbiota components. Specifically, new graphical models are introduced to handle the excess of zeros in the data. These models characterize multivariate distributions through univariate conditional distributions and use a pairwise graphical model framework to account for the zeros. A key innovation is the derivation of first-order sufficient dimension reduction (SDR), which identifies linear combinations of predictors that encapsulate all the information for regressing an outcome on these predictors. Estimation of the SDR involves minimizing a divergence with a graph-aware hierarchical penalty, inducing structured sparsity to pinpoint key predictors associated with the outcome. This method provides consistent estimators and is applicable to both continuous and categorical outcomes. The efficacy of these methods is demonstrated through simulations and real microbiome data analyses, highlighting their ability to visualize overall associations and identify crucial microbiota components driving these associations.