Partial Least Squares Methods: methodological overview and recent developments

Abstract

Partial Least Squares (PLS) methods are used to study cause‐effect links incomplex systems. These methods consist of various extensions of the Nonlinear estimation by Iterative PArtial Least Squares (NIPALS) algorithm. The basic principles of NIPALS were first developed in order to modeling the relationships between several blocks of observed variables each related to a specific latent variable (PLS approach to Structural Equation Models, or PLS Path Modeling ‐ PLS‐PM). Then the NIPALS was modified to obtain a regularized regression tool based on components, also known as PLS regression (PLS‐R). In recent years my researches have focused on both the PLS approaches to Regression and Structural Equation Models. In this talk, I will present the methodological aspects of the PLS methods, and some of my contributions to the PLS framework: a cluster‐wise approach in a PLS‐PM optic, the specific treatment of categorical variables (nominal and ordinal), and the development of a sparse version of the PLS‐R with variable selection features. Les méthodes Partial Least Squares (PLS) sont utilisées pour étudier les liens de cause à effet dans des systèmes complexes. Ces résultats consistent en diverses extensions de l’algorithme Nonlinear estimation by Iterative PArtial Least Squares (NIPALS). Les principes de base du NIPALS ont d'abord été élaborés pour modéliser des relations complexes entre plusieurs blocs de variables observées en révélant des variables latentes via l'approche PLS aux Modèles à Equations Structurelles, ou PLS‐Path Modeling (PLS‐PM). Ensuite, le NIPALS à été aussi modifié, à fin d'obtenir un outil de régression régularisée basée sur les composantes, connu sous le nom de régression PLS (PLS‐R). Dans ces dernières années mes recherches ont porté à la fois sur la régression PLS et sur l'approche PLS aux Modèles à Equations Structurelles. Dans cet exposé, en m'appuyant sur certaines de mes publications, je vais présenter le cadre général des méthodes PLS, ainsi que certains de mes contributions au cadre PLS. Notamment la construction d'une approche clusterwise et le traitement spécifique des variables catégorielles (nominales et ordinales) dans la PLS‐PM, et le développement d'un critère de sélection des variables dans la PLSR