Chapitre VI
Machine Learning
93
Figure VI-5 Fonctionnement des Gradient Boosting (UC Buisness Analytics R Programming Guide)
VI.2.5.7. XGBoost
XGBoost, ou Extreme Gradient Boosting, est un algorithme d'apprentissage automatique puissant
et populaire qui s'est révélé très efficace dans de nombreux domaines. Il a été développé par Tianqi
Chen en 2016 et est basé sur la technique de boosting. Le XGBoost combine plusieurs modèles
d'arbre de décision faibles pour former un modèle plus fort et plus généralisable (Figure VI-6). Il
est particulièrement utilisé pour sa capacité à gérer des ensembles de données volumineux et
complexes, ainsi que pour son efficacité dans la réduction de l’overfitting grâce à des
régularisations intégrées.
L'un des principaux avantages de XGBoost est sa vitesse d'exécution. Il utilise une méthode
d'optimisation des arbres basée sur le calcul des gradients, ce qui lui permet de prendre des
décisions plus éclairées lors de la construction des arbres.
Un autre aspect essentiel de XGBoost est sa capacité à gérer différentes tâches de machine
learning, telles que la classification, la régression. Il offre une gamme variée d'options de
paramètres qui permettent aux utilisateurs de personnaliser le modèle en fonction des besoins
spécifiques de leur projet. Le XGBoost est également bien adapté à la manipulation de
caractéristiques manquantes, réduisant ainsi le besoin de prétraitement des données. Grâce à son
efficacité, sa précision et sa capacité à traiter des ensembles de données complexes.
Figure VI-6 Structure générale de l’XGBoost (Wang et al. 2019)