Informatique > Intelligence artificielle >
Regularisation L1 et L2
Définition :
La régularisation L1 et L2 sont des techniques utilisées en apprentissage automatique pour réduire le surajustement d'un modèle en ajoutant des termes de pénalisation à la fonction de coût. La régularisation L1 favorise la parcimonie en ajoutant la norme L1 des poids du modèle à la fonction de coût, tandis que la régularisation L2 ajoute la norme L2 des poids au carré. Ces techniques aident à améliorer la généralisation du modèle en limitant la complexité et en réduisant le risque de surapprentissage.
Regularisation L1 et L2
La régularisation est une technique largement utilisée en apprentissage machine pour éviter le surapprentissage (overfitting) des modèles. Parmi les méthodes de régularisation les plus courantes, on retrouve la régularisation L1 et L2.
Régularisation L1 :
La régularisation L1, également connue sous le nom de régularisation Lasso, consiste à ajouter un terme de pénalisation correspondant à la somme des valeurs absolues des coefficients du modèle. En d'autres termes, la régularisation L1 favorise la parcimonie en encourageant les coefficients à être exactement égaux à zéro. Cela peut permettre la sélection de variables importantes et réduire la complexité du modèle.
Régularisation L2 :
La régularisation L2, ou régularisation Ridge, agit de manière similaire à la régularisation L1 en ajoutant un terme de pénalisation aux coefficients du modèle. Cependant, dans le cas de la régularisation L2, on utilise la somme des carrés des coefficients. Cette méthode favorise des coefficients proches de zéro sans les forcer à atteindre exactement zéro. La régularisation L2 permet de réduire la variance du modèle en limitant les valeurs extrêmes des coefficients.
En conclusion, la régularisation L1 et L2 sont des outils essentiels pour contrôler la complexité des modèles en apprentissage machine et pour améliorer leur généralisation en évitant le surapprentissage.
Si vous souhaitez approfondir ce sujet, nous vous conseillons ces ouvrages.
Les sujets suivants pourraient également vous intéresser :