SEO: Analyse discriminante linéaire pour l’apprentissage automatique

SEO: Analyse discriminante linéaire pour l'apprentissage automatique

Dernière mise à jour le 15 août 2020

La régression logistique est un algorithme de classification traditionnellement limité aux seuls problèmes de classification à deux classes.

Si vous avez plus de deux classes, l’analyse discriminante linéaire est la technique de classification linéaire préférée.

Dans cet article, vous découvrirez l’algorithme d’analyse discriminante linéaire (LDA) pour les problèmes de modélisation prédictive de classification. Après avoir lu cet article, vous saurez :

  • Les limites de la régression logistique et la nécessité d’une analyse discriminante linéaire.
  • La représentation du modèle qui est apprise à partir des données et peut être enregistrée dans un fichier.
  • Comment le modèle est estimé à partir de vos données.
  • Comment faire des prédictions à partir d’un modèle LDA appris.
  • Comment préparer vos données pour tirer le meilleur parti du modèle LDA.

Cet article est destiné aux développeurs intéressés par l’apprentissage automatique appliqué, le fonctionnement des modèles et la manière de bien les utiliser. En tant que tel, aucune formation en statistiques ou en algèbre linéaire n’est requise, bien que cela soit utile si vous connaissez la moyenne et la variance d’une distribution.

LDA est un modèle simple à la fois dans la préparation et l’application. Il existe des statistiques intéressantes sur la configuration du modèle et la dérivée de l’équation de prédiction, mais elles ne sont pas abordées dans cet article.

Lancez votre projet avec mon nouveau livre Master Machine Learning Algorithms, y compris tutoriels pas à pas et le Feuille de calcul Excel fichiers pour tous les exemples.

Commençons.

Analyse discriminante linéaire pour l'apprentissage automatique

Analyse discriminante linéaire pour l’apprentissage automatique
Photo de Jamie McCaffrey, certains droits réservés.

Limites de la régression logistique

La régression logistique est un algorithme de classification linéaire simple et puissant. Il a également des limites qui suggèrent le besoin d’algorithmes de classification linéaire alternatifs.

  • Problèmes à deux classes. La régression logistique est destinée aux problèmes de classification à deux classes ou binaires. Il peut être étendu pour la classification multi-classe, mais est rarement utilisé à cette fin.
  • Instable avec des classes bien séparées. La régression logistique peut devenir instable lorsque les classes sont bien séparées.
  • Instable avec quelques exemples. La régression logistique peut devenir instable lorsqu’il existe peu d’exemples à partir desquels estimer les paramètres.

L’analyse discriminante linéaire aborde chacun de ces points et constitue la méthode linéaire de référence pour les problèmes de classification multi-classes. Même avec des problèmes de classification binaire, c’est une bonne idée d’essayer à la fois la régression logistique et l’analyse discriminante linéaire.

Représentation des modèles LDA

La représentation de LDA est simple.

Il se compose de propriétés statistiques de vos données, calculées pour chaque classe. Pour une seule variable d’entrée (x), il s’agit de la moyenne et de la variance de la variable pour chaque classe. Pour plusieurs variables, il s’agit des mêmes propriétés calculées sur la gaussienne multivariée, à savoir les moyennes et la matrice de covariance.

Ces propriétés statistiques sont estimées à partir de vos données et se connectent à l’équation LDA pour faire des prédictions. Ce sont les valeurs de modèle que vous enregistreriez dans un fichier pour votre modèle.

Voyons comment ces paramètres sont estimés.

Obtenez votre carte mentale d’algorithmes GRATUITE

Carte mentale des algorithmes d'apprentissage automatique

Exemple de carte heuristique des algorithmes d’apprentissage automatique.

J’ai créé une carte mentale pratique de plus de 60 algorithmes organisés par type.

Téléchargez-le, imprimez-le et utilisez-le.

Obtenez également un accès exclusif au mini-cours par e-mail sur les algorithmes d’apprentissage automatique.

Apprendre les modèles LDA

LDA fait quelques hypothèses simplificatrices sur vos données :

  1. Que vos données soient gaussiennes, que chaque variable ait la forme d’une courbe en cloche lorsqu’elle est tracée.
  2. Que chaque attribut a la même variance, que les valeurs de chaque variable varient autour de la moyenne du même montant en moyenne.

Avec ces hypothèses, le modèle LDA estime la moyenne et la variance à partir de vos données pour chaque classe. Il est facile d’y penser dans le cas univarié (variable d’entrée unique) avec deux classes.

La valeur moyenne (mu) de chaque entrée (x) pour chaque classe (k) peut être estimée de la manière normale en divisant la somme des valeurs par le nombre total de valeurs.

muk = 1/nk * somme(x)

Où muk est la valeur moyenne de x pour la classe k, nk est le nombre d’instances avec la classe k. La variance est calculée pour toutes les classes comme la différence quadratique moyenne de chaque valeur par rapport à la moyenne.

sigma^2 = 1 / (n-K) * somme((x – mu)^2)

Où sigma^2 est la variance entre toutes les entrées (x), n est le nombre d’instances, K est le nombre de classes et mu est la moyenne pour l’entrée x.

Faire des prédictions avec LDA

LDA fait des prédictions en estimant la probabilité qu’un nouvel ensemble d’entrées appartienne à chaque classe. La classe qui obtient la probabilité la plus élevée est la classe de sortie et une prédiction est faite.

Le modèle utilise le théorème de Bayes pour estimer les probabilités. Brièvement, le théorème de Bayes peut être utilisé pour estimer la probabilité de la classe de sortie (k) étant donné l’entrée (x) en utilisant la probabilité de chaque classe et la probabilité des données appartenant à chaque classe :

P(Y=x|X=x) = (PIk * fk(x)) / somme(PIl * fl(x))

Où PIk fait référence à la probabilité de base de chaque classe (k) observée dans vos données d’entraînement (par exemple 0,5 pour une répartition 50-50 dans un problème à deux classes). Dans le théorème de Bayes, cela s’appelle la probabilité a priori.

PIk = nk/n

Le f(x) ci-dessus est la probabilité estimée que x appartienne à la classe. Une fonction de distribution gaussienne est utilisée pour f(x). En branchant la gaussienne dans l’équation ci-dessus et en simplifiant, nous nous retrouvons avec l’équation ci-dessous. C’est ce qu’on appelle une fonction de discrimination et la classe est calculée comme ayant la plus grande valeur sera la classification de sortie (y) :

Dk(x) = x * (muk/siga^2) – (muk^2/(2*sigma^2)) + ln(PIk)

Dk(x) est la fonction de discrimination pour la classe k étant donné l’entrée x, le muk, sigma^2 et PIk sont tous estimés à partir de vos données.

Comment préparer les données pour LDA

Cette section répertorie quelques suggestions que vous pouvez prendre en compte lors de la préparation de vos données pour une utilisation avec LDA.

  • Problèmes de classification. Cela peut aller de soi, mais LDA est destiné aux problèmes de classification où la variable de sortie est catégorique. LDA prend en charge la classification binaire et multiclasse.
  • Distribution gaussienne. L’implémentation standard du modèle suppose une distribution gaussienne des variables d’entrée. Envisagez de revoir les distributions univariées de chaque attribut et d’utiliser des transformations pour les rendre plus gaussiennes (par exemple, log et racine pour les distributions exponentielles et Box-Cox pour les distributions asymétriques).
  • Supprimer les valeurs aberrantes. Envisagez de supprimer les valeurs aberrantes de vos données. Ceux-ci peuvent fausser les statistiques de base utilisées pour séparer les classes dans LDA telles que la moyenne et l’écart type.
  • Même écart. LDA suppose que chaque variable d’entrée a la même variance. C’est presque toujours une bonne idée de normaliser vos données avant d’utiliser LDA afin qu’elles aient une moyenne de 0 et un écart type de 1.

Extensions à LDA

L’analyse discriminante linéaire est une méthode simple et efficace de classification. Parce qu’elle est simple et si bien comprise, il existe de nombreuses extensions et variantes de la méthode. Certaines extensions populaires incluent :

  • Analyse discriminante quadratique (AQQ): Chaque classe utilise sa propre estimation de la variance (ou de la covariance lorsqu’il existe plusieurs variables d’entrée).
  • Analyse discriminante flexible (FDA): Lorsque des combinaisons non linéaires d’entrées sont utilisées, telles que des splines.
  • Analyse discriminante régularisée (RDA): Introduit une régularisation dans l’estimation de la variance (en fait la covariance), modérant l’influence des différentes variables sur l’ADL.

Le développement original s’appelait l’analyse discriminante linéaire ou l’analyse discriminante de Fisher. La version multiclasse a été référée à l’analyse discriminante multiple. Celles-ci sont maintenant simplement appelées analyse discriminante linéaire.

Lectures complémentaires

Cette section fournit des ressources supplémentaires si vous cherchez à aller plus loin. Je dois créditer le livre An Introduction to Statistical Learning: with Applications in R, une description et la notation dans cet article ont été tirées de ce texte, c’est excellent.

Livres

Autre

Sommaire

Dans cet article, vous avez découvert l’analyse discriminante linéaire pour les problèmes de modélisation prédictive de classification. Tu as appris:

  • La représentation du modèle pour LDA et ce qui est réellement distinct d’un modèle appris.
  • Comment les paramètres du modèle LDA peuvent être estimés à partir des données d’entraînement.
  • Comment le modèle peut être utilisé pour faire des prédictions sur de nouvelles données.
  • Comment préparer vos données pour tirer le meilleur parti de la méthode.

Avez-vous des questions sur ce poste?

Laissez un commentaire et demandez, je ferai de mon mieux pour répondre.

Découvrez comment fonctionnent les algorithmes d’apprentissage automatique !

Algorithmes d'apprentissage machine Mater

Découvrez comment les algorithmes fonctionnent en quelques minutes

… avec juste de l’arithmétique et des exemples simples

Découvrez comment dans mon nouvel Ebook :
Maîtriser les algorithmes d’apprentissage automatique

Cela couvre explications et exemples de 10 meilleurs algorithmes, Comme:
Régression linéaire, k-Les voisins les plus proches, Machines à vecteurs de soutien et beaucoup plus…

Enfin, tirez le rideau sur
Algorithmes d’apprentissage automatique

Passer les universitaires. Juste des résultats.

Voir ce qu’il y a à l’intérieur

#Analyse #discriminante #linéaire #pour #lapprentissage #automatique