Random state hacking

[Bézoukhov]

Dites les gars, vous faites quoi quand vous perdez 15% sur l’AUC en changeant le random state du train/test split ? (Mais que des gens ont entendu parler du premier AUC)

 

Cette base de données est vraiment toute pourrie. Trop de risques d’overfit.

[Mathieu_D]

Regularisation.

[Bézoukhov]

C'est les étapes suivantes ; c'est surtout le damage control en com' le truc :p. Après, je vais diffuser des résultats lundi en mettant en gros que ça a été fait sur un coin de table et attention à l'overfit.

[Mathieu_D]

T'as perdu 15% ou 15 points ? Si tu es passé de 85 à 70 d'AUC c'est vraiment la grosse catastrophe.

[Bézoukhov]

De 75% à 60% ouais :p . C'est pas tant la cata que ça parce qu'on est sur de l'analyse préliminaire à fond et que le data set est pourri, mais c'est relou ^^.

[Mathieu_D]

Avec quel algo ?

[Bézoukhov]

Une vieille régression logistique ; j'ai dit étude préliminaire :p. Mon objectif c'est surtout de dire aux mecs que les données sont insuffisantes et qu'il faut qu'ils bossent un peu.

[Mathieu_D]

Tu modélises quoi ?

[Bézoukhov]

Mmmh. Le forum est public ; c'est délicat à dire :p . Enfin, toute façon, y a 700 lignes pour 100 colonnes _o_.

[Mathieu_D]

Oulalala fait de la sélection de variables là avant la logistique. Ou pas de logistique.

Ou regulariser à fond.

 

Edit j'avais lu 1000 variables.

100 c'est trop ici quand même.

[Bézoukhov]

Je sais bien, c'est très exploratoire (plutôt pour aider à la sélection de variables d'ailleurs). M'enfin, c'est juste que tant de variation sur le train/test split ça m'ennuie ; je vais passer ma vie à faire du 5 folds maintenant.

[Noob]

Si tu veux faire de la sélection de variable c'est plus de l'analyse de corrélation et à la limite go full PCA, non ?

[Mathieu_D]

Sujet touchy la selection de variable. (redondance et pertinence)

[Bézoukhov]

Corrélations, aussi un peu de sens métier et tout.

L’idee initiale c’est surtout que cette séparation test/train m’a bien mis dedans.

[Solomos]

19 hours ago, Mathieu_D said:

Sujet touchy la selection de variable. (redondance et pertinence)

 

C'est là qu'est tout le plaisir.

[Mathieu_D]

1 minute ago, Solomos said:

 

C'est là qu'est tout le plaisir.

Alors la sélection de variables en non supervisés c'est encore plus fun !