Scrapper & Classifieur de Decks pour MTGO

Magic Online / MTGO, Magic Duels, MWS, Cockatrice. Arena a son propre forum dédié
Avatar de l’utilisateur
yriel
Membre
Messages : 882
Inscription : 02 Juil 2012, 19:31

Scrapper & Classifieur de Decks pour MTGO

Messagepar yriel » 27 Jan 2020, 09:37

Bonjour à tous,

il y a 3 semaines je me suis lancé un petit projet qui consiste à résoudre un de mes "problèmes" c'est d'avoir des stats sur les résultats MTGO de façon efficace et automatique vu que je considère les preliminaries, challenges et QT MTGO comme les tournois à observer (à rajouter évidement MF, PT, MC mais du travail de stats est déjà fait sur ceux-là régulièrement par CFB par exemple et les données ne sont pas accessibles dans la même mesure à chaque fois).

Les objectifs sont :
- pouvoir récupérer toutes les listes MTGO (avec nom du joueur et score) sur un type de tournoi visé à une période visée (exemple : Pioneer Challenge du 01/01/20 au 10/01/20)
- classifier automatiquement les listes récupérées par des règles fixes (exemple : si il y a knight of ebon legion, bloodsoaked champion et scrapheap scrounger dans la liste je la classe dans mono noir aggro).
- faire des jolies stats sur les listes récupérées, que ce soit les fréquences des archétypes, l'évolution d'une carte dans un archétype ou ce qu'on veut dans l'absolu.

Quelques choix personnels :
- l'intégralité du code est en open-source, le but est aussi d'offrir un outil aux joueurs MTG qui s'engagent pas mal dans le jeu (mais j'ai pas pour objectif de faire une API pour les novices en informatique, juste un truc un plus malléable pour ceux qui connaissent au moins un terminal linux et savent taper des lignes de commande).
- je m'intéresse qu'au pioneer et au modern, libre aux gens de coder des règles pour d'autres formats.
- je suis data scientist au niveau pro donc utilisation de python et probablement un peu de machine learning plus tard pour le sport, pas la peine de me parler d'autres langages je fais avec les compétences que j'ai, mon but c'est pas d'apprendre à faire du java.
- je poste ici car je sais qu'il y a pas mal de devs ou des gens intéressés par ce genre de stats.
- un autre but pour flatter mon ego et offrir un truc à la communauté mtg c'est de diffuser ça sur reddit pour des contenus stats plus pertinents et de meilleure qualité.

Le projet git :
Spoiler: montrer
https://github.com/JulienRouar/mtgodecklists


Pour l'instant c'est utilisable en python uniquement et c'est pas documenté donc ça s'adresse aux gens qui maitrisent un peu python,
si vous êtes intéressés ou vous poser des questions, n'hésitez pas. Ca me permet d'avoir des retours sur ce que j'ai fait et vu le peu de temps qui j'y accorde en ce moment, de savoir quoi viser comme prochaines étapes ou quels trucs à corriger.
"What's the evil ?"
"Penguin is evil ."

Avatar de l’utilisateur
Monsieur S
Membre
Messages : 805
Inscription : 22 Mai 2015, 18:53

Re: Scrapper & Classifieur de Decks pour MTGO

Messagepar Monsieur S » 27 Jan 2020, 09:52

Mets une vraie license open source.

As-tu envisagé d'utiliser Scrapy (au lieu de Selenium) ?

Avatar de l’utilisateur
yriel
Membre
Messages : 882
Inscription : 02 Juil 2012, 19:31

Re: Scrapper & Classifieur de Decks pour MTGO

Messagepar yriel » 27 Jan 2020, 09:56

Yes merci du conseil, je suis novice sur github encore.

Je connais pas du tout scrappy, j'ai utilisé selenium car je le connaissais déjà et je l'ai trouvé vraiment bien foutu même pour des trucs un peu plus compliqués mais au moins pour le scrapping le site de wizards est bien foutu (j'aurais jamais cru dire ça de ma vie).
"What's the evil ?"
"Penguin is evil ."

Avatar de l’utilisateur
Monsieur S
Membre
Messages : 805
Inscription : 22 Mai 2015, 18:53

Re: Scrapper & Classifieur de Decks pour MTGO

Messagepar Monsieur S » 28 Jan 2020, 14:45

Je comprends pour Selenium. Le jour où tu as un peu de temps essaies de regarder Scrapy. J'ai cru comprendre que c'était souvent utilisé dans ton domaine.

Ce n'est pas à moi qu'il faut dire que le site de WotC est bien fait.


Revenir vers « Magic Online »

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 0 invité