Maintenant, vous avez terminé la création de votre première tâche de scraping et savez comment exécuter la tâche pour obtenir les données dont vous avez besoin. Passez au niveau supérieur et découvrez comment vous pouvez rendre vos routines de scraping quotidiennes plus efficaces et efficientes en utilisant la planification des tâches, l'exportation automatique des données et l'API.

 

Planification des Tâches

Si vous planifiez d'extraire régulièrement des données, la planification des tâches est exactement ce dont vous avez besoin et gagne beaucoup de temps. Vous pouvez planifier votre tâche pour qu'elle s'exécute une seule fois, selon un calendrier récurrent ou même de manière répétée, telle que toutes les 1 min, 5 mins, 10 mins ou 30 mins.

1. Cherchez votre tâche sur le tableau de bord, cliquez sur l'icône "show more" puis choisissez "Cloud runs" et sélectionnez "Set schedule".

 

987654.png

 

Vous pouvez également configurer des planifications locales pour exécuter régulièrement les tâches sur votre appareil.

 

7099.png

 

2. Choisissez à quelle fréquence vous souhaitez exécuter la tâche.
 

 1379.png

 

3. Pour la réapparition de crawls, sélectionnez le jour de la semaine / jour du mois et l'heure de la journée pour exécuter votre tâche.

 

monthly.png

weekly1.png

 

Pour répéter les crawls, sélectionnez l'intervalle de temps souhaité

 interval.png

 

4. Vous pouvez aussi enregistrer le paramètre pour une utilisation plus tard. Donnez un nom au paramètre et cliquez sur "Save". Par conséquent, vous pouvez toujours sélectionner le paramètre de planification enregistré et l'appliquer directement à toute autre tâche.
 

saveschedule.gif

 

5. Une fois que tout est fait. Cliquez sur "Save and Run" pour commencer immédiatement à exécuter la tâche selon le calendrier. 

save_and_run.png

 

6. Une fois que vous avez configuré le calendrier, Il est facile de l'activer et le désactiver en cliquant sur l'icône "show more" sur le tableau de bord, puis sélectionnez "Cloud runs", vous pouvez y choisir "Schedule ON" ou "Schedule OFF".
 

mceclip0.png

 

 

7. Lorsqu'une tâche est planifiée, vous verrez la prochaine exécution sur le Tableau de Bord. Cliquez sur le signe + sur le tableau de bord, puis sélectionnez «Next Run». De cette façon, vous aurez une image claire des tâches planifiées et de la date prévue de la prochaine exécution.

nextrun.png

 

Exportation-auto des données (pour les données Cloud)

L'exportation des données dans la base de données peut aussi être automatisée et planifiée. Si vous avez besoin d'exporter régulièrement des données dans vos bases de données, la planification de l'exportation des données peut faciliter votre travail.
 

1. Chargez les données cloud pour votre tâche.
 

2. Cliquez sur "Export Data"

exportdata3.png

 

3. Cliquez sur "Auto-export dans la base de données", puis sélectionnez le type de base de données dont vous disposez.

database.png

 

4. Tout d'abord, Complétez les informations pour vous connecter à votre base de données. Cliquez sur "Test connection" pour tester si la base de données est connectée avec succès. 

mceclip0__1_.png

 

Ensuite, cliquez sur "Next" pour continuer.

 

5. Enfin, cliquez sur "Next" pour terminer le processus.

sqldone.png

 

API

Grâce à l'API Octoparse, vous pouvez exécuter des tâches de scraping, récupérer les données extraites et même modifier vos tâches de manière programmatique en les coordonnant avec votre propre application.

Consulter ce tutoriel étape par étape sur comment connecter avec l'API Octoparse ou voir la documentation de l'API pour plus de détails.

>> Leçon 7: Brève! Créez votre première tâche de scraping

 

Auteur : L'équipe Octoparse