Maintenant, vous avez terminé la création de votre première tâche de scraping et savez comment exécuter la tâche pour obtenir les données dont vous avez besoin. Passons au niveau supérieur et découvrons comment vous pouvez rendre vos routines de scraping quotidiennes plus efficaces et efficientes à l'aide de la planification des tâches, de l'exportation automatique des données et de l'API.

Planification des Tâches

Si vous planifiez d'extraire régulièrement des données, la planification des tâches est exactement ce dont vous avez besoin et gagne beaucoup de votre temps. Vous pouvez planifier votre tâche pour qu'elle s'exécute une seule fois, selon un calendrier récurrent ou même de manière répétée, telle que toutes les 1 min, 5 min, 10 min ou 30 min.

1. Cherchez votre tâche sur le tableau de bord, cliquez sur l'icône "more" puis choisissez "Cloud runs" et sélectionnez "Set schedule".

2. Choisissez à quelle fréquence vous souhaitez exécuter la tâche.
 

3. Pour la réapparition de crawls, sélectionnez le jour de la semaine / jour du mois et l'heure de la journée pour exécuter votre tâche.

Pour la répétition de crawls, sélectionnez l'intervalle de temps souhaité.

4. Vous pouvez aussi enregistrer le paramètre pour une utilisation plus tard. Donnez un nom au paramètre et cliquez sur "Save". Par conséquent, vous pouvez toujours sélectionner le paramètre de planification enregistré et l'appliquer directement à toute autre tâche.
 

5. Une fois que tout est fait. Cliquez sur "Save and Run" pour commencer immédiatement à exécuter la tâche selon le calendrier. Si vous souhaitez enregistrer seulement la planification, mais ne souhaitez pas encore exécuter la tâche selon la planification, cliquez sur «Save» à la place.

6. Une fois que vous avez configuré le calendrier, Il est facile de l'activer et le désactiver en cliquant sur l'icône Afficher plus sur le tableau de bord, puis sélectionnez "Cloud runs", vous pouvez y choisir "Schedule ON" ou "Schedule OFF".

Exportation-auto des données (pour les données Cloud)

L'exportation des données dans la base de données peut aussi être automatisée et planifiée. Si vous avez besoin d'exporter régulièrement des données dans vos bases de données, la planification de l'exportation des données peut faciliter votre travail.
 

1. Chargez les données cloud pour votre tâche.
 

2. Cliquez sur "Export Data"

3. Cliquez sur Ouvrir "Auto-export dans la base de données", puis sélectionnez le type de base de données dont vous disposez

4. Tout d'abord, Complétez les informations pour vous connecter à votre base de données. Cliquez sur "Test connection" pour tester si la base de données est connectée avec succès. Ensuite, cliquez sur "Next" pour continuer.

5. L'étape suivante consiste à tracer les champs de données et à choisir l'intervalle de temps souhaité pour l'exportation.
 

6. Enfin, cliquez sur "Next" pour terminer le processus.

API

Avec l'API d'Octoparse, vous pouvez exécuter des tâches de scraping, récupérer les données extraites et même modifier vos tâches par la coordination avec votre propre application

Consulter ce tutoriel étape par étape sur comment connecter avec l'API Octoparse ou voir la documentation de l'API pour plus de détails.