undefined

Que dois-je faire lorsque ma tâche s'exécute lentement ? (Version 8)

Friday, June 25, 2021 9:40 AM

Il peut être un grand défi pour les utilisateurs de trouver des moyens pour accélérer leurs tâches, en particulier lorsqu'il s'agit des tâches compliquées. Cet article est conçu pour vous aider à accélérer des tâches qui s'exécutent avec une vitesse très faible. Plus précisément, nous vous guiderons à passer en revue tous les facteurs possibles pour trouver la cause principale du problème, l'environnement local, la structure du site Web ou simplement les paramètres de tâche par exemple.

 

Situation 1: Il y a trop d'étapes dans le flux de travail.

Résolution: 

  • Simplifier votre tâche

De nombreuses étapes pourraient rendre le flux de travail trop compliqué. Il est donc essentiel de simplifier votre flux de travail en supprimant certaines étapes inutiles, telles que les actions de clic. Il vaut mieux d'utiliser l'URL d'élément proche afin de rendre votre tâche plus simple et efficace.

Par exemple, si vous voulez extraire des information de lunettes 3D à partir d'Amazon, vous devriez éviter la situation suivante: cliquer sur des éléments couche par couche pour accéder à la page du produit.

mceclip1.png

Il vaut mieux d'utiliser directement l'URL de la page produit du verre 3D pour démarrer votre tâche.

mceclip2.png

  • Diviser votre tâche

Lorsqu'il y a une liste d'éléments à cliquer dans votre tâche pour obtenir des données, vous pouvez essayer de la diviser en deux.

Tâche 1: Obtenir la liste d'URL pour chaque entrée à partir de la page de liste

Tâche 2: Utiliser la liste d'URL obtenue à la première étape pour configurer une nouvelle tâche pour extraire les données de la page de détail.

Vous pouvez consulter cet exemple en tant que référence : Scraper des informations de produits de Target.com

 

Situation 2: Le site Web applique AJAX mais vous ne l'avez pas configuré.

Résolution:

  • Définir un délai AJAX approprié

De nombreux sites Web utilisent la technique AJAX pour mettre à jour les informations sans la peine de recharger la page Web entière continuellement. Si vous voulez scraper une page chargée avec AJAX, mais sans la configurer un délai d'attente, il y a de grande chance que la tâche se bloque et fonctionne très lentement. Un délai AJAX approprié permettra au processus d'extraction de se dérouler doucement.

mceclip3.png

Tips:

Pour plus de détails sur les paramètres de délai AJAX, veuillez vous référer à Manipulation d'AJAX

 

Situation 3: L'environnement local n'est pas bon (exécutions locales).

Résolution:

  • Améliorer l'environnement local

Si l'extraction locale est trop lente, c'est probablement dû à l'environnement local, tel que le système d'exploitation, la capacité matérielle, l'adresse IP, la bande passante du réseau, les performances du processeur, etc. Vous devrez vérifier manuellement l'état actuel de tous les facteurs connexes ici mentionnés.

  • Exécuter les tâches dans le Cloud (utilisateurs Premium uniquement)

Évidemment, ce genre de problèmes est plus difficile pour réglé ou résolu. Cependant, exécuter les tâches dans le Cloud sera une solution plus efficace et réalisable, qui vous permettra de profiter d'une extraction de données plus rapide avec Octoparse.

Vous pouvez apprendre à accélérer les tâches en suivant ce tutoriel : Comment puis-je accélérer les extractions dans le Cloud?(Version 8)

Tips:

Vous pouvez vous référer à "Qu'est-ce que l'extraction dans le cloud ? pour plus de détails sur l'extraction dans le cloud. 

 

Situation 4: Le site Web prend plus de temps pour chargercomplètement son contenu

Lorsqu'un site Web contient trop d'éléments tels que des images ou des vidéos, la vitesse de chargement des pages Web sera beaucoup ralentie. C'est un autre facteur important qui pourrait ralentir la vitesse d'exécution globale de certaines tâches.

Résolution: Désactiver le chargement des images

Nous pouvons choisir de ne pas charger les images de pages Web pour raccourcir le temps de chargement de pages.

  • Ouvrez le paramétrage de tâche

1.png

  • Cochez "Désactiver le chargement des images" et cliquez sur "Enregistrer"

2.png

 

*Notez que l'option "Désactiver le chargement des images" peut parfois entraîner un échec du chargement de page. Si vous constatez que la tâche ne fonctionne pas correctement après l'avoir sélectionnée, veuillez annuler cette option.

 

Si vous avez des questions, vous pouvez soumettre une demande ici. Notre équipe d'assistance vous répondra dans les 24 heures.

 

Auteur: Lesley

Editeur: Yina

 

Les articles récemment consultés

Nous utilisons des cookies pour améliorer votre expérience de navigation. Découvrez comment nous utilisons les cookies et comment vous pouvez les contrôler en cliquant sur les paramètres des cookies. Si vous continuez à utiliser ce site, vous consentez à notre utilisation des cookies.
Accepter Rejeter