Il est excité que vous soyez sur le point de terminer votre première tâche de scraping? Il y a seulement une chose que vous devriez faire (ou mieux faire) avant d'exécuter officiellement votre tâche: testez votre flux de travail étape par étape pour vous assurer que tout fonctionne comme prévu. Avec une exécution de test, vous pouvez vérifier si vous devez ajuster vos paramètres de tâche pour obtenir les données correctement.

Pour illustrer le processus, nous continuerons à utiliser le site de test comme exemple: http://test-sites.octoparse.com/?product_cat=e-commerce-category-1).

 

Étapes de test de Workflow

Les étapes du flux de travail doivent toujours être lues de haut en bas et de l'intérieur vers l'extérieur pour les étapes imbriquées.
 

Donc, par exemple, nous devrions tester les étapes dans cet ordre:

  1. "Aller à la page Web" → tester si la page Web se charge correctement
  2. "Pagination" → tester si le Bouton Page suivant est correctement localisé
  3. "Cliquer pour paginer" → tester si la page Web pagine correctement
  4. "Loop Item" → tester si la liste des items est complète et correcte
  5. "Extraire les données" → tester si les données sont sélectionnées et extraites correctement

2.png

Il vaut la peine que toutes les tâches ne sont pas créées de la même manière, vous pouvez avoir une tâche complètement différente à tester, mais la méthodologie de test peut généralement être étendue à des tâches de toutes sortes. Nous commençons!

 

1. Cliquer sur "Aller à la page Web"

Une fois que vous avez cliqué sur cet étape, il devrait charger la page Web dans le navigateur intégré. Si la page Web se charge bien, il n'y a pas grand-chose à ajuster; Mais, il vaut mieux que vous faites attention aux certaines choses.

1.1 Si la page Web se charge avec un défilement vers le bas à l'infini → vous voulez sélectionner "Faire défiler la page vers le bas après son chargement" et compléter les paramètres appropriés.
 

mceclip1.png

 

1.2 Si la page Web se charge plus de temps que d'habitude → vous voudrez peut-être augmenter le délai d'expiration de la page.

mceclip2.png

 

2. Cliquer sur la case "Pagination"

Afin que la pagination fonctionne de manière cohérente, nous devons vérifier deux choses.

  • Si le bouton de la Page Suivante / flèche  est correctement localisé.
  • Si le processus de pagination fonctionne bien sur toutes les pages, c'est à dire, il doit paginer correctement de la page-1 à la page-2, de la page-2 à la page-3, de la page-3 à la page-4, etc.

Après avoir cliqué sur la boîte de pagination, accédez à l'élément en surbrillance sur la page Web et confirmez s'il s'agit du bon bouton Page Suivante. Si vous n'avez pas le vrais bouton Suivant, vous devrez peut-être le corriger manuellement en modifiant le XPath correspondant.

mceclip3.png

 

3.  Cliquer sur "Cliquer pour paginer"

Quand vous cliquez sur "Cliquer pour paginer", vous indiquez littéralement à Octoparse de cliquer sur le bouton Page Suivant défini à l'étape-2. Si les choses fonctionnent correctement, cela devrait passer de la page-1 à la page-2. Répétez ce processus en deux étapes (cliquez sur la case "Pagination" puis sur "Cliquez pour paginer") autant de fois que nécessaire pour vous assurer que la pagination fonctionne correctement sur toutes les pages séquentielles. Si la page Web ne pagine pas correctement sur l'une des pages, corrigez l'élément XPath à l'étape 2 et testez à nouveau.

Gif5.gif

 

Tips!

Vérifiez ces idées de dépannage de pagination:

 

4. Cliquer sur la case "Loop Item"

Tester l '"Loop Item"  est essentiellement pour confirmer si tous les éléments souhaités ont été sélectionnés correctement.

Une fois cliqué, accédez à la page Web dans le navigateur intégré et assurez-vous que tous les éléments dont vous avez besoin sont mis en surbrillance.

loop.gif

Ou, vous pouvez également cliquer sur ouvrir l'icône de liste pour charger la liste des éléments et confirmer si la liste est complète.
 

mceclip4.png

 

5. Cliquer sur "Extraire les données"

Voici la dernière étape - vérifiez si les données sont extraites au besoin.

Une fois cliqué, vérifiez les données dans la section d'aperçu et confirmez si ce sont les données dont vous avez besoin.
 

mceclip5.png

Tips!

Si vous voyez des champs vides ou si vous trouvez des données mal placées, vous pouvez vérifier ces idées de dépannage:

 

Effectuer un test de fonctionnement

Après avoir parcouru chaque étape du flux de travail des tâches, c'est le moment idéal pour effectuer un test sur votre appareil local. Cliquer sur "Exécuter" et sélectionner "Exécuter la tâche sur votre appareil".

mceclip6.png

Maintenant, regardez directement vos données extraites !

1.png

 

Tips!

Vérifier la FAQ ci-dessous pour savoir pourquoi vous n'obtenez pas les données ce dont vous avez besoin.
 

Si aucune de ces solutions ne résout le problème, vous pouvez visiter notre Centre d'aide ou nous-contacter pour obtenir de l'aide.

 

Maintenant, vous savez que votre tâche fonctionne correctement, c'est l'heure d'obtenir des données pour de vrais>> Leçon 5: Obtenir des données

 

Artículo en español: Lesson 4: Test-run la tarea

También puede leer artículos de web scraping en el sitio web oficial