Web scraping dans le cloud
Automatisez la collecte de données web avec l'extraction dans le cloud
L'extraction dans le cloud exécute les tâches créées dans Octoparse sur les serveurs cloud d'Octoparse plutôt que sur votre PC. Vous pouvez ainsi maintenir une surveillance des prix quotidienne et une collecte récurrente sur plusieurs sites sans laisser votre ordinateur allumé.
L'extraction dans le cloud et les exécutions planifiées sont disponibles à partir de l'Offre Standard.
Déroulement d'une tâche cloud
Le flux après configuration, en un coup d'œil
Planification
Démarre chaque jour à 09h00
Extraction dans le cloud
S'exécute sans votre PC
Export de données
Enregistré et transmis au format voulu
Les durées d'exécution et les résultats réels varient selon la structure du site ciblé, son comportement de réponse et les paramètres de votre tâche.
Pourquoi choisir l'extraction dans le cloud
Une collecte de données web continue, indépendante de votre PC
En exécutant vos tâches sur les serveurs cloud d'Octoparse, votre dispositif de collecte ne dépend plus de la disponibilité d'une machine locale. Exécutions planifiées, tâches simultanées et export automatique après achèvement s'enchaînent dans un même flux.
PC ÉTEINT
S'exécute sans monopoliser votre machine
Pendant une extraction dans le cloud, vous n'avez pas besoin de garder Octoparse ouvert sur votre PC. Même les collectes longues laissent les postes de votre équipe libres pour d'autres travaux.
24 heures
Les tâches continuent dans le cloud
Vos tâches configurées s'exécutent dans l'environnement cloud d'Octoparse, indépendamment de l'état de votre PC ou de votre réseau interne.
Minutes, heures, jours
Des exécutions planifiées au rythme des mises à jour
Définissez une planification à la minute, à l'heure, au jour, à la semaine ou au mois et suivez en continu l'évolution des prix, des fiches d'établissements et plus encore.
Plusieurs tâches
Exécutez en parallèle à mesure que vous montez en charge
Exécutez en parallèle une tâche par site ciblé, dans la limite des exécutions et du nombre de serveurs cloud inclus dans votre offre.
Rotation d'IP
Les IP cloud tournent par sous-tâche
L'extraction dans le cloud utilise les IP cloud d'Octoparse et non celle de votre PC. Les IP tournent pour chaque sous-tâche et sont réattribuées aléatoirement à l'exécution suivante, ce qui réduit le risque que votre IP locale soit limitée à cause de requêtes concentrées.
Exécutions cloud incluses dans votre abonnement
24 h × 30 j
Faites tourner l'extraction dans le cloud tout le mois
À partir de l'Offre Standard, l'extraction dans le cloud est incluse dans votre abonnement mensuel ou annuel, sans facturation au temps d'exécution ni au nombre d'enregistrements. Vos tâches peuvent tourner en continu pendant toute la durée de l'abonnement, sans PC allumé.
Le nombre de serveurs cloud, d'exécutions simultanées et de tâches disponibles varie selon l'offre. Certains services, dont certains modèles, peuvent être facturés séparément.
Le fonctionnement de l'extraction dans le cloud
De la configuration aux données exploitables, en un seul flux
Quatre étapes couvrent tout ce dont vous avez besoin pour démarrer : créer la tâche, configurer l'environnement d'exécution, planifier l'extraction dans le cloud et exporter les données.
ÉTAPE 01
Créez votre tâche
Vous pouvez créer une tâche personnalisée en configurant vous-même les champs et les actions de page, ou partir d'un modèle prêt à l'emploi.
Deux façons de créer une tâche
Créer une tâche personnalisée
Chargez l'URL cible et configurez à l'écran les clics, la pagination, la connexion et les champs à capturer. Cette approche couvre les pages complexes et les besoins de collecte spécifiques.
Partir d'un modèle
Choisissez un modèle correspondant à votre site cible, saisissez des paramètres comme des mots-clés ou une zone géographique et lancez la collecte immédiatement.
Les tâches enregistrées sont réutilisables ; c'est à l'étape suivante que vous configurez les exécutions cloud et les planifications récurrentes.
Tâche personnalisée 
Pagesjaunes Business Info ScraperModèle 
ÉTAPE 02
Configurez l'exécution
Pour les tâches personnalisées, ouvrez les paramètres d'exécution avant de lancer la tâche afin d'ajuster l'environnement d'exécution, dont le navigateur intégré et le groupe de serveurs cloud. Vous pouvez choisir un environnement parmi des groupes de serveurs cloud situés dans plusieurs pays et régions, selon le site ciblé. En activant l'extraction incrémentale, les URL déjà collectées sont comparées afin de ne récupérer que les nouvelles pages. La comparaison porte au choix sur l'URL complète ou sur des paramètres d'URL précis.
- Régler le navigateur intégré et le User-Agent selon la tâche
- Choisir des groupes de serveurs cloud dans plusieurs pays et régions
- Diviser une tâche et l'exécuter en parallèle selon le nombre de serveurs cloud de votre offre
- Utiliser l'extraction incrémentale pour ignorer les URL déjà collectées et ne récupérer que les nouvelles pages
Ajustez l'environnement d'exécution et l'extraction incrémentale dans les paramètres d'exécution 
ÉTAPE 03
Définissez une planification
Sélectionnez la tâche, ouvrez le menu des exécutions planifiées et choisissez d'ajouter une planification d'extraction dans le cloud. Définissez la fréquence et l'heure de début : la tâche s'exécutera automatiquement dans le cloud selon cette planification.
Ajouter une planification d'extraction dans le cloud 
Définir la fréquence et l'heure de début 
Lancer une extraction dans le cloud ponctuelle
Pour n'exécuter qu'une seule fois sans enregistrer de planification, choisissez « Extraction dans le cloud » au lancement de la tâche. Le traitement a lieu sur les serveurs cloud d'Octoparse : votre PC n'est pas monopolisé et la tâche se poursuit même après son extinction.
Choisir « Extraction dans le cloud » et lancer 
Exécutions ponctuelles et planifiées depuis la CLI
Octoparse CLI permet de lancer une tâche une seule fois en ligne de commande, mais aussi de planifier des exécutions via cron, votre CI/CD ou votre ordonnanceur interne. Comme la planification est gérée de votre côté, les traitements nocturnes et les mises à jour régulières se déroulent sans que personne n'ouvre l'application.
En savoir plus sur la CLIÉTAPE 04
Enregistrez et intégrez
Exportez les données collectées directement sur votre machine aux formats Excel, CSV, JSON et autres. Vous pouvez également les envoyer vers Google Sheets, des bases de données et des stockages cloud comme Google Drive, Dropbox et Amazon S3. En configurant un export automatique lié à votre planification, les données arrivent à destination dès la fin de la tâche, prêtes à être consultées, partagées et exploitées.
Les destinations disponibles et les fonctions d'export automatique varient selon l'offre.
Choisir la destination et le format 
Exporter automatiquement après chaque exécutionVoir les paramètres
Combinez les planifications et l'export automatique pour transformer la collecte récurrente et la livraison vers votre destination en un seul flux automatisé.
Choisir ce qui est exporté automatiquement 
Indiquer la destination et le format d'export 
Choisir son environnement d'exécution
Extraction dans le cloud, extraction locale et solution maison
La bonne approche dépend de votre fréquence de collecte, du temps que vous pouvez consacrer à la maintenance et de vos besoins de montée en charge. Flask sert à exposer une logique Python via HTTP : l'infrastructure d'exécution, VPS compris, et sa maintenance restent à votre charge.
| Critère | Extraction dans le cloud Octoparse | Extraction locale Octoparse | Python auto-hébergé (VPS et Flask compris) |
|---|---|---|---|
| Cas d'usage | Surveillance récurrente, tâches multiples, exploitation continue sans PC | Essais, petites collectes ponctuelles, vérification immédiate des résultats | Logique sur mesure ou intégration poussée aux systèmes internes |
| Développement | En principe non nécessaire | En principe non nécessaire | Conception, développement et tests nécessaires |
| Exécutions planifiées | Planification disponible dans les offres concernées | Dépend de l'état de la machine | Gestion des jobs et des incidents à construire vous-même |
| Exploitation et maintenance | Vous vous concentrez sur les paramètres et les résultats des tâches | Vous vérifiez la machine, le réseau et la tâche | Vous maintenez le code, les serveurs, les dépendances et la supervision |
| Montée en charge | Plusieurs tâches dans la limite des exécutions de votre offre | Limitée par la puissance et la disponibilité de la machine | Dimensionnement des serveurs et pilotage des exécutions à concevoir |
Si une API officielle couvre les données et la fréquence de mise à jour dont vous avez besoin, commencez par en vérifier les conditions d'utilisation. Python convient pour un contrôle fin de traitements sur mesure ; Octoparse convient pour collecter en continu sans code.
Cas d'usage
Pour tout travail de suivi des mises à jour
Plus vous vérifiez souvent les mêmes informations dans les mêmes conditions, plus l'extraction dans le cloud et la planification sont rentables.
Voir tous les modèlesCollecte régulière de fiches d'établissements
Collectez régulièrement, par zone et par secteur, les raisons sociales et noms d'enseignes, adresses, numéros de téléphone, horaires et catégories, et suivez les ouvertures et les modifications de fiches. Utile pour actualiser vos listes de prospects, vos études d'implantation et vos analyses de zone de chalandise.
Utiliser un modèle de fiches d'établissementsSurveiller prix et stocks sur Amazon et ailleurs
Collectez régulièrement prix, stocks et avis sur les produits concurrents et sur vos propres références, depuis Amazon et d'autres sites e-commerce, pour suivre les évolutions et constituer un historique.
Voir le scraper AmazonSuivre les nouveaux articles, offres d'emploi et annonces
Capturez en continu les mêmes champs sur les articles, offres d'emploi et annonces immobilières publiés, et structurez le travail de vérification de vos équipes.
Voir les modèles d'offres d'emploiConstituer des données issues de plusieurs sites
Répartissez les tâches par site cible et par fréquence de mise à jour, et accumulez les données qui alimentent vos reportings hebdomadaires ou mensuels et vos analyses de marché.
Voir l'Offre EntrepriseStabilité et montée en charge
Exploitez des collectes longues et volumineuses dans le cloud
Dans les offres concernées, vous pouvez diviser des tâches pour les exécuter en parallèle et en gérer plusieurs à la fois. Plutôt que de tout concentrer sur une machine, organisez vos exécutions par site cible et par fréquence de mise à jour. Cela dit, le cloud seul ne garantit pas la réussite d'une extraction : prévoyez un dispositif permettant de vérifier les résultats.
Quatre points pour une exploitation durable
- Séparer les tâches par site cible et par fréquence de mise à jour
- Découper les tâches longues en plages plus petites et les répartir dans le temps
- Vérifier régulièrement le nombre d'enregistrements, les manques et les journaux d'exécution
- Analyser les échecs et les délais d'attente, corriger la cause et relancer
Lorsque vous faites du web scraping, vérifiez les conditions d'utilisation du site ciblé, son fichier robots.txt, les aspects liés aux données personnelles et au droit d'auteur, ainsi que la charge que vous générez.
Supervision de l'exploitation
Centralisez l'état d'exécution de toutes vos tâches via l'API
Dans les offres concernées, l'API Task Performance Analytics renvoie le nombre d'exécutions, le taux de réussite, le volume collecté et l'utilisation des ressources par jour, semaine ou mois. Intégrez-la à vos outils de supervision ou à vos rapports périodiques pour suivre plusieurs tâches dans la durée.
Une baisse soudaine du taux de réussite ou du volume collecté invite à vérifier si la structure ou les conditions d'accès du site ciblé ont changé. En cas d'anomalie, consultez les journaux d'exécution et les résultats, puis ajustez la tâche si nécessaire.
Consulter la référence de l'API d'analyse des tâchesExport et intégration
Exportez dans le format attendu par l'étape suivante
Choisissez la méthode adaptée à votre objectif : analyse sur votre poste, partage en équipe ou alimentation d'un système existant. Les destinations disponibles et les fonctions d'automatisation varient selon l'offre.
Excel et CSV
Exportez dans des formats faciles à manipuler dans un tableur et à partager en interne.
JSON et XML
Des formats adaptés au traitement des données et à la transmission vers d'autres outils.
Google Sheets
Alimentez une feuille que votre équipe peut consulter et partager.
API et bases de données
Les offres concernées permettent d'intégrer les données à vos processus existants.
Stockage cloud
Exportez vers Google Drive, Dropbox, Amazon S3 et d'autres services, pour le partage et les traitements ultérieurs.
Extraction dans le cloud et exécutions planifiées : questions fréquentes
Automatisez la collecte de données web que vous répétez
Commencez par créer une tâche de collecte, puis définissez la fréquence et le format de données dont vous avez besoin. Si vous comptez utiliser l'extraction dans le cloud et les exécutions planifiées, vérifiez les offres qui les incluent.