undefined
Blog > Data Collection > Post

Comment extraire le texte d'un fichier HTML en quelques secondes

Tuesday, July 26, 2022

Extraire le texte d'un fichier HTML est littéralement la même chose que copier et coller les informations d'une page Web dans un bloc-notes. Cela peut sembler simple, mais imaginez que vous deviez extraire du texte de milliers de fichiers HTML (pages Web), ce ne serait pas aussi amusant. En fait, l'extraction de texte des pages Web a de nombreux usages pratiques, pour n'en citer que quelques-uns :

 

  • Télécharger les blogs des pages web
  • Téléchargez tous les articles d'actualité d'un site Web spécifique
  • Extraire des informations sur les produits, telles que l'SKU, le modèle et la description, de sites de e-commerce comme Amazon et eBay
  • Extraire uniquement le texte de la page Web, sans les tableaux, les images ou d'autres formes de données
  • Nettoyez un fichier HTML désordonné pour n'inclure que le contenu lisible du fichier

 

 

 

 

Comment le texte est intégré à un fichier HTML

Quelle que soit la raison pour laquelle vous souhaitez extraire le texte d'un fichier HTML, il est utile d'en savoir un peu plus sur la façon dont les textes ou les différents types de données sont intégrés dans un fichier HTML avant de commencer à travailler.

 

Le principal élément d'un fichier HTML est un tableau d'éléments dans lequel sont intégrés tous les types de données, y compris le texte. Ces éléments sont organisés d'une certaine manière pour constituer la structure d'une page Web.

 

Voici un exemple tiré d'un des exercices HTML de W3School :

 

<p>

This paragraph

contains a lot of lines

in the source code,

but the browser 

ignores it.

</p>

 

Vous pouvez voir ce qui est ci-dessus comme un élément. <p> and </p> comme les balises (la première marque une début et la seconde une fin). Text est souvent enveloppé entre les balises telles que <p>, <span> et <h>, etc.

 

Comprendre la structure d'un fichier HTML serait utile si vous souhaitez uniquement extraire un élément de données particulier du fichier HTML (ou de la page web). et c'est exactement là que Xpath entre en jeu - un langage d'interrogation permettant de sélectionner des éléments dans un document XML/HTML.

 

 

Comment extraire des textes du HTML

 Il y a deux choses que vous pouvez essayer pour récupérer le texte des fichiers HTML. 

 

 

Langage de programmation

Pour ces documents HTML simple, les personnes ayant des connaissances de base en codage choisiraient d'écrire un programme pour supprimer toutes les balises HTML et ne conserver que le texte dans les fichiers HTML, en utilisant une expression régulière ou XPath. Il existe plusieurs langages de programmation largement utilisés, tels que C#, Java, Python, JS, PHP, Go et NodeJs, qui sont disponibles pour les programmeurs informatiques.

 

Certains de ces langages ont leur propre analyseur syntaxique pour le HTML qui est disponible gratuitement. Vous en saurez plus sur ces analyseurs syntaxiques en cliquant ici.

https://en.wikipedia.org/wiki/Comparison_of_HTML_parsers

 

 Tester et déboguer vos codes peut prendre un certain temps, ce qui est à prévoir si vous avez une quelconque expérience du codage. 

 

 

Outils d'Extraction de Données sur le Web

Il existe de nombreux outils d'extraction Web performants, tels qu'Octoparse, qui vous permettent de récupérer presque tout ce qui se trouve sur la page Web, y compris le texte, les liens, les images, etc. Vous pouvez convertir tout ce que vous obtenez dans un format de données structuré.

 

Aucun codage requis, c'est donc une bonne option pour ceux qui n'ont aucune expérience du codage. Dans la plupart des cas, vous n'avez pas besoin d'écrire des expressions régulières ou XPath, mais ce sera toujours un plus si vous voulez répondre à des exigences de données plus sophistiquées. Octoparse, étant donné qu'il est conçu pour les non-codeurs, est doté d'une interface conviviale qui vous permet d'interagir facilement avec les pages Web. Il est facile de gérer et d'exporter les données sans IDE.

 

Conseils:

Si vous n'êtes pas un programmeur, le mode de détection automatique d'Octoparse vous sera extrêmement utile pour commencer. Le logiciel détectera automatiquement la page Web et organisera pour vous les précieuses données dans une feuille de calcul.

 

Voici quelques guides pratiques qui pourraient vous intéresser :

1.Comment obtenir des millions d'annonces sur leboncoin.fr en quelques clics ?

2Yelp scraping pour obtenir les données de commerces de Yelp

 

 

Exemple d'extraction HTML

Si vous êtes encore un nouveau venu dans un langage de programmation mais que vous souhaitez télécharger des informations à partir de pages Web avec empressement, un outil de scraping Web peut vous être extrêmement utile. L'algorithme d'auto-détection d'Octoparse facilite le scraping de données pour les non-codeurs. Pour la plupart des pages Web, vous pouvez le faire en trois étapes simples.

 

  • Entrez l'URL ciblé
  • Lancer l'auto-détection
  • Exécutez la tâche d'extraction de données 

 

Je prends cette page comme exemple : https://techcrunch.com/

Supposons que vous souhaitiez récupérer les blogs de Techcrunch (ou de tout autre site Web similaire), il suffit d'entrer l'URL dans Octoparse et de lancer l'autodétection. Vous obtiendrez un scraper qui vous aidera à obtenir les données structurées comme ci-dessous :

 

 techcrunch

 

 

En cliquant sur le bouton "Enregistrer", vous avez un scraper à votre disposition. Vous pouvez lancer le scraper chaque fois que vous avez besoin des données ou le programmer pour qu'il vous transmette régulièrement des données. 

extraction des données

 

Si vous optez pour des exécutions locales, vous pourrez voir le processus fonctionner en temps réel. Une fois la tâche terminée, vous pouvez télécharger les données dans Excel, CSV ou JSON. Avec l'aide d'Octoparse, l'extraction de données de fichiers HTML peut être aussi simple que cela.

 

Téléchargez Octoparse dès maintenant et essayez-le vous-même. Suivez ce tutoriel étape par étape pour obtenir les données dont vous avez besoin sur n'importe quel site Web. 

 

Téléchargez Octoparse pour démarrer le web scraping ou contactez-nous pour des autres
questions sur le web scraping !

Contactez-Nous Télécharger
Nous utilisons des cookies pour améliorer votre expérience de navigation. Découvrez comment nous utilisons les cookies et comment vous pouvez les contrôler en cliquant sur les paramètres des cookies. Si vous continuez à utiliser ce site, vous consentez à notre utilisation des cookies.
Accepter Rejeter