9.0 KiB
title, description
| title | description |
|---|---|
| Tester l’extraction de données dans le shell interactif de Scrapling | Récupérez des pages, testez des sélecteurs et vérifiez les résultats dans un shell IPython. Convertissez des commandes curl, réutilisez les réponses récentes et testez votre code. |
Guide du shell interactif de Scrapling
<script src="https://asciinema.org/a/736339.js" id="asciicast-736339" async data-autoplay="1" data-loop="1" data-cols="225" data-rows="40" data-start-at="00:06" data-speed="1.5" data-theme="tango"></script>Un environnement REPL d’extraction de données web pour les développeurs et les spécialistes des données
Le shell interactif de Scrapling est un environnement basé sur IPython, conçu pour extraire des données web. Il donne accès à toutes les fonctions de Scrapling, à des raccourcis pratiques, à la gestion automatique des pages et à des outils comme la conversion de commandes curl.
!!! success "Avant de commencer"
1. Lisez la page sur les [bases des fetchers](../fetching/choosing.md) pour comprendre l’[objet Response](../fetching/choosing.md#response-object) et choisir un fetcher.
2. Lisez la page sur la [sélection d’éléments](../parsing/selection.md) pour apprendre à trouver et extraire des éléments d’un objet [Selector](../parsing/main_classes.md#selector)/[Response](../fetching/choosing.md#response-object).
3. Lisez la page des [classes principales](../parsing/main_classes.md) pour connaître les propriétés et méthodes héritées par [Response](../fetching/choosing.md#response-object) de [Selector](../parsing/main_classes.md#selector).
4. Lisez au moins une page de la section des fetchers pour les requêtes que vous utiliserez ici : [requêtes HTTP](../fetching/static.md) ou [récupération avec un navigateur](../fetching/stealthy.md).
Pourquoi utiliser le shell interactif ?
Le shell interactif permet d’explorer et de tester tout de suite, sans modifier puis exécuter un script à chaque essai. Il est utile pour :
- Créer rapidement des prototypes : Testez vos méthodes d’extraction sur le moment.
- Explorer les données : Parcourez des sites et extrayez leurs données de façon interactive.
- Apprendre Scrapling : Essayez ses fonctions en temps réel.
- Déboguer des scrapers : Suivez les requêtes et vérifiez leurs résultats étape par étape.
- Convertir des commandes : Transformez une commande curl des DevTools du navigateur en requête Fetcher avec une ligne.
Premiers pas
Lancer le shell
# Start the interactive shell
scrapling shell
# Execute code and exit (useful for scripting)
scrapling shell -c "get('https://quotes.toscrape.com'); print(len(page.css('.quote')))"
# Set logging level
scrapling shell --loglevel info
Au lancement, vous verrez la bannière de Scrapling et pourrez commencer à extraire des données, comme dans la vidéo ci-dessus :
# No imports needed - everything is ready!
get('https://news.ycombinator.com')
# Explore the page structure
page.css('a')[:5] # Look at first 5 links
# Refine your selectors
stories = page.css('.titleline>a')
len(stories) # 30
# Extract specific data
for story in stories[:3]:
title = story.text
url = story['href']
print(f"{title}: {url}")
# Try different approaches
titles = page.css('.titleline>a::text') # Direct text extraction
urls = page.css('.titleline>a::attr(href)') # Direct attribute extraction
Raccourcis intégrés
Le shell propose des raccourcis pour éviter le code répétitif :
get(url, **kwargs)- Requête HTTP GET (au lieu deFetcher.get).post(url, **kwargs)- Requête HTTP POST (au lieu deFetcher.post).put(url, **kwargs)- Requête HTTP PUT (au lieu deFetcher.put).delete(url, **kwargs)- Requête HTTP DELETE (au lieu deFetcher.delete).fetch(url, **kwargs)- Récupération avec le navigateur Stealthy (au lieu deStealthyFetcher.fetch).
Les classes les plus courantes sont disponibles sans importation, notamment Fetcher, AsyncFetcher, StealthyFetcher et Selector.
Gestion automatique des pages
Le shell suit vos requêtes et vos pages :
-
Accès à la page actuelle
pageetresponsesont mis à jour automatiquement avec la dernière page récupérée :get('https://quotes.toscrape.com') # 'page' and 'response' both refer to the last fetched page page.url # 'https://quotes.toscrape.com' response.status # Prints 200; Same as page.status -
Historique des pages
pagesconserve les cinq dernières pages dans un objetSelectors:get('https://site1.com') get('https://site2.com') get('https://site3.com') # Access last 5 pages len(pages) # `Selectors` object with `page` history -> 3 pages[0].url # First page in history -> 'https://site1.com' pages[-1].url # Most recent page -> 'https://site3.com' # Work with historical pages for i, old_page in enumerate(pages): print(f"Page {i}: {old_page.url} - {old_page.status}")
Autres commandes utiles
Afficher la page
Ouvrez les pages récupérées dans votre navigateur :
get('https://quotes.toscrape.com')
view(page) # Opens the page HTML in your default browser
Intégration des commandes curl
Le shell fournit les fonctions uncurl et curl2fetcher pour convertir les commandes curl des DevTools du navigateur en requêtes Fetcher.
Commencez par copier une requête sous forme de commande curl :
-
Convertir une commande curl en objet de requête
curl_cmd = '''curl 'https://scrapling.requestcatcher.com/post' \ -X POST \ -H 'Content-Type: application/json' \ -d '{"name": "test", "value": 123}' ''' request = uncurl(curl_cmd) request.method # -> 'post' request.url # -> 'https://scrapling.requestcatcher.com/post' request.headers # -> {'Content-Type': 'application/json'} -
Exécuter directement une commande curl
# Convert and execute in one step curl2fetcher(curl_cmd) page.status # -> 200
Fonctions d’IPython
Le shell hérite de toutes les fonctions d’IPython :
# Magic commands
%time page = get('https://example.com') # Time execution
%history # Show command history
%save filename.py 1-10 # Save commands 1-10 to file
# Tab completion works everywhere
page.c<TAB> # Shows: css, cookies, headers, etc.
Fetcher.<TAB> # Shows all Fetcher methods
# Object inspection
get? # Show get documentation
Exemples
Voici quelques exemples générés avec l’IA :
Collecter des données de boutiques en ligne
# Start with product listing page
catalog = get('https://shop.example.com/products')
# Find product links
product_links = catalog.css('.product-link::attr(href)').getall()
print(f"Found {len(product_links)} products")
# Sample a few products first
for link in product_links[:3]:
product = get(catalog.urljoin(link))
name = product.css('.product-name::text').get('')
price = product.css('.price::text').get('')
print(f"{name}: {price}")
# Scale up with sessions for efficiency
from scrapling.fetchers import FetcherSession
with FetcherSession() as session:
products = []
for link in product_links:
product = session.get(catalog.urljoin(link))
products.append({
'name': product.css('.product-name::text').get(''),
'price': product.css('.price::text').get(''),
'url': link
})
Intégrer et tester des API
>>> # Test API endpoints interactively
>>> response = get('https://jsonplaceholder.typicode.com/posts/1')
>>> response.json()
{'userId': 1, 'id': 1, 'title': 'sunt aut...', 'body': 'quia et...'}
>>> # Test POST requests
>>> new_post = post('https://jsonplaceholder.typicode.com/posts',
... json={'title': 'Test Post', 'body': 'Test content', 'userId': 1})
>>> new_post.json()['id']
101
>>> # Test with different data
>>> updated = put('https://jsonplaceholder.typicode.com/posts/1',
... json={'title': 'Updated Title'})
Obtenir de l’aide
Si vous avez besoin d’aide au-delà de celle proposée dans le terminal, consultez :
Voilà ! Bonne extraction. Avec le shell, extraire des données web devient aussi simple qu’une conversation.