- Changed the structure to make it easier to add others soon. - Moved the sponsors to a shared template between languages.
9.8 KiB
title, description
| title | description |
|---|---|
| جرّب استخراج بيانات الويب في بيئة Scrapling التفاعلية | اجلب الصفحات وجرّب المحددات وافحص النتائج في بيئة IPython. حوّل أوامر curl، وأعد استخدام الاستجابات الأخيرة، واختبر كود استخراج البيانات. |
دليل بيئة Scrapling التفاعلية
<script src="https://asciinema.org/a/736339.js" id="asciicast-736339" async data-autoplay="1" data-loop="1" data-cols="225" data-rows="40" data-start-at="00:06" data-speed="1.5" data-theme="tango"></script>بيئة REPL قوية لاستخراج بيانات الويب للمطورين وعلماء البيانات
بيئة Scrapling التفاعلية مبنية على IPython ومطوّرة خصيصًا لمهام استخراج بيانات الويب. تتيح الوصول الفوري إلى كل ميزات Scrapling، واختصارات مفيدة، وإدارة تلقائية للصفحات، وأدوات متقدمة مثل تحويل أوامر curl.
!!! success "قبل البدء"
1. اقرأ صفحة [أساسيات أدوات الجلب](../fetching/choosing.md) لتفهم [كائن Response](../fetching/choosing.md#response-object) وتعرف أداة الجلب المناسبة.
2. اقرأ صفحة [البحث عن العناصر](../parsing/selection.md) لتعرف كيفية العثور على العناصر واستخراجها من كائن [Selector](../parsing/main_classes.md#selector) أو [Response](../fetching/choosing.md#response-object).
3. اقرأ صفحة [الأصناف الرئيسية](../parsing/main_classes.md) لتعرف الخصائص والدوال التي يرثها [Response](../fetching/choosing.md#response-object) من [Selector](../parsing/main_classes.md#selector).
4. اقرأ صفحة واحدة على الأقل من قسم أدوات الجلب لاستخدامها هنا: [طلبات HTTP](../fetching/static.md) أو [الجلب بالمتصفح](../fetching/stealthy.md).
لماذا تستخدم البيئة التفاعلية؟
تحوّل البيئة التفاعلية استخراج البيانات من دورة بطيئة لكتابة السكربت وتشغيله إلى تجربة سريعة للاستكشاف. وهي مناسبة لـ:
- إنشاء نماذج أولية بسرعة: جرّب طرق استخراج البيانات فورًا.
- استكشاف البيانات: تنقّل في المواقع واستخرج البيانات بشكل تفاعلي.
- تعلّم Scrapling: جرّب الميزات وشاهد النتائج فورًا.
- تصحيح أدوات الاستخراج: نفّذ الطلبات خطوة بخطوة وافحص النتائج.
- تحويل طريقة العمل: حوّل أمر curl من أدوات المطور في المتصفح إلى طلب Fetcher في سطر واحد.
البدء
تشغيل البيئة التفاعلية
# Start the interactive shell
scrapling shell
# Execute code and exit (useful for scripting)
scrapling shell -c "get('https://quotes.toscrape.com'); print(len(page.css('.quote')))"
# Set logging level
scrapling shell --loglevel info
بعد التشغيل، تظهر لافتة Scrapling ويمكنك البدء مباشرة، كما يوضح الفيديو أعلاه:
# No imports needed - everything is ready!
get('https://news.ycombinator.com')
# Explore the page structure
page.css('a')[:5] # Look at first 5 links
# Refine your selectors
stories = page.css('.titleline>a')
len(stories) # 30
# Extract specific data
for story in stories[:3]:
title = story.text
url = story['href']
print(f"{title}: {url}")
# Try different approaches
titles = page.css('.titleline>a::text') # Direct text extraction
urls = page.css('.titleline>a::attr(href)') # Direct attribute extraction
الاختصارات المدمجة
توفر البيئة اختصارات مريحة لتقليل الكود المتكرر:
get(url, **kwargs): طلب HTTP GET بدلًا منFetcher.get.post(url, **kwargs): طلب HTTP POST بدلًا منFetcher.post.put(url, **kwargs): طلب HTTP PUT بدلًا منFetcher.put.delete(url, **kwargs): طلب HTTP DELETE بدلًا منFetcher.delete.fetch(url, **kwargs): جلب بمتصفح Stealthy بدلًا منStealthyFetcher.fetch.
تتوفر الأصناف الأكثر استخدامًا تلقائيًا دون استيراد، ومنها Fetcher وAsyncFetcher وStealthyFetcher وSelector.
إدارة الصفحات تلقائيًا
تتابع البيئة طلباتك وصفحاتك تلقائيًا:
-
الوصول إلى الصفحة الحالية
تُحدّث قيمتا
pageوresponseتلقائيًا لتشيرا إلى آخر صفحة جُلبت:get('https://quotes.toscrape.com') # 'page' and 'response' both refer to the last fetched page page.url # 'https://quotes.toscrape.com' response.status # Prints 200; Same as page.status -
سجل الصفحات
تحتفظ
pagesبآخر خمس صفحات، وهي كائن من نوعSelectors:get('https://site1.com') get('https://site2.com') get('https://site3.com') # Access last 5 pages len(pages) # `Selectors` object with `page` history -> 3 pages[0].url # First page in history -> 'https://site1.com' pages[-1].url # Most recent page -> 'https://site3.com' # Work with historical pages for i, old_page in enumerate(pages): print(f"Page {i}: {old_page.url} - {old_page.status}")
أوامر مفيدة أخرى
عرض الصفحة
اعرض الصفحات التي جلبتها داخل المتصفح:
get('https://quotes.toscrape.com')
view(page) # Opens the page HTML in your default browser
التكامل مع أوامر curl
توفر البيئة دالتين لتحويل أوامر curl من أدوات المطور في المتصفح إلى طلبات Fetcher: وهما uncurl وcurl2fetcher.
أولًا، انسخ طلبًا على هيئة أمر curl كما يلي:
-
تحويل أمر curl إلى كائن Request
curl_cmd = '''curl 'https://scrapling.requestcatcher.com/post' \ -X POST \ -H 'Content-Type: application/json' \ -d '{"name": "test", "value": 123}' ''' request = uncurl(curl_cmd) request.method # -> 'post' request.url # -> 'https://scrapling.requestcatcher.com/post' request.headers # -> {'Content-Type': 'application/json'} -
تنفيذ أمر curl مباشرة
# Convert and execute in one step curl2fetcher(curl_cmd) page.status # -> 200
ميزات IPython
ترث البيئة كل قدرات IPython:
# Magic commands
%time page = get('https://example.com') # Time execution
%history # Show command history
%save filename.py 1-10 # Save commands 1-10 to file
# Tab completion works everywhere
page.c<TAB> # Shows: css, cookies, headers, etc.
Fetcher.<TAB> # Shows all Fetcher methods
# Object inspection
get? # Show get documentation
أمثلة
إليك بعض الأمثلة التي أنشأها الذكاء الاصطناعي:
جمع بيانات المتاجر الإلكترونية
# Start with product listing page
catalog = get('https://shop.example.com/products')
# Find product links
product_links = catalog.css('.product-link::attr(href)').getall()
print(f"Found {len(product_links)} products")
# Sample a few products first
for link in product_links[:3]:
product = get(catalog.urljoin(link))
name = product.css('.product-name::text').get('')
price = product.css('.price::text').get('')
print(f"{name}: {price}")
# Scale up with sessions for efficiency
from scrapling.fetchers import FetcherSession
with FetcherSession() as session:
products = []
for link in product_links:
product = session.get(catalog.urljoin(link))
products.append({
'name': product.css('.product-name::text').get(''),
'price': product.css('.price::text').get(''),
'url': link
})
التكامل مع API واختبارها
>>> # Test API endpoints interactively
>>> response = get('https://jsonplaceholder.typicode.com/posts/1')
>>> response.json()
{'userId': 1, 'id': 1, 'title': 'sunt aut...', 'body': 'quia et...'}
>>> # Test POST requests
>>> new_post = post('https://jsonplaceholder.typicode.com/posts',
... json={'title': 'Test Post', 'body': 'Test content', 'userId': 1})
>>> new_post.json()['id']
101
>>> # Test with different data
>>> updated = put('https://jsonplaceholder.typicode.com/posts/1',
... json={'title': 'Updated Title'})
الحصول على المساعدة
إذا احتجت إلى مساعدة إضافية غير الموجودة في الطرفية، يمكنك الرجوع إلى:
هذا كل شيء! نتمنى لك تجربة موفقة. تجعل البيئة التفاعلية استخراج بيانات الويب سهلًا مثل المحادثة.