NodeMaven - 웹 스크래핑과 자동화를 위한 가장 효율적인 프록시 제공업체로, 시장에서 가장 높은 품질의 IP를 제공합니다. SCRAPLING2X - 블랙 프라이데이 기념 트래픽 2배
Scrapling은 Cloudflare Turnstile을 처리합니다. 기업용 보호 기능을 우회해야 한다면, Hyper Solutions가 Akamai, DataDome, Kasada, Incapsula용 유효한 안티봇 토큰을 생성하는 API 엔드포인트를 제공합니다. 간단한 API 호출만으로 사용할 수 있으며 브라우저 자동화는 필요 없습니다.
Evomi: 레지덴셜 프록시를 GB당 $0.49부터 제공합니다. 브라우저 지문을 완전히 위장한 Chromium 기반 스크래핑 브라우저, 레지덴셜 IP, 자동 CAPTCHA 처리, 봇 차단 우회를 지원합니다. Scraper API로 번거로움 없이 결과를 얻으세요. MCP 및 N8N 연동도 지원합니다.
TikHub.io는 TikTok, X, YouTube, Instagram 등 16개 이상 플랫폼에서 900개 이상의 안정적인 API를 제공하며, 4,000만 이상의 데이터셋을 보유하고 있습니다. 할인된 AI 모델도 제공합니다. Claude, GPT, GEMINI 등을 최대 71% 할인된 가격으로 이용할 수 있습니다.
Swiftproxy는 195개국 이상에서 8천만 개 이상의 IP를 갖춘 확장 가능한 주거용 프록시를 제공하며, 빠르고 안정적인 연결, 자동 프록시 교체, 강력한 차단 방지 기능을 제공합니다. 무료로 체험할 수 있습니다.
Byteful은 윤리적으로 확보한 주거용, 모바일, ISP 및 데이터센터 프록시와 스크래핑 및 AI 자동화 도구를 제공합니다. 코드 SCRAPLING10을 사용하면 주거용 프록시를 10% 할인받을 수 있습니다.
ProxyLane: Scrapling 실행 시 CAPTCHA를 90% 줄입니다. 실제 P2P 주거용 기기 2,800만 대, 클린 IP 비율 98.7%, 195개 국가. 도시/ISP/우편번호(ZIP) 지정과 고정/순환 IP 세션을 지원하며 트래픽은 만료되지 않습니다. $1.95로 350 MB를 사용해 보세요. 코드 SCRAPEANDTAKE를 사용하면 25% 할인을 받을 수 있습니다.
LundProxy: GB당 요금을 내지 않아도 됩니다. 무제한 주거용 프록시 트래픽과 1억 개 이상의 IP를 제공하며 190개 이상의 국가를 지원합니다. 대역폭에 따라 요금을 지불하세요. 50 Mbps 주거용 프록시 무료 체험을 신청하세요.
Resolvr: 대규모 스크래핑에는 많은 CAPTCHA가 뒤따릅니다. Resolvr는 하나의 API를 통해 실제 기기에서 reCAPTCHA와 Cloudflare 챌린지를 해결합니다. 지금 베타 버전을 무료로 이용할 수 있습니다.
Scrapling 실행 중 hCaptcha가 나타나나요? NoneCap은 하나의 API를 통해 유효한 hCaptcha 토큰을 반환하며 Enterprise 사이트 키도 지원합니다. 가입하면 1,300 크레딧을 무료로 받을 수 있습니다.
DataImpulse에서 $1/GB로 이용하세요. 윤리적으로 확보한 자체 프록시를 제공합니다. 9,000만 개 이상의 IP와 195개 이상의 국가를 지원합니다. 주거용, 데이터센터, 모바일 프록시를 사용할 수 있습니다. 사용량에 따라 결제하므로 구독이 필요 없습니다. 트래픽에 유효 기간이 없습니다.
⚡동시 크롤링: 동시에 처리할 요청 수, 도메인별 제한, 다운로드 사이의 대기 시간을 설정합니다.
🔄여러 세션 지원: 한 스파이더에서 HTTP 요청과 스텔스 헤드리스 브라우저를 같은 방식으로 사용합니다. 세션 ID로 각 요청을 보낼 세션을 고릅니다.
💾일시 정지와 재개: crawldir로 대기 중인 요청과 방문한 URL을 저장합니다. Ctrl+C로 안전하게 멈춘 뒤 같은 폴더로 다시 시작하면 이어서 실행됩니다.
📡스트리밍: async for item in spider.stream()으로 추출한 항목을 바로 받고 실시간 통계를 확인합니다. 화면 표시, 데이터 처리, 긴 크롤링 작업에 적합합니다.
🛡️차단 감지: 차단된 요청을 자동으로 감지하고 재시도합니다. 처리 방식도 바꿀 수 있습니다.
🚦AutoThrottle: 대기 시간을 직접 추측할 필요가 없습니다. 스파이더가 응답 속도에 맞춰 도메인별 대기 시간을 조절합니다. 차단이나 요청 빈도 제한이 시작되면 두 배로 늘리거나 Retry-After가 지정한 시간만큼 기다리고, 문제가 사라지면 다시 속도를 높입니다.
🧪개발 모드: 첫 실행에서 응답을 디스크에 저장하고 다음 실행부터 다시 사용합니다. 서버에 다시 요청하지 않고 parse()를 수정하며 시험할 수 있습니다.
🧩바로 쓰는 스파이더 템플릿: CrawlSpider는 규칙에 따라 링크를 따라가고, SitemapSpider는 sitemap과 robots.txt를 사용합니다. XMLFeedSpider/CSVFeedSpider는 XML·RSS·CSV 피드를 읽습니다. ShopifySpider는 공개 Shopify 스토어에서 상품을 수집하며, 상품 옵션 조합마다 한 항목을 만듭니다.
🔗링크 추출: LinkExtractor는 허용·제외 패턴, 도메인 필터, CSS·XPath 범위 지정, 확장자 필터, URL 정규화를 지원합니다. 템플릿 안에서 또는 단독으로 사용할 수 있습니다.
📦데이터 내보내기: 훅과 자체 처리 과정으로 결과를 저장하거나 내장 JSON·JSONL·CSV·XML 기능을 사용하세요. result.items.to_json(), to_jsonl(), to_csv(), to_xml()을 호출하면 됩니다.
세션을 사용한 사이트 가져오기
HTTP 요청: Fetcher로 빠르고 탐지하기 어려운 HTTP 요청을 보냅니다. 브라우저의 TLS 지문과 헤더를 흉내 내고 HTTP/3를 사용할 수 있습니다.
동적 페이지: StealthyFetcher로 브라우저를 자동 조작하며 동적 사이트를 가져옵니다. Playwright의 Chromium과 Google Chrome을 지원합니다.
봇 차단 우회: StealthyFetcher는 자동화 흔적을 숨기고 브라우저 지문을 위장합니다. 모든 유형의 Cloudflare Turnstile과 Interstitial 검사를 자동으로 통과할 수 있습니다.
세션 관리: FetcherSession과 StealthySession은 요청 사이에 쿠키와 상태를 유지합니다.
프록시 교체: ProxyRotator는 모든 세션에서 프록시를 순서대로 또는 정한 규칙에 따라 교체합니다. 요청마다 다른 프록시를 지정할 수도 있습니다.
도메인과 광고 차단: 특정 도메인과 하위 도메인으로 보내는 요청을 막을 수 있습니다. 브라우저 Fetcher의 광고 차단 기능은 약 3,500개의 광고·추적 도메인을 차단합니다.
DNS 유출 방지: DNS-over-HTTPS를 켜면 Cloudflare의 DoH를 통해 DNS를 조회합니다. 프록시를 쓸 때 DNS가 새어 나가는 것을 막습니다.
원격 브라우저: cdp_url로 CDP를 통해 이미 실행 중인 브라우저에 연결합니다. 같은 컴퓨터, 다른 서버, 브라우저 제공 서비스 어디에서든 사용할 수 있습니다. executable_path로 직접 만든 Chromium을 브라우저 Fetcher에 지정할 수도 있습니다.
백그라운드 API 응답 기록: 브라우저 세션에서 record_requests=True를 켜고 session.network.search(limit=None)으로 저장된 응답을 검색하세요. 요청을 다시 보내지 않고 여러 페이지에서 발생한 API 데이터와 HTTP 오류를 읽을 수 있습니다. 기록에는 크기 제한이 있으며 텍스트 응답 본문을 저장합니다.
비동기 지원: 모든 Fetcher에서 비동기 호출을 지원하며, 전용 비동기 세션 클래스도 제공합니다.
파싱과 데이터 추출
🔄요소 추적: 사이트가 바뀌어도 유사도 알고리즘으로 요소를 다시 찾습니다.
🎯유연한 선택: CSS, XPath, 필터, 텍스트, 정규식 등 여러 방법을 사용할 수 있습니다.
🔍비슷한 요소 찾기: 이미 찾은 요소와 비슷한 요소를 자동으로 찾습니다.
AI 기능
🤖MCP 서버: Claude나 Cursor 같은 AI 챗봇과 에이전트가 Scrapling으로 데이터를 수집합니다. HTTP 요청, 브라우저 조작, 스크린샷, 저장된 로그인 상태, 백그라운드 API 응답을 사용할 수 있습니다. 스텔스 브라우저와 도구를 통해 충분한 능력을 가진 AI 모델이 작업 중 마주치는 모든 CAPTCHA를 처리하도록 돕습니다. Cloudflare 처리 기능도 내장되어 있습니다. 모델에 보내는 내용을 줄이고 광고를 차단하며 프롬프트 인젝션으로부터 모델을 보호합니다. CDP 원격 브라우저와 인증을 지원하는 HTTP 연결도 제공합니다. (데모 영상)
🧠Agent Skill: 설치해서 쓰는 Agent Skill이 코딩 에이전트에 라이브러리 전체 사용법을 알려 줍니다. 에이전트가 추측 대신 현재 API에 맞는 코드를 작성하도록 돕습니다.
📚RAG용 Markdown: 한 줄(page.markdown())로 페이지를 정리하고 위험한 내용을 제거해 LLM용 Markdown으로 만듭니다. ContentSpider 템플릿으로 사이트 전체를 Markdown 파일로 저장할 수도 있습니다. 이 과정에는 LLM이 필요하지 않습니다. (문서)
빠르고 실무에서 검증된 구조
🚀빠른 처리: 최적화를 통해 대부분의 Python 스크래핑 라이브러리보다 빠르게 동작합니다.
🔋적은 메모리 사용: 최적화한 자료 구조를 사용하고 필요한 시점에만 데이터를 불러옵니다.
⚡빠른 JSON 변환: 표준 라이브러리보다 10배 빠릅니다.
🏗️실무 검증: 테스트 커버리지 92%와 전체 코드의 타입 힌트를 갖췄습니다. 지난 1년 동안 수백 명이 매일 데이터를 수집하는 데 사용했습니다.
개발자를 위한 편리한 도구
🎯대화형 셸: Scrapling을 통합한 IPython 셸을 추가할 수 있습니다. 단축 명령과 도구로 스크립트를 빠르게 개발하세요. curl 요청을 Scrapling 요청으로 바꾸고 결과를 브라우저에서 볼 수 있습니다.
🚀터미널에서 바로 사용: 코드를 한 줄도 쓰지 않고 URL에서 데이터를 가져올 수 있습니다!
🛠️DOM 탐색: 부모, 형제, 자식 요소로 이동하는 메서드를 제공합니다.
🧬텍스트 처리: 정규식, 텍스트 정리, 빠른 문자열 연산을 사용할 수 있습니다.
📝선택자 생성: 어떤 요소든 안정적인 CSS·XPath 선택자를 만들 수 있습니다.
🔌익숙한 API: Scrapy와 BeautifulSoup에 익숙하다면 쉽게 사용할 수 있습니다. Scrapy·Parsel과 같은 가상 요소를 지원합니다.
🤝Scrapy 통합: 콜백에 scrapling_response 데코레이터를 붙이면 이미 가져온 응답을 Scrapling 파서로 처리할 수 있습니다. 코드를 새로 작성할 필요가 없습니다.
📘전체 타입 힌트: 편집기 지원과 코드 자동 완성을 돕습니다. 코드가 바뀔 때마다 PyRight와 MyPy가 전체 코드를 자동으로 검사합니다.
🔋바로 쓰는 Docker 이미지: 새 버전마다 모든 브라우저가 포함된 Docker 이미지를 자동으로 만들고 배포합니다.
시작하기
자주 쓰는 기능을 몇 가지 살펴보겠습니다.
기본 사용법
세션을 지원하는 HTTP 요청
fromscrapling.fetchersimportFetcher,FetcherSessionwithFetcherSession(impersonate='chrome')assession:# Chrome의 최신 TLS fingerprint 사용page=session.get('https://quotes.toscrape.com/',stealthy_headers=True)quotes=page.css('.quote .text::text').getall()# 또는 일회성 요청 사용page=Fetcher.get('https://quotes.toscrape.com/')quotes=page.css('.quote .text::text').getall()
고급 스텔스 모드
fromscrapling.fetchersimportStealthyFetcher,StealthySessionwithStealthySession(headless=True,solve_cloudflare=True)assession:# 작업이 끝날 때까지 브라우저를 열어둡니다page=session.fetch('https://nopecha.com/demo/cloudflare',google_search=False)data=page.css('#padded_content a').getall()# 또는 일회성 요청 스타일 - 이 요청을 위해 브라우저를 열고, 완료 후 닫습니다page=StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare',solve_cloudflare=True)data=page.css('#padded_content a').getall()
완전한 브라우저 자동화
fromscrapling.fetchersimportStealthyFetcher,StealthySessionwithStealthySession(headless=True,disable_resources=False,network_idle=True)assession:# 작업이 끝날 때까지 브라우저를 열어둡니다page=session.fetch('https://quotes.toscrape.com/',load_dom=False)data=page.xpath('//span[@class="text"]/text()').getall()# 원하시면 XPath selector도 사용 가능# 또는 일회성 요청 스타일 - 이 요청을 위해 브라우저를 열고, 완료 후 닫습니다page=StealthyFetcher.fetch('https://quotes.toscrape.com/')data=page.css('.quote .text::text').getall()
fromscrapling.spidersimportSpider,Request,Responsefromscrapling.fetchersimportFetcherSession,AsyncStealthySessionclassMultiSessionSpider(Spider):name="multi"start_urls=["https://example.com/"]defconfigure_sessions(self,manager):manager.add("fast",FetcherSession(impersonate="chrome"))manager.add("stealth",AsyncStealthySession(headless=True),lazy=True)asyncdefparse(self,response:Response):forlinkinresponse.css('a::attr(href)').getall():# 보호된 페이지는 스텔스 세션을 통해 라우팅if"protected"inlink:yieldRequest(link,sid="stealth")else:yieldRequest(link,sid="fast",callback=self.parse)# 명시적 콜백
진행 상태를 저장하면 긴 크롤링 작업을 멈췄다가 이어서 실행할 수 있습니다. 다음처럼 스파이더를 시작하세요:
QuotesSpider(crawldir="./crawl_data").start()
crawldir를 설정한 뒤 Ctrl+C를 누르면 대기 중인 요청과 방문한 URL이 저장됩니다. 같은 crawldir로 다시 시작하면 이어서 실행됩니다. 추출한 데이터는 따로 저장하세요.
바로 쓸 수 있는 템플릿도 있습니다. 예를 들어 Shopify 스토어의 전체 상품을 가져올 수 있습니다:
fromscrapling.spidersimportShopifySpiderclassMyStore(ShopifySpider):target_website="example.com"result=MyStore().start()# 스토어의 모든 상품을 변형당 한 항목씩 수집
이 템플릿은 공개 컬렉션 API에서 상품을 읽고, 상품 옵션 조합마다 한 항목을 만듭니다.
고급 파싱과 요소 탐색
fromscrapling.fetchersimportFetcher# 풍부한 요소 선택과 내비게이션page=Fetcher.get('https://quotes.toscrape.com/')# 여러 선택 메서드로 인용구 가져오기quotes=page.css('.quote')# CSS selectorquotes=page.xpath('//div[@class="quote"]')# XPathquotes=page.find_all('div',{'class':'quote'})# BeautifulSoup 스타일# 아래와 동일quotes=page.find_all('div',class_='quote')quotes=page.find_all(['div'],class_='quote')quotes=page.find_all(class_='quote')# 등등...# 텍스트 내용으로 요소 찾기quotes=page.find_by_text('Albert Einstein',first_match=False)# 고급 내비게이션quote_text=page.css('.quote')[0].css('.text::text').get()quote_texts=page.css('.quote').css('.text::text').getall()# 체이닝 셀렉터first_quote=page.css('.quote')[0]author=first_quote.css('.author::text').get()next_quote=first_quote.nextparent_container=first_quote.parent# 요소 관계와 유사도similar_elements=first_quote.find_similar()below_elements=first_quote.below_elements
importasynciofromscrapling.fetchersimportFetcherSession,AsyncStealthySessionasyncdefmain():asyncwithFetcherSession(http3=True)ashttp_session:# `FetcherSession`은 컨텍스트에 따라 동기/비동기 방식 모두로 동작합니다page1=awaithttp_session.get('https://quotes.toscrape.com/')page2=awaithttp_session.get('https://quotes.toscrape.com/page/2/',impersonate='chrome')print(len(page1.css('.quote')),len(page2.css('.quote')))asyncwithAsyncStealthySession(max_pages=2)asbrowser_session:urls=['https://quotes.toscrape.com/js/','https://quotes.toscrape.com/js/page/2/']pages=awaitasyncio.gather(*(browser_session.fetch(url,wait_selector='.quote')forurlinurls))print([len(page.css('.quote'))forpageinpages])asyncio.run(main())
CLI와 대화형 셸
터미널에서도 Scrapling을 사용할 수 있습니다:
스크래핑용 대화형 셸을 실행합니다:
pip install "scrapling[shell]"
scrapling shell
프로그래밍 없이 페이지를 파일로 바로 추출합니다. --css-selector로 내용을 고르거나 --ai-targeted로 body 내용을 선택하고 정리하세요. 텍스트는 .txt, Markdown은 .md, HTML은 .html을 사용하세요.
Scrapling은 강력할 뿐 아니라 매우 빠릅니다. 다음 테스트는 Scrapling 파서와 널리 쓰이는 다른 라이브러리의 최신 버전을 비교합니다.
텍스트 추출 속도: 중첩 요소 5,000개
#
라이브러리
시간(ms)
Scrapling 대비
1
Scrapling
1.99
1.0x
2
Parsel/Scrapy
2.06
1.035
3
Lxml 단독
2.56
1.286
4
PyQuery
23.98
~12x
5
Selectolax
197.02
~99x
6
MechanicalSoup
1545.15
~776.5x
7
BS4 + Lxml
1562.1
~785.0x
8
BS4 + html5lib
3412.73
~1714.9x
비슷한 요소 찾기와 텍스트 검색
Scrapling의 적응형 요소 검색은 다른 방법보다 훨씬 빠릅니다:
라이브러리
시간(ms)
Scrapling 대비
Scrapling
2.3
1.0x
AutoScraper
12.58
5.47x
각 결과는 100회 이상 실행한 평균입니다. 측정 방법은 benchmarks.py를 확인하세요.
설치
Scrapling에는 Python 3.10 이상이 필요합니다:
pip install scrapling
Important
이 명령은 파서와 필요한 패키지만 설치합니다. Fetcher나 명령줄 도구는 포함되지 않습니다. 따라서 위 예제처럼 scrapling.fetchers나 scrapling.spiders에서 가져오면 ModuleNotFoundError가 발생합니다. Fetcher나 스파이더를 사용하려면 먼저 아래 방법으로 Fetcher에 필요한 패키지를 설치하세요.
추가 패키지
Fetcher, 관련 클래스, 아래 추가 기능을 사용하려면 Fetcher와 브라우저에 필요한 패키지를 설치하세요:
pip install "scrapling[fetchers]"
scrapling install # 일반 설치
scrapling install --force # 강제 재설치
모든 브라우저, 필요한 시스템 패키지, 브라우저 지문을 바꾸는 도구를 다운로드합니다.
명령어 대신 코드에서 설치할 수도 있습니다:
fromscrapling.cliimportinstallinstall([],standalone_mode=False)# 일반 설치install(["--force"],standalone_mode=False)# 강제 재설치
이 라이브러리는 학습과 연구 목적으로 제공합니다. 사용하면 국내외 데이터 수집과 개인정보 보호 관련 법률을 따르는 데 동의한 것으로 봅니다. 작성자와 참여자는 소프트웨어의 오용에 책임지지 않습니다. 사이트의 이용 약관과 robots.txt를 지켜 주세요.
🎓 인용
연구에 이 라이브러리를 사용했다면 다음 형식으로 인용해 주세요:
@misc{scrapling,
author = {Karim Shoair},
title = {Scrapling},
year = {2024},
url = {https://github.com/D4Vinci/Scrapling},
note = {A Python Web Scraping framework for everything from a single request to a full-scale crawl!}
}