🔥 Pháo hoa

API để tìm kiếm, thu thập dữ liệu và tương tác với web trên quy mô lớn. 🔥 Ngữ cảnh web API để tìm nguồn, trích xuất nội dung và biến nội dung đó thành dữ liệu có cấu trúc hoặc Markdown sạch mà đại lý của bạn có thể gửi cùng. Nguồn mở và có sẵn dưới dạng dịch vụ lưu trữ.

Pst. Này, bạn, hãy tham gia cùng những nhà chiêm tinh của chúng tôi :)

Tại sao phải dùng Firecrawl?

• Độ tin cậy hàng đầu trong ngành: Bao phủ 96% trang web, bao gồm các trang nặng JS — không phải đau đầu về proxy, chỉ cần làm sạch dữ liệu (xem điểm chuẩn)
• Nhanh như chớp: Độ trễ P95 là 3,4 giây trên hàng triệu trang, được xây dựng cho các tác nhân thời gian thực và ứng dụng động
• Đầu ra sẵn sàng LLM: Đánh dấu rõ ràng, JSON có cấu trúc, ảnh chụp màn hình, v.v. — tiêu ít mã thông báo hơn, xây dựng ứng dụng AI tốt hơn
• Chúng tôi xử lý những việc khó khăn: Proxy luân phiên, điều phối, giới hạn tốc độ, nội dung bị chặn JS, v.v. — không có cấu hình
• Đại lý đã sẵn sàng: Kết nối Firecrawl với bất kỳ tác nhân AI hoặc ứng dụng khách MCP nào bằng một lệnh duy nhất
• Phân tích phương tiện: Phân tích và trích xuất nội dung từ các tệp PDF, DOCX được lưu trữ trên web, v.v.
• hành động: Nhấp, cuộn, viết, chờ và nhấn trước khi trích xuất nội dung
• Nguồn mở: Được phát triển một cách minh bạch và hợp tác — tham gia cộng đồng của chúng tôi

Tổng quan về tính năng

Điểm cuối cốt lõi

Thêm

Bắt đầu nhanh

Đăng ký tại firecrawl.dev để lấy khóa API của bạn. Hãy thử sân chơi để kiểm tra nó.

Tìm kiếm

Tìm kiếm trên web và nhận được nội dung đầy đủ từ kết quả.

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

search_result = app.search("firecrawl", limit=5)

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});

app.search("firecrawl", { limit: 5 })

curl -X POST 'https://api.firecrawl.dev/v2/search' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
  "query": "firecrawl",
  "limit": 5
}'

firecrawl search "firecrawl" --limit 5

Đầu ra:

[
  {
    "url": "https://firecrawl.dev",
    "title": "Firecrawl",
    "markdown": "Turn websites into..."
  },
  {
    "url": "https://docs.firecrawl.dev",
    "title": "Firecrawl Docs",
    "markdown": "# Getting Started..."
  }
]

cạo

Nhận dữ liệu sẵn sàng cho LLM từ bất kỳ trang web nào — đánh dấu, JSON, ảnh chụp màn hình, v.v.

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.scrape('firecrawl.dev')

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({ apiKey: "fc-YOUR_API_KEY" });

app.scrape('firecrawl.dev')

curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{
  "url": "firecrawl.dev"
}'

firecrawl scrape https://firecrawl.dev
firecrawl https://firecrawl.dev --only-main-content

Đầu ra:

# Firecrawl

Firecrawl helps AI agents search, scrape, and interact with the web.

## Features
- Search: Find information across the web
- Scrape: Clean data from any page
- Interact: Click, navigate, and operate pages
- Agent: Autonomous data gathering

tương tác

Quét một trang, sau đó tương tác với trang đó bằng lời nhắc hoặc mã AI.

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.scrape("https://amazon.com")
scrape_id = result.metadata.scrape_id

app.interact(scrape_id, prompt="Search for 'mechanical keyboard'")
app.interact(scrape_id, prompt="Click the first result")

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});

const result = await app.scrape("https://amazon.com");

await app.interact(result.metadata.scrapeId, {
  prompt: "Search for 'mechanical keyboard'"
});
await app.interact(result.metadata.scrapeId, {
  prompt: "Click the first result"
});

# 1. Scrape the page
curl -X POST 'https://api.firecrawl.dev/v2/scrape' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"url": "https://amazon.com"}'

# 2. Interact with the page (use scrapeId from step 1)
curl -X POST 'https://api.firecrawl.dev/v2/scrape/SCRAPE_ID/interact' \
-H 'Authorization: Bearer fc-YOUR_API_KEY' \
-H 'Content-Type: application/json' \
-d '{"prompt": "Search for mechanical keyboard"}'

firecrawl scrape https://amazon.com
firecrawl interact exec --prompt "Search for 'mechanical keyboard'"
firecrawl interact exec --prompt "Click the first result"

Đầu ra:

{
  "success": true,
  "output": "Keyboard available at $100",
  "liveViewUrl": "https://liveview.firecrawl.dev/..."
}

Tăng sức mạnh cho đại lý của bạn

Kết nối Firecrawl với bất kỳ tác nhân AI hoặc ứng dụng khách MCP nào trong vài phút.

kỹ năng

Cung cấp cho đại lý của bạn quyền truy cập dễ dàng vào dữ liệu web theo thời gian thực bằng một lệnh.

npx -y firecrawl-cli@latest init --all --browser

Khởi động lại đại lý của bạn sau khi cài đặt. Hoạt động với Claude Code, phản trọng lực, Mã mở, và hơn thế nữa

MCP

Kết nối mọi ứng dụng khách tương thích với MCP với web trong vài giây.

{
  "mcpServers": {
    "firecrawl-mcp": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "fc-YOUR_API_KEY"
      }
    }
  }
}

Giới thiệu đại lý

Bạn có phải là đặc vụ AI không? Tìm nạp kỹ năng này để đăng ký người dùng của bạn, nhận khóa API và bắt đầu xây dựng bằng Firecrawl.

curl -s https://firecrawl.dev/agent-onboarding/SKILL.md

Xem Tài liệu Skill + CLI cho tất cả các lệnh có sẵn. Đối với MCP, xem firecrawl-MCP-server.

Thêm điểm cuối

đại lý

Cách dễ nhất để lấy dữ liệu từ web. Hãy mô tả những gì bạn cần và nhân viên AI của chúng tôi sẽ tìm kiếm, điều hướng và truy xuất nó. Không cần URL.

Đại lý là sự phát triển của chúng tôi /extract điểm cuối: nhanh hơn, đáng tin cậy hơn và không yêu cầu bạn phải biết trước các URL.

curl -X POST 'https://api.firecrawl.dev/v2/agent' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "prompt": "Find the pricing plans for Notion"
  }'

Phản hồi:

{
  "success": true,
  "data": {
    "result": "Notion offers the following pricing plans:\n\n1. Free - $0/month...\n2. Plus - $10/seat/month...\n3. Business - $18/seat/month...",
    "sources": ["https://www.notion.so/pricing"]
  }
}

Tác nhân có đầu ra có cấu trúc

Sử dụng lược đồ để lấy dữ liệu có cấu trúc:

from firecrawl import Firecrawl
from pydantic import BaseModel, Field
from typing import List, Optional

app = Firecrawl(api_key="fc-YOUR_API_KEY")

class Founder(BaseModel):
    name: str = Field(description="Full name of the founder")
    role: Optional[str] = Field(None, description="Role or position")

class FoundersSchema(BaseModel):
    founders: List[Founder] = Field(description="List of founders")

result = app.agent(
    prompt="Find the founders of Firecrawl",
    schema=FoundersSchema
)

print(result.data)

{
  "founders": [
    {"name": "Eric Ciarla", "role": "Co-founder"},
    {"name": "Nicolas Camara", "role": "Co-founder"},
    {"name": "Caleb Peffer", "role": "Co-founder"}
  ]
}

Tác nhân có URL (Tùy chọn)

Tập trung đại lý vào các trang cụ thể:

result = app.agent(
    urls=["https://docs.firecrawl.dev", "https://firecrawl.dev/pricing"],
    prompt="Compare the features and pricing information"
)

Lựa chọn mô hình

Chọn giữa hai mô hình dựa trên nhu cầu của bạn:

result = app.agent(
    prompt="Compare enterprise features across Firecrawl, Apify, and ScrapingBee",
    model="spark-1-pro"
)

Khi nào nên sử dụng Pro:

• So sánh dữ liệu trên nhiều trang web
• Trích xuất từ các trang web có điều hướng hoặc xác thực phức tạp
• Nhiệm vụ nghiên cứu mà tác nhân cần khám phá nhiều đường dẫn
• Dữ liệu quan trọng trong đó độ chính xác là tối quan trọng

Tìm hiểu thêm về các mẫu Spark trong Tài liệu đại lý.

Thu thập thông tin

Thu thập dữ liệu toàn bộ trang web và lấy nội dung từ tất cả các trang.

curl -X POST 'https://api.firecrawl.dev/v2/crawl' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "limit": 100,
    "scrapeOptions": {
      "formats": ["markdown"]
    }
  }'

Trả về ID công việc:

{
  "success": true,
  "id": "123-456-789",
  "url": "https://api.firecrawl.dev/v2/crawl/123-456-789"
}

Kiểm tra trạng thái thu thập thông tin

curl -X GET 'https://api.firecrawl.dev/v2/crawl/123-456-789' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY'

{
  "status": "completed",
  "total": 50,
  "completed": 50,
  "creditsUsed": 50,
  "data": [
    {
      "markdown": "# Page Title\n\nContent...",
      "metadata": {"title": "Page Title", "sourceURL": "https://..."}
    }
  ]
}

Lưu ý: các SDK tự động xử lý việc bỏ phiếu để mang lại trải nghiệm tốt hơn cho nhà phát triển.

Bản đồ

Khám phá tất cả các URL trên một trang web ngay lập tức.

curl -X POST 'https://api.firecrawl.dev/v2/map' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"url": "https://firecrawl.dev"}'

Phản hồi:

{
  "success": true,
  "links": [
    {"url": "https://firecrawl.dev", "title": "Firecrawl", "description": "Turn websites into LLM-ready data"},
    {"url": "https://firecrawl.dev/pricing", "title": "Pricing", "description": "Firecrawl pricing plans"},
    {"url": "https://firecrawl.dev/blog", "title": "Blog", "description": "Firecrawl blog"}
  ]
}

Bản đồ với Tìm kiếm

Tìm các URL cụ thể trong một trang web:

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

result = app.map("https://firecrawl.dev", search="pricing")
# Returns URLs ordered by relevance to "pricing"

Cạo hàng loạt

Quét nhiều URL cùng một lúc:

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

job = app.batch_scrape([
    "https://firecrawl.dev",
    "https://docs.firecrawl.dev",
    "https://firecrawl.dev/pricing"
], formats=["markdown"])

for doc in job.data:
    print(doc.metadata.source_url)

SDK

SDK của chúng tôi cung cấp một cách thuận tiện để sử dụng tất cả các tính năng của Firecrawl và tự động xử lý việc bỏ phiếu cho các hoạt động không đồng bộ.

Python

Cài đặt SDK:

pip install firecrawl-py

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# Scrape a single URL
doc = app.scrape("https://firecrawl.dev", formats=["markdown"])
print(doc.markdown)

# Use the Agent for autonomous data gathering
result = app.agent(prompt="Find the founders of Stripe")
print(result.data)

# Crawl a website (automatically waits for completion)
docs = app.crawl("https://docs.firecrawl.dev", limit=50)
for doc in docs.data:
    print(doc.metadata.source_url, doc.markdown[:100])

# Search the web
results = app.search("best AI data tools 2024", limit=10)
print(results)

Node.js

Cài đặt SDK:

npm install firecrawl

import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });

// Scrape a single URL
const doc = await app.scrape('https://firecrawl.dev', { formats: ['markdown'] });
console.log(doc.markdown);

// Use the Agent for autonomous data gathering
const result = await app.agent({ prompt: 'Find the founders of Stripe' });
console.log(result.data);

// Crawl a website (automatically waits for completion)
const docs = await app.crawl('https://docs.firecrawl.dev', { limit: 50 });
docs.data.forEach(doc => {
    console.log(doc.metadata.sourceURL, doc.markdown.substring(0, 100));
});

// Search the web
const results = await app.search('best AI data tools 2024', { limit: 10 });
results.data.web.forEach(result => {
    console.log(`${result.title}: ${result.url}`);
});

Đi

Cài đặt SDK:

go get github.com/firecrawl/firecrawl/apps/go-sdk

package main

import (
    "context"
    "fmt"
    "log"

    firecrawl "github.com/firecrawl/firecrawl/apps/go-sdk"
    "github.com/firecrawl/firecrawl/apps/go-sdk/option"
)

func main() {
    // Create a client (reads FIRECRAWL_API_KEY from environment)
    client, err := firecrawl.NewClient(option.WithAPIKey("fc-YOUR_API_KEY"))
    if err != nil {
        log.Fatal(err)
    }

    ctx := context.Background()

    // Scrape a single URL
    doc, err := client.Scrape(ctx, "https://firecrawl.dev", &firecrawl.ScrapeOptions{
        Formats: []string{"markdown"},
    })
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(doc.Markdown)

    // Use the Agent for autonomous data gathering
    agent, err := client.Agent(ctx, &firecrawl.AgentOptions{
        Prompt: "Find the founders of Stripe",
    })
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(agent.Data)

    // Crawl a website (automatically waits for completion)
    job, err := client.Crawl(ctx, "https://docs.firecrawl.dev", &firecrawl.CrawlOptions{
        Limit: firecrawl.Int(50),
    })
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("Crawled %d pages\n", len(job.Data))

    // Search the web
    results, err := client.Search(ctx, "best AI data tools 2024", &firecrawl.SearchOptions{
        Limit: firecrawl.Int(10),
    })
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(results)
}

Java

Thêm phụ thuộc (Lớp/Maven):

repositories {
    mavenCentral()
    maven { url 'https://jitpack.io' }
}

dependencies {
    implementation 'com.github.firecrawl:firecrawl-java-sdk:2.0'
}

import dev.firecrawl.client.FirecrawlClient;
import dev.firecrawl.model.*;

FirecrawlClient client = new FirecrawlClient(
    System.getenv("FIRECRAWL_API_KEY"), null, null
);

// Scrape a single URL
ScrapeParams scrapeParams = new ScrapeParams();
scrapeParams.setFormats(new String[]{"markdown"});
FirecrawlDocument doc = client.scrapeURL("https://firecrawl.dev", scrapeParams);
System.out.println(doc.getMarkdown());

// Use the Agent for autonomous data gathering
AgentParams agentParams = new AgentParams("Find the founders of Stripe");
AgentResponse start = client.createAgent(agentParams);
AgentStatusResponse result = client.getAgentStatus(start.getId());
System.out.println(result.getData());

// Crawl a website (polls until completion)
CrawlParams crawlParams = new CrawlParams();
crawlParams.setLimit(50);
CrawlStatusResponse job = client.crawlURL("https://docs.firecrawl.dev", crawlParams, null, 10);
for (FirecrawlDocument page : job.getData()) {
    System.out.println(page.getMetadata().get("sourceURL"));
}

// Search the web
SearchParams searchParams = new SearchParams("best AI data tools 2024");
searchParams.setLimit(10);
SearchResponse results = client.search(searchParams);
for (SearchResult r : results.getResults()) {
    System.out.println(r.getTitle() + ": " + r.getUrl());
}

thuốc tiên

Thêm phần phụ thuộc:

def deps do
  [
    {:firecrawl, "~> 1.0"}
  ]
end

# Scrape a URL
{:ok, response} = Firecrawl.scrape_and_extract_from_url(
  url: "https://firecrawl.dev",
  formats: ["markdown"]
)

# Crawl a website
{:ok, response} = Firecrawl.crawl_urls(
  url: "https://docs.firecrawl.dev",
  limit: 50
)

# Search the web
{:ok, response} = Firecrawl.search_and_scrape(
  query: "best AI data tools 2024",
  limit: 10
)

# Map URLs
{:ok, response} = Firecrawl.map_urls(url: "https://example.com")

Rust

Thêm phần phụ thuộc:

[dependencies]
firecrawl = "2"
tokio = { version = "1", features = ["macros", "rt-multi-thread"] }

use firecrawl::{Client, ScrapeOptions, Format, CrawlOptions};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let client = Client::new("fc-YOUR_API_KEY")?;

    // Scrape a URL
    let document = client.scrape("https://firecrawl.dev", None).await?;
    println!("{:?}", document.markdown);

    // Crawl a website
    let options = CrawlOptions {
        limit: Some(50),
        ..Default::default()
    };
    let result = client.crawl("https://docs.firecrawl.dev", options).await?;
    println!("Crawled {} pages", result.data.len());

    // Search the web
    let response = client.search("best web scraping tools 2024", None).await?;
    println!("{:?}", response.data);

    Ok(())
}

hồng ngọc

Cài đặt SDK:

gem install firecrawl-sdk

require "firecrawl"

client = Firecrawl::Client.new(api_key: "fc-YOUR_API_KEY")

# Scrape a single URL
doc = client.scrape("https://firecrawl.dev",
  Firecrawl::Models::ScrapeOptions.new(formats: ["markdown"]))
puts doc.markdown

# Use the Agent for autonomous data gathering
result = client.agent(
  Firecrawl::Models::AgentOptions.new(prompt: "Find the founders of Stripe"))
puts result.data

# Crawl a website (automatically waits for completion)
job = client.crawl("https://docs.firecrawl.dev",
  Firecrawl::Models::CrawlOptions.new(limit: 50))
job.data.each { |d| puts d.metadata.source_url }

# Search the web
results = client.search("best AI data tools 2024",
  Firecrawl::Models::SearchOptions.new(limit: 10))
puts results

.NET

Cài đặt SDK:

dotnet add package firecrawl-sdk

using Firecrawl;
using Firecrawl.Models;

var client = new FirecrawlClient("fc-YOUR_API_KEY");

// Scrape a single URL
var doc = await client.ScrapeAsync("https://firecrawl.dev",
    new ScrapeOptions { Formats = new List<object> { "markdown" } });
Console.WriteLine(doc.Markdown);

// Crawl a website (automatically waits for completion)
var job = await client.CrawlAsync("https://docs.firecrawl.dev",
    new CrawlOptions { Limit = 50 });
Console.WriteLine($"Crawled {job.Data.Count} pages");

// Search the web
var results = await client.SearchAsync("best AI data tools 2024",
    new SearchOptions { Limit = 10 });
Console.WriteLine(results);

PHP

Cài đặt SDK:

composer require firecrawl/firecrawl-sdk

<?php

use Firecrawl\Client\FirecrawlClient;
use Firecrawl\Models\ScrapeOptions;
use Firecrawl\Models\CrawlOptions;
use Firecrawl\Models\SearchOptions;

$client = FirecrawlClient::create(apiKey: 'fc-YOUR_API_KEY');

// Scrape a single URL
$doc = $client->scrape('https://firecrawl.dev', ScrapeOptions::with(
    formats: ['markdown'],
));
echo $doc->getMarkdown();

// Crawl a website (automatically waits for completion)
$job = $client->crawl('https://docs.firecrawl.dev', CrawlOptions::with(limit: 50));
foreach ($job->getData() as $page) {
    echo $page->getMetadata()['sourceURL'] . "\n";
}

// Search the web
$results = $client->search('best AI data tools 2024', SearchOptions::with(limit: 10));
print_r($results);

Tích hợp

Đại lý & Công cụ AI

• Danh mục kỹ năng Firecrawl - cài đặt với npx skills add firecrawl/skills
• Pháo CLI
• Pháo MCP

Các kỹ năng xây dựng (tích hợp Firecrawl vào mã sản phẩm) được viết trong repo này dưới skills/ và được CI phản ánh vào danh mục. Kỹ năng đóng góp? Kỹ năng CLI (bao gồm kỹ năng chỉ số nghiên cứu/nhà phát triển) → PR firecrawl/cli. Xây dựng/SDK kỹ năng → PR repo này (skills/). Kỹ năng làm việc → PR firecrawl/firecrawl-workflows. Danh mục (firecrawl/skills) là chỉ đọc - không bao giờ PR trực tiếp.

Nền tảng

• đáng yêu
• Zapier
• n8n

Xem tất cả tích hợp →

Thiếu công cụ yêu thích của bạn? Mở một vấn đề và cho chúng tôi biết!

Tài nguyên

• Tài liệu
• API Tham khảo
• Sân chơi
• Nhật ký thay đổi

Nguồn mở và đám mây

Firecrawl là nguồn mở theo giấy phép AGPL-3.0. Phiên bản đám mây tại firecrawl.dev bao gồm các tính năng bổ sung:

Để chạy cục bộ, hãy xem Hướng dẫn đóng góp. Để tự lưu trữ, hãy xem Hướng dẫn tự lưu trữ.

Đóng góp

Chúng tôi yêu thích sự đóng góp! Xin vui lòng đọc của chúng tôi Hướng dẫn đóng góp trước khi gửi yêu cầu kéo.

Người đóng góp

Giấy phép

Dự án này chủ yếu được cấp phép theo Giấy phép Công cộng GNU Affero v3.0 (AGPL-3.0). SDK và một số thành phần giao diện người dùng được cấp phép theo Giấy phép MIT. Xem các tệp GIẤY PHÉP trong các thư mục cụ thể để biết chi tiết.

Trách nhiệm duy nhất của người dùng cuối là tôn trọng chính sách của trang web khi thu thập dữ liệu. Người dùng nên tuân thủ các chính sách bảo mật và điều khoản sử dụng hiện hành. Theo mặc định, Firecrawl tôn trọng các chỉ thị của robots.txt. Bằng cách sử dụng Firecrawl, bạn đồng ý tuân thủ các điều kiện này.

↑ Quay lại đầu trang ↑