Crawl & Search
Hướng dẫn Crawl Web & Tìm Ảnh¶
Tổng quan¶
Bạn có thể sử dụng các endpoint public của RevidAPI để:
- Crawl nội dung trang web (trả về markdown/nội dung + danh sách ảnh/video nhúng tùy mode).
- Tìm ảnh theo từ khóa (trả về danh sách ảnh và metadata tối giản để dùng làm thumbnail/gợi ý).
Giá cả¶
5 credits cho mỗi yêu cầu
Chi phí cố định cho mỗi lần gọi endpoint, không phụ thuộc độ dài tài liệu trả về.
Endpoint¶
1. Crawl web¶
- URL:
POST https://revidapi.com/v1/website/crawl - Method:
POST
2. Search ảnh theo từ khóa¶
- URL:
POST https://revidapi.com/v1/search/image - Method:
POST
Yêu cầu¶
Headers (chung)¶
x-api-key: Bắt buộc
Yêu cầu (Body)¶
1. Crawl web (POST /v1/website/crawl)¶
| Tham số | Kiểu | Bắt buộc | Mô tả |
|---|---|---|---|
url |
string | ✅ | URL đầy đủ cần crawl (bất kỳ website / bài viết / landing page). |
mode |
string | ❌ | Mặc định article: nội dung chính (markdown) + ảnh/video nhúng trong bài. web: chỉ trả links (danh sách URL trong trang), markdown/content để trống — dùng để lấy danh sách bài từ trang chuyên mục rồi gọi lại từng URL với article. |
Ví dụ request (Curl)¶
mode=web (lấy danh sách link)¶
curl -s -X POST "https://revidapi.com/v1/website/crawl" \
-H "Content-Type: application/json" \
-H "x-api-key: YOUR_X_API_KEY" \
-d '{"url":"https://example.com","mode":"web"}'
mode=article (lấy nội dung chính + ảnh/video)¶
curl -s -X POST "https://revidapi.com/v1/website/crawl" \
-H "Content-Type: application/json" \
-H "x-api-key: YOUR_X_API_KEY" \
-d '{"url":"https://example.com/bai-viet","mode":"article"}'
2. Search ảnh theo từ khóa (POST /v1/search/image)¶
| Tham số | Kiểu | Bắt buộc | Mô tả |
|---|---|---|---|
keyword |
string | ✅ | Từ khóa tìm ảnh (tiếng Anh hoặc tiếng Việt đều được). |
max_results |
int | ❌ | Số lượng ảnh tối đa muốn lấy (1-100). Mặc định: 20. |
Ví dụ request (Curl)¶
curl -s -X POST "https://revidapi.com/v1/search/image" \
-H "Content-Type: application/json" \
-H "x-api-key: YOUR_X_API_KEY" \
-d '{"keyword":"sunset beach","max_results":20}'
Phản hồi¶
1. Crawl web¶
Phản hồi JSON có dạng:
{
"success": true,
"url": "https://example.com",
"title": "Tiêu đề bài viết",
"markdown": "...",
"content": "...",
"images": [{"url":"https://.../image.jpg","alt":"..."}],
"videos": [{"url":"https://...","type":"embed"}],
"links": ["https://...","https://..."]
}
Ghi chú theo mode:
- mode=web: trả links; không trả images (tài liệu này cam kết không trả images trong mode web).
- mode=article: trả markdown/content + images (ảnh trong bài, trước phần "Tin liên quan") và videos (URL video/embed nếu có); luôn trả links: [].
2. Search ảnh theo từ khóa¶
Phản hồi JSON tối giản:
{
"success": true,
"keyword": "sunset beach",
"images": [
{
"url": "https://.../image.jpg",
"title": "Tiêu đề ảnh",
"source": "https://trang-goc.com/bai-viet",
"thumbnail": "https://.../thumb.jpg"
}
],
"count": 20
}
Thêm endpoint tìm kiếm¶
Cả hai nhận thân JSON, trả ngay, mỗi lượt thành công 5 credit.
3. Tìm trang web theo từ khoá (POST /v1/search/url)¶
| Tham số | Kiểu | Bắt buộc | Mô tả |
|---|---|---|---|
keyword |
string | ✅ | Từ khoá cần tìm |
max_results |
int | ❌ | Số kết quả muốn nhận |
curl -s -X POST "https://revidapi.com/v1/search/url" \
-H "x-api-key: $REVID_KEY" -H "Content-Type: application/json" \
-d '{"keyword": "claude code", "max_results": 5}'
{
"success": true,
"keyword": "claude code",
"urls": [
{"url": "https://code.claude.com/", "title": "Claude Code by Anthropic | AI Coding Agent, Terminal, IDE",
"snippet": "Anthropic's agentic coding tool for developers. ..."}
]
}
Kết hợp với /v1/website/crawl để đọc từng trang: tìm → lấy urls[].url → crawl với mode: "article".
4. Tìm video stock theo từ khoá (POST /v1/search/videos)¶
| Tham số | Kiểu | Bắt buộc | Mô tả |
|---|---|---|---|
keyword |
string | ✅ | Nội dung clip (tiếng Anh cho kết quả tốt nhất) |
max_results |
int | ❌ | Số clip muốn nhận |
curl -s -X POST "https://revidapi.com/v1/search/videos" \
-H "x-api-key: $REVID_KEY" -H "Content-Type: application/json" \
-d '{"keyword": "city traffic at night", "max_results": 3}'
{
"success": true,
"keyword": "city traffic at night",
"count": 3,
"videos": [
{"url": "https://videos.pexels.com/video-files/.../...mp4", "duration_seconds": 3.0}
]
}
Clip lấy từ các thư viện stock miễn phí, dùng làm cảnh phụ trong Dựng video. Kiểm tra giấy phép của từng thư viện trước khi dùng thương mại.
Phản hồi lỗi¶
| Status | Mô tả |
|---|---|
| 400 | Request không hợp lệ (thiếu/sai định dạng tham số). |
| 401 | x-api-key không hợp lệ. |
| 429 | Quá tải / vượt giới hạn hàng đợi (tùy cấu hình hệ thống). |
| 502 | Không lấy được nội dung/ảnh từ nguồn (timeout, chặn truy cập, hoặc lỗi fetch). |
Gợi ý sử dụng (workflow phổ biến)¶
- Gọi
paid/website/crawlvớimode=webđể lấy danh sách link. - Lặp qua từng link, gọi
paid/website/crawlvớimode=articleđể lấy nội dung chính + ảnh/video nhúng.