您将获得
您的代理可以阅读的页面
- 抓取 将一个URL转为Markdown、HTML、原始HTML或其链接
- 映射 站点公开的链接
- 爬取 从起始URL出发的有限页面集合,作为可跟踪或取消的任务
- 设计上保持礼貌 遵守robots.txt,每个主机每秒一个请求
- 结果保留24小时 任务完成后随时获取
curl -X POST https://api.galon.ai/v1/search/v2/scrape \
-H "Authorization: Bearer gln_test_••••" \
-H "Content-Type: application/json" \
-d '{"url": "https://akwaba.coffee/menu", "formats": ["markdown", "links"]}'curl -X POST https://api.galon.ai/v1/search/v2/map \
-H "Authorization: Bearer gln_test_••••" \
-H "Content-Type: application/json" \
-d '{"url": "https://akwaba.coffee"}'curl -X POST https://api.galon.ai/v1/search/v2/crawl \ -H "Authorization: Bearer gln_test_••••" \ -H "Content-Type: application/json" \ -d '{"url": "https://akwaba.coffee", "limit": 20}' # follow the job, results kept 24 hours curl https://api.galon.ai/v1/search/v2/crawl/{crawl_id} \ -H "Authorization: Bearer gln_test_••••"
价格
预付费,按用量付费
Pages read
$0.741 每 1,000 份文档
Calls
$0.741 每 1,000 次请求
- 无需银行卡即可开始
- 余额为 $0 时付费操作暂停,数据保留 30 天
- 每笔费用在操作前预留
- 我们营收的1%通过Stripe Climate资助碳移除。
价格从您的预付余额中支付。充值通过我们的支付合作伙伴销售,并由其开具您的收据;域名单独销售。
常见问题
直接的回答
- Galon Search会渲染JavaScript吗?
- 不会。它获取服务器返回的HTML;不提供JavaScript渲染和截图。
- 它遵守robots.txt吗?
- 遵守,并且对每个主机每秒最多访问一次。