创建新的爬虫程序

信息

2024年7月2日之后创建的DocSearch应用现可使用Algolia爬虫界面配置和管理抓取任务。本指南将引导您完成添加域名、验证所有权、创建爬虫程序以及运行首次测试抓取的全过程。您可在dashboard.algolia.com/crawler访问新版爬虫界面。

若您在2024年7月2日前注册，仍可使用爬虫界面，但该日期后注册的用户在创建和管理爬虫程序时将享受更简化的流程。

添加域名

登录Algolia控制面板。
在左侧边栏选择数据源。
选择爬虫：
- 点击添加您的域名并输入需抓取的域名或子域名（如example.com、www.example.com）
- 若已添加过域名，请点击域名标签页
点击添加域名。

注意： 添加域名后需在7天宽限期内完成验证，且必须获得DocSearch团队批准后方可进行抓取。

每个待抓取域名均需验证所有权。默认采用邮件验证，也可选用meta标签、HTML文件、robots.txt或DNS记录方式。

当域名完成验证且获得DocSearch团队批准后：

前往控制面板的爬虫页面
点击新建爬虫并填写：
- 爬虫名称（描述性名称）
- 应用ID（您的Algolia应用ID）
- 起始URL（通常为主页）
- 爬虫模板（选择模板或默认配置）
点击创建完成设置并运行测试抓取

初始爬取将访问最多 100 个 URL 以测试访问权限和数据提取效果。您可以在概览页面监控进度。完成后，请在 Algolia 仪表板中查看提取的记录。