メインコンテンツへスキップ
バージョン: 安定版 (v4.x)
非公式ベータ版翻訳

このページは PageTurner AI で翻訳されました（ベータ版）。プロジェクト公式の承認はありません。 エラーを見つけましたか？ 問題を報告 →

新しいクローラーの作成

情報

2024年7月2日以降に作成された新しいDocSearchアプリでは、AlgoliaクローラーUIを使用してクロールの設定と管理ができるようになりました。このガイドでは、ドメインの追加、所有権の確認、クローラーの作成、最初のテストクロールの実行の手順を説明します。新しいクローラーUIは dashboard.algolia.com/crawler で利用できます。

2024年7月2日より前に登録した場合でも、クローラーUIは使用できますが、クローラーの作成と管理は、この日付以降に参加したユーザー向けに効率化されています。

新しいクローラーUI/UXの機能の詳細をご覧ください。

ドメインの追加​

  1. Algoliaダッシュボードにサインインします。

  2. 左サイドバーで Data sources を選択します。

  3. Crawler を選択します：

    • Add your domain をクリックし、クロールしたいドメインまたはサブドメインを入力します（例：example.com, www.example.com）。
    • すでにドメインを追加している場合は、Domains タブをクリックします。

  4. Add domain をクリックします。

DocSearch Domains Management

注意: 追加後7日の猶予期間内にドメインを確認する必要があります。また、クロールを進める前に、DocSearchチームによる使用承認が必要です。

ドメインの確認​

クロールしたい各ドメインの所有権を確認する必要があります。デフォルトの方法はメール確認ですが、metaタグ、HTMLファイル、robots.txt、またはDNSレコードを使用することもできます。

Metaタグ​

  1. Meta tag タブで、Copy をクリックして確認タグをコピーします。

  2. タグをサイトの <head> セクションに追加します。

  3. サイトを公開し、クローラーダッシュボードで Verify now をクリックします。

HTMLファイル​

  1. HTML file タブで、Copy をクリックして確認ファイルの内容をコピーします。

  2. 新しいHTMLファイルとして保存し、Webサーバーにアップロードします。

  3. ダッシュボードでファイルのURLを追加し、Verify now をクリックします。

robots.txt​

  1. Robots.txt タブで、Copy をクリックして確認コードをコピーします。

  2. サイトの robots.txt ファイルに貼り付けます。

  3. 公開し、Verify now をクリックします。

DNS​

  1. DNS タブで、提供されたDNS TXTレコードをコピーします。

  2. DNSプロバイダーの設定に追加します。

  3. レコードが反映された後（最大72時間かかる場合があります）、Verify now をクリックします。

新しいクローラーの作成​

ドメインが確認され、DocSearchチームによって承認されたら：

  1. ダッシュボードの Crawler ページに移動します。

  2. New Crawler をクリックし、以下を入力します：

    • Crawler name（説明が分かる名前）
    • App ID（AlgoliaアプリケーションID）
    • Start URL（通常はホームページ）
    • Crawler template（テンプレートを選択するかデフォルトを使用）

  3. Create をクリックして完了し、テストクロールを実行します。

テストクロールの実行​

最初のクロールでは、最大100のURLにアクセスし、アクセスと抽出をテストします。進行状況は Overview ページで監視できます。完了後、Algoliaダッシュボードで抽出されたレコードを確認してください。

次のステップ​

  • スケジュールされたクロール、包含/除外ルール、抽出設定のためにクローラー設定を編集します。

  • さらなる最適化のためにクローラーの提案を使用します。

  • 詳細については、公式Algoliaドキュメントをご覧ください。