Home > Tools > サイトマップを作成する > Visual SEO Studio

ベクトルドロー・レベルゼロ

Visual SEO Studioでサイトをクロールする

新規作成日 2015-09-11
最終更新日

サイトをクロールする

サイトをクロールして、サイトマップを作成します。

「Crawl a site...」をクリックします
メインメニュー、あるいは、左の枠にある「Crawl a site...」をクリックします
URL」に、クロールするサイトのドメインを入力します。
「Start URL」に、クロールするサイトのドメインを入力します。後は、デフォルトで、「Crawl」をクリックし、動作を確認します。
「Crawl Setting」のタブです。
「Crawl Speed」のタブです。
「Crawl Speed」のタブです。
「Advance Settings」のタブです。
「Advance Settings」のタブです。
「HTTP Authentication」のタブです。
「HTTP Authentication」のタブです。
1つしか、クロールされません。
ファイルが、1つしか、クロールされません。
サイトのフォルダ構造
参考として、ローカルサイトのフォルダ構造を示します。
動作を確認したバージョン

動作を確認したバージョンは、「0.9.1.23」です。サポートに確認したところ、このバージョンでは、サイト内に、「/robots.txt」が存在しないとクロールできないとのことです。 そして、近々、修正されるとのコメントを貰いました。※「/robots.txt」を無視する設定に変更するとクロールできます。

次のページでは、robots.txtを無視する設定に変更しクロールします。そうすれば、robots.txtが存在しなくてもクロールできます。