Home > Tools > サイトマップを作成する > Visual SEO Studio

Visual SEO Studioで、「robots.txt」が存在しないサイトをクロールする

新規作成日 2015-09-11
最終更新日

前回のクロールできなかったセッションを削除します。

順番に操作してきた場合、クロールできなかったセッションが残っているので削除します。

このページから操作している場合は、この操作は必要ありません。

サイトが登録されています。

前回サイトを登録したので、起動すると一覧にサイトが表示されます。クロールするサイトを選択し、OKをクリックします。

バージョンの確認

操作を説明する前に、バージョンを確認します。古いバージョンの場合、機能が存在しない場合があります。

Open Session Managementを選択します。

順番に、操作してきた場合は、前回のクロールできなかったセッションが残っています。まず、これを削除します。

StartPageタグから、Open Session Managementを選択します。

セッションを削除します。

赤い×アイコンをクリックし、セッションを削除します。

確認ダイアログが表示されます

確認ダイアログが表示されます。

セッションを削除されました。

セッションが削除されました。右側の×アイコンをクリックするとタブを閉じることができます。

クロールする

あらためて、robots.txtが存在しないサイトをクロールします。

「Crawl a site...」をクリックします
メインメニュー、あるいは、左の枠にある「Crawl a site...」をクリックします
URL」に、クロールするサイトのドメインを入力します。
「Start URL」に、クロールするサイトのドメインを入力します。ドロップダウンリストで選択できます。後は、デフォルトで、「Crawl」をクリックし、動作を確認します。
「Crawl Setting」のタブです。
「Advance Settings」のタブです。

「Advance Settings」のタブです。

「Ignore robots.txt 'Disallow' directives」のチェックボックスにチェックを入れ、「Crawl」ボタンをクリックします。

クロールが始まります。

クロールが始まります。

今回は、きちんとクロールが進行します。

クロールが完了しました

クロールが完了しました。

次は、サイトマップを作成します。