Home > Tools > サイトマップを作成する > Visual SEO Studio

ベクトルドロー・レベルゼロ

Visual SEO Studioで、「robots.txt」が存在しないサイトをクロールする

新規作成日 2015-09-11
最終更新日

前回のクロールできなかったセッションを削除します。

順番に操作してきた場合、クロールできなかったセッションが残っているので削除します。

このページから操作している場合は、この操作は必要ありません。

サイトが登録されています。

前回サイトを登録したので、起動すると一覧にサイトが表示されます。クロールするサイトを選択し、OKをクリックします。

バージョンの確認

操作を説明する前に、バージョンを確認します。古いバージョンの場合、機能が存在しない場合があります。

Open Session Managementを選択します。

順番に、操作してきた場合は、前回のクロールできなかったセッションが残っています。まず、これを削除します。

StartPageタグから、Open Session Managementを選択します。

セッションを削除します。

赤い×アイコンをクリックし、セッションを削除します。

確認ダイアログが表示されます

確認ダイアログが表示されます。

セッションを削除されました。

セッションが削除されました。右側の×アイコンをクリックするとタブを閉じることができます。

クロールする

あらためて、robots.txtが存在しないサイトをクロールします。

「Crawl a site...」をクリックします
メインメニュー、あるいは、左の枠にある「Crawl a site...」をクリックします
URL」に、クロールするサイトのドメインを入力します。
「Start URL」に、クロールするサイトのドメインを入力します。ドロップダウンリストで選択できます。後は、デフォルトで、「Crawl」をクリックし、動作を確認します。
「Crawl Setting」のタブです。
「Advance Settings」のタブです。

「Advance Settings」のタブです。

「Ignore robots.txt 'Disallow' directives」のチェックボックスにチェックを入れ、「Crawl」ボタンをクリックします。

クロールが始まります。

クロールが始まります。

今回は、きちんとクロールが進行します。

クロールが完了しました

クロールが完了しました。

次は、サイトマップを作成します。

Home Editor Tools Operation TagScript HPSpace

Copyright (C) 2011 Horio Kazuhiko(kukekko) All Rights Reserved.
kukekko@gmail.com
ご連絡の際は、お問い合わせページのURLの明記をお願いします。
「掲載内容は私自身の見解であり、所属する組織を代表するものではありません。」