robots.txtは、ウェブ上で最も古い制御ファイルの一つですが、それでもなお誤って設定されていることがよくあります。このファイルは、検索エンジンのクローラーがウェブサイトのどの領域にアクセスできるかを指定するだけでな […]