クローラー向けの robots.txt を作成します。user-agent、許可・拒否パス、クロール遅延、サイトマップURLを設定してコピーできます。
いいえ。セキュリティ機能ではないため、非公開情報にはサーバー側の認証が必要です。