robots.txt Generator
Disallow rules, crawl delay और sitemap reference समेत साफ़ robots.txt बनाएं।
इनपुट
परिणाम
User-agent: *
इस टूल के बारा मे
बताएँ कौन-से paths block होंगे, crawl delay और sitemap URL — तैयार upload-के-लिए robots.txt मिलेगा। rules deduplicate होते हैं, हर path पर leading slash जुड़ता है।
कैसै इस्तमाल करेन
- 1block करने वाले paths, एक-एक line में, लिखें। उदाहरण: /admin।
- 2चाहें तो crawl delay set करें और sitemap URL जोड़ें (0 हो तो excluded)।
- 3output को robots.txt के नाम से save करके site root पर upload करें।
अक्सर पूछे जाने वाले प्रश्न
संबंधित टूल
Duplicate Content CheckerCompare two texts and see exactly how similar they are.Keyword Difficulty CheckerEstimate how hard a keyword is to rank for.SEO Audit ToolScan a page for on-page SEO issues.Schema Markup GeneratorGenerate JSON-LD structured data for any page type.Domain Rating CheckerCheck a domain's authority and backlink strength.Meta Title Generatorसही लंबाई के साथ SEO-optimized meta title बनाएं।