Robots.txt site root पर plain text file है जो crawlers को बताती है कि कौन से URL paths request किए जा सकते हैं। यह crawler traffic manage करने और low-value paths को कम fetch करवाने के लिए useful है। यह privacy control नहीं है और HTML page को search results से remove करने का सही तरीका नहीं है।
इस page को क्या करना चाहिए
Robots.txt को crawl control के लिए use करें, indexing control के लिए नहीं। अगर page search में नहीं आना चाहिए तो noindex या authentication use करें और crawler को noindex directive देखने दें। अगर robots.txt page block कर देता है तो crawler page-level directive देख ही नहीं पाएगा। File simple रखें और exact paths test करें।
Practical workflow
- Crawled होने वाले और frequently fetch न होने वाले paths list करें।
- Public CSS, JavaScript, images और article pages crawlable रखें।
- Need होने पर internal search, admin, cart या duplicate parameter areas जैसे low-value paths के लिए Disallow use करें।
- Search results से बाहर रखने वाले pages के लिए noindex या authentication use करें।
- Canonical sitemap URL add करें।
- हर robots.txt change के बाद important URLs test करें।
Working example
मान लीजिए यह page real publishing queue के लिए तैयार हो रहा है। Editor के पास one URL, one primary intent, sitemap rule और follow-up date है। SEO के लिए robots.txt guide में useful work यह decide करना है कि launch से पहले क्या visible होना चाहिए, launch के बाद क्या measure होगा, और कौन से signals prove करेंगे कि page users की help कर रहा है, सिर्फ another URL add नहीं कर रहा।
- Final article से पहले page brief लिखें।
- Primary query group और reader का next action name करें।
- सिर्फ draft data नहीं, rendered page check करें।
- Verification date record करें ताकि later reporting में context रहे।
Implementation checklist
- File /robots.txt पर available हो और 200 text/plain return करे।
- Important pages और assets accidentally blocked न हों।
- Disallow rules intended path prefixes से exactly match करें।
- Sitemap URL preferred canonical host use करे।
- Comments या sitemap references से private URLs unnecessarily reveal न हों।
- जहां noindex या authentication चाहिए वहां robots rule use न हो।
Decision rules
Decision rules work को honest रखते हैं। Rule page को SEO opinions के collection में बदलने से बचाता है और दूसरे reviewer के लिए review आसान करता है। Rule बताए कि evidence weak हो तो क्या करना है, page thin हो तो क्या करना है, signals conflict करें तो क्या करना है, और कब better data का wait करना safest है।
- अगर page clear reader need answer नहीं कर सकता, उसे indexable content की तरह publish न करें।
- अगर technical signal visible content से conflict करता है, visible content fix करें या signal remove करें।
- अगर section सिर्फ title को अलग words में repeat करता है, उसे example, checklist या caveat से replace करें।
- अगर change verify नहीं हो सकता, उसे completed fix की जगह editorial assumption mark करें।
- Future scheduled page को publish date से पहले public links और sitemaps से बाहर रखें।
Common mistakes
- Page robots.txt से block करके expect करना कि Google उसका noindex tag read करेगा।
- Important content render करने वाले JavaScript या CSS को block करना।
- Staging robots file production में copy करना।
- Real URLs test किए बिना broad Disallow rules add करना।
- Robots.txt को security boundary मानना।
Measurement कैसे करें
Robots.txt changes को crawl behavior, blocked URL reports, sitemap discovery और important pages fetchable हैं या नहीं, इससे measure करें। Good robots file avoidable crawler noise reduce करे बिना visibility problems create किए।
Release checklist
- Canonical URL, title, meta description, headings और language alternates confirm करें।
- Mobile और desktop पर page open करके spacing, tables, diagrams और code blocks check करें।
- Page sitemap में तभी appear करे जब वह live हो।
- Images में useful alt text हो और layout shift न create करें।
- Related guides से internal links destination page public होने के बाद add करें।
AI review prompt
इस prompt को real URL, draft या crawl export के साथ use करें। Output को review करके ही publish करें, क्योंकि SEO में context और business priority दोनों जरूरी होते हैं।
Robots.txt reviewer की तरह काम करें.
Robots file: [paste file]
Important URLs: [list]
Private or low-value paths: [list]
Accidental blocks, noindex misuse, sitemap host, broad patterns और हर rule के test cases check करें.Final review
अच्छा SEO page सिर्फ keyword optimized नहीं होता। वह crawlable, useful, readable और honest होता है। Publish करने से पहले rendered page, snippet fields, internal links, indexability और reader action को साथ में check करें।
Page को तब revisit करें जब search intent बदले, product या platform बदले, Search Console नए query groups दिखाए, या users बार-बार clarification मांगें। Content refresh page को ज्यादा accurate और useful बनाए; यह cosmetic date change नहीं होना चाहिए।