robots.txt.liquidను ఎడిట్ చేయడం

గూగుల్ వంటి సెర్చ్ ఇంజిన్‌లు తమ సెర్చ్ ఫలితాల కోసం కొత్త డేటాను వెతకడంలో ఇంటర్నెట్‌ను నిరంతరం క్రాల్ చేస్తుంటాయి. మీ ఆన్‌లైన్ స్టోర్ నుండి చూడటానికి ఏ పేజీలను అభ్యర్థించాలో robots.txt ఫైల్ సెర్చ్ ఇంజిన్ బాట్‌లకు (క్రాలర్‌లకు) తెలియజేస్తుంది. అన్ని Shopify స్టోర్‌లు సెర్చ్ ఇంజిన్ ఆప్టిమైజేషన్ (SEO)కు అనుకూలమైన డిఫాల్ట్ robots.txt ఫైల్‌ను కలిగి ఉంటాయి.

సెర్చ్ ఇంజిన్ ఫలితాల్లో మీ ఆన్‌లైన్ స్టోర్‌ను ఉంచడానికి సెర్చ్ ఇంజిన్‌లు మీ సైట్‌మ్యాప్‌ను ఉపయోగిస్తాయి. మీ సైట్‌మ్యాప్‌ను ఎలా కనుగొనాలో, ఎలా సమర్పించాలో గురించి తెలుసుకోండి.

క్రాలింగ్, ఇండెక్సింగ్ మధ్య వ్యత్యాసాన్ని అర్థం చేసుకోవడం

robots.txtతో పని చేస్తున్నప్పుడు, క్రాలింగ్, ఇండెక్సింగ్ మధ్య వ్యత్యాసాన్ని అర్థం చేసుకోవడం చాలా ముఖ్యం:

  • క్రాలింగ్: సెర్చ్ ఇంజిన్ బాట్‌లు (Googlebot వంటివి) మీ పేజీలలోని మొత్తం కంటెంట్, కోడ్‌ను పరిశీలించి, విశ్లేషించినప్పుడు
  • ఇండెక్సింగ్: సెర్చ్ ఇంజిన్ ఫలితాల్లో కనిపించేందుకు పేజీలు అర్హత పొందినప్పుడు

ఈ ప్రక్రియలు పరస్పరం మినహాయించబడవు - సెర్చ్ ఇంజిన్‌లు ఒక పేజీని ఇతర మార్గాల ద్వారా గుర్తిస్తే, దాన్ని క్రాల్ చేయకుండానే ఇండెక్స్ చేయగలవు.

పరిగణనలు

డిఫాల్ట్ robots.txt ఫైల్ చాలా స్టోర్‌లకు పని చేస్తుంది. మీరు robots.txt ఫైల్‌ను అనుకూలీకరించాలనుకుంటే, మీరు ముందుగా కోడ్ ఎడిటర్లోని మీ థీమ్ టెంప్లేట్‌ల ఫోల్డర్‌కు robots.txt.liquid ఫైల్‌ను జోడించాలి, ఆపై ఫైల్ కంటెంట్‌ను అనుకూలీకరించాలి. మీరు కింది మార్పులను చేయవచ్చు:

  • నిర్దిష్ట URLలు క్రాల్ చేయబడటానికి అనుమతించండి లేదా నిరాకరించండి.
  • నిర్దిష్ట క్రాలర్‌ల కోసం crawl-delay నియమాలను జోడించండి.
  • అదనపు సైట్‌మ్యాప్ URLలను జోడించండి.
  • నిర్దిష్ట క్రాలర్‌లను బ్లాక్ చేయండి.

robots.txt ఫైల్ అనేది మీ Shopify స్టోర్ ప్రాథమిక డొమైన్ పేరుకి చెందిన రూట్ డైరెక్టరీలో ఉంటుంది. ఉదాహరణకు: example.com/robots.txt.

robots.txt.liquidను ఎడిట్ చేయండి

మీరు robots.txt.liquid ఫైల్‌ను ఎడిట్ చేయాలనుకుంటే, మీరు తప్పనిసరిగా Shopify భాగస్వామితో కలిసి పని చేయాలి లేదా కోడ్ ఎడిట్‌లు, SEOలో నైపుణ్యం కలిగి ఉండాలి.

robots.txt.liquid టెంప్లేట్ నుండి డైరెక్టివ్‌లను జోడించడానికి లేదా తీసివేయడానికి మీరు Liquidను ఉపయోగించవచ్చు. భవిష్యత్తులో ఫైల్‌ను ఆటోమేటిక్‌గా అప్‌డేట్ చేసేలా ఉంచడానికి ఈ పద్ధతి Shopify సామర్థ్యాన్ని సంరక్షిస్తుంది, కాబట్టి ఇది సిఫార్సు చేయబడింది. ఈ ఫైల్‌ను ఎడిట్ చేయడం గురించిన పూర్తి గైడ్ కోసం, Shopify డెవలపర్ పేజీ అయిన robots.txt.liquid అనుకూలీకరించండిని చూడండి.

మీరు robots.txt.liquid ఫైల్‌ను ఎడిట్ చేయడానికి ముందు, గతంలో చేసిన ఏవైనా అనుకూలీకరణలు లేదా Cloudflare వంటి థర్డ్-పార్టీ సర్వీస్‌ను ఉపయోగించడం వంటి ప్రత్యామ్నాయ పరిష్కారాలను తీసివేయండి.

దశలు:

  1. మీ Shopify అడ్మిన్ నుండి, ఆన్‌లైన్ స్టోర్కి వెళ్లండి.

  2. సంబంధిత థీమ్ కోసం, క్షితిజ సమాంతర మెనూ > కోడ్‌ను ఎడిట్ చేయండి ఆప్షన్‌ను క్లిక్ చేయండి.

  3. కొత్త టెంప్లేట్‌ను జోడించండిని క్లిక్ చేసి, ఆపై robotsను ఎంచుకోండి.

  4. టెంప్లేట్‌ను సృష్టించండిని క్లిక్ చేయండి.

  5. డిఫాల్ట్ టెంప్లేట్‌లో మీరు చేయాలనుకుంటున్న మార్పులను చేయండి. లిక్విడ్ వేరియబుల్స్ మరియు సాధారణ ఉపయోగానికి సంబంధించిన మరింత సమాచారం కోసం, Shopify డెవలపర్ పేజీ అయిన robots.txt.liquid అనుకూలీకరణను చూడండి.

  6. మీ పబ్లిష్ చేసిన థీమ్‌లో ఉన్న robots.txt.liquid ఫైల్‌కి చేసిన మార్పులను సేవ్ చేయండి.

మార్పులు తక్షణమే జరిగినప్పటికీ, క్రాలర్‌లు ఎల్లప్పుడూ వెంటనే స్పందించవు. మీరు Google యొక్క robots.txt Tester ఉపయోగించి మార్పులను పరీక్షించవచ్చు.

మీరు టెంప్లేట్‌లోని కంటెంట్‌ను తొలగించి దానికి బదులుగా సాదా టెక్స్ట్ నియమాలను ఉంచవచ్చు. అయితే నియమాలు కాలదోషం పట్టే అవకాశం ఉన్నందున, ఈ పద్ధతిని ఎంతమాత్రం సిఫార్సు చేయడం లేదు. మీరు ఈ పద్ధతిని ఎంచుకుంటే, భవిష్యత్తులో మీ robots.txtకి SEO ఉత్తమ పద్ధతులు అన్వయించబడేలా లేదా ఫైల్‌కి భవిష్యత్తు అప్‌డేట్‌లను చేసేలా Shopify నిర్ధారించలేదు.

"ఇండెక్స్ చేయబడింది, కానీ బ్లాక్ చేయబడింది" మెసేజ్‌లను అర్థం చేసుకోవడం

Google Search Consoleలో, URLలు "ఇండెక్స్ చేయబడింది, కానీ robots.txt ద్వారా బ్లాక్ చేయబడింది" అని ప్రదర్శించబడవచ్చు. ఇది సాధారణమే, దీన్ని చూసి ఆందోళన చెందాల్సిన అవసరం లేదు.

ఇలా ఎందుకు జరుగుతుంది

SEO ఆప్టిమైజేషన్ కోసం అనేక పేజీలు robots.txt ద్వారా ఉద్దేశపూర్వకంగా బ్లాక్ చేయబడతాయి. ఒకవేళ పొరపాటున బ్లాక్ చేయబడి ఉంటే దాన్ని తెలియజేయడానికి Google మీకు బ్లాక్ చేయబడిన కంటెంట్‌ను కనుగొన్నట్లు ఈ మెసేజ్ ద్వారా తెలియజేస్తుంది. మీ SEOకి సహాయపడటం కోసమే Shopify యొక్క డిఫాల్ట్ robots.txt ఫైల్‌లోని ప్రతిదీ చేర్చబడింది.

మీ సైట్‌లోని సాధారణ పేజీ (మీ హోమ్‌పేజీ వంటివి) "ఇండెక్స్ చేయబడింది, కానీ బ్లాక్ చేయబడింది" అని కనిపిస్తే, మీ స్టోర్ గురించి Google వద్ద ఉన్న డేటా పాతబడిందని దానికి అర్థం. ఏదైనా వెబ్‌సైట్‌కి సంబంధించి చేసిన తాజా మార్పులతో Google వారి డేటాబేస్‌ను అప్‌డేట్ చేయడానికి కొద్ది రోజులు, వారాలు లేదా నెలల సమయం పట్టవచ్చు.

ఏమి చేయాలి

చాలా సందర్భాలలో ఎలాంటి చర్యా అవసరం లేదు. క్రాల్ చేయడం ద్వారా బ్లాక్ చేయాల్సినప్పటికీ ఇతర పద్ధతుల ద్వారా ఇండెక్స్ చేయబడగల పేజీలకు సంబంధించి ఇది ఆశించే ప్రవర్తనే.

AI క్రాలర్ యాక్సెస్‌ను నియంత్రించడం

మీరు ChatGPT లేదా Microsoft Copilot వంటి ఏజెంటిక్ స్టోర్‌ఫ్రంట్‌ల ద్వారా విక్రయిస్తే, అప్పుడు మీ ఉత్పత్తి డేటా /robots.txtతో సంబంధం లేకుండా Shopify Catalog ద్వారా ఆ ఛానెల్‌లకు సిండికేట్ చేయబడుతుంది. AI క్రాలర్‌లు నేరుగా ఓపెన్ వెబ్ ద్వారా కూడా మీ స్టోర్‌ను యాక్సెస్ చేయగలవు. క్రాలర్ యాక్సెస్‌కు క్రింది రెండు నియంత్రణ లేయర్‌లు ఉన్నాయి:

  • నెట్‌వర్క్ లేయర్: Shopifyలోని స్టోర్‌ల కోసం బాట్ నిర్వహణ అనేది నేరుగా నిర్వహించబడుతుంది మరియు మీరు ఎలాంటి చర్యలు తీసుకోవాల్సిన అవసరం లేదు. Shopify ముందు ప్రాక్సీ కాన్ఫిగరేషన్‌ను Shopify సిఫార్సు చేయదు మరియు దీనికి మద్దతును కూడా అందించదు.
  • /robots.txt లేయర్: మీరు మీ స్టోర్ యొక్క robots.txt.liquid టెంప్లేట్‌ను అనుకూలీకరించడం ద్వారా నిర్దిష్ట యూజర్-ఏజెంట్ క్రాలర్‌లను అనుమతించవచ్చు లేదా బ్లాక్ చేయవచ్చు. మీ /robots.txt ఫైల్‌లో మీరు సెట్ చేసిన నియమాలు దిశానిర్దేశం మరియు సలహాపూర్వకమైనవి, అలాగే అన్ని క్రాలర్‌లు వాటిని అనుసరిస్తాయనే హామీ లేదు.

/robots.txt లేదా నెట్‌వర్క్ లేయర్ వద్ద AI క్రాలర్‌లను బ్లాక్ చేయడం వల్ల ఓపెన్-వెబ్ ద్వారా కనుగొనగలిగే సామర్థ్యంపై మాత్రమే ప్రభావం చూపుతుంది. ఇది Shopify Catalog ద్వారా మీరు యాక్టివేట్ చేసిన ఏజెంటిక్ స్టోర్‌ఫ్రంట్‌లకు మీ ఉత్పత్తి డేటా పంపబడటాన్ని ఆపదు. ఏజెంటిక్ స్టోర్‌ఫ్రంట్‌లతో Shopify Catalog పంచుకునే వాటిని నియంత్రించడానికి, మీ ఏజెంటిక్ స్టోర్‌ఫ్రంట్‌ల సెట్టింగ్‌లను అర్థం చేసుకోవడం అనేదాన్ని చూడండి.

Shopify యొక్క డిఫాల్ట్ robots.txtని అర్థం చేసుకోవడం

Shopify యొక్క డిఫాల్ట్ robots.txt ఫైల్ మీ స్టోర్ యొక్క SEOని ఆప్టిమైజ్ చేసే నియమాలను కలిగి ఉంటుంది. క్రింద ఉన్నవి కొన్ని ముఖ్యమైన ఎంట్రీలు:

  • మీ ఉత్పత్తి, కలెక్షన్, పేజీ, బ్లాగ్ మరియు పాలసీ పేజీల వంటి పబ్లిక్ కంటెంట్‌ను రిక్వెస్ట్ చేయడానికి Allow: / నియమం క్రాలర్‌లను అనుమతిస్తుంది.
  • క్రాలర్‌లు అడ్మిన్ పేజీలను ఎలాగూ యాక్సెస్ చేయలేవు కాబట్టి, Disallow: /admin నియమం వాటిని క్రాల్ చేయబడకుండా ఉంచుతుంది.
  • కార్ట్ లింక్‌లు ప్రతి కస్టమర్‌కూ భిన్నంగా ఉంటాయి కాబట్టి, Disallow: /cart/ నియమం వాటిని క్రాల్ చేయబడకుండా ఉంచుతుంది.
  • Disallow: /checkout మరియు Disallow: /checkouts/ నియమాలు చెక్‌అవుట్ పేజీలను క్రాల్ చేయబడకుండా ఉంచుతాయి.
  • అకౌంట్ మరియు ఆర్డర్ పేజీలు కేవలం ఒకే కస్టమర్‌కు సంబంధించినవి కాబట్టి, Disallow: /account మరియు Disallow: /orders నియమాలు వాటిని క్రాల్ చేయబడకుండా ఉంచుతాయి.
  • ఫిల్టర్ చేసిన సేకరణ పేజీలు ఇప్పటికే సేకరణ పేజీలో ఉన్న కంటెంట్‌నే తిరిగి ప్రదర్శిస్తాయి కాబట్టి, Disallow: /collections/*+* నియమం వాటిని క్రాల్ చేయబడకుండా ఉంచుతుంది.
  • సార్ట్ చేసిన సేకరణ పేజీలు అవే ఉత్పత్తులను వేరొక క్రమంలో అందిస్తాయి కాబట్టి, Disallow: /collections/*sort_by* నియమం వాటిని క్రాల్ చేయబడకుండా ఉంచుతుంది.

ఈ నియమాలు పరిపాలనాపరమైన లేదా నకిలీ పేజీల కంటే మీ ప్రత్యేకమైన కంటెంట్‌పై సెర్చ్ ఇంజిన్‌లు దృష్టి పెట్టేలా సహాయపడతాయి.

robots.txt.liquid అనుకూలీకరణలను తొలగించండి

మీరు డిఫాల్ట్ robots.txt ఫైల్‌ను మళ్లీ ఉపయోగించాలనుకుంటే, మీరు మీ కస్టమ్ robots.txt.liquid ఫైల్‌ను తొలగించవచ్చు.

దశలు:

  1. మీ Shopify అడ్మిన్ నుండి, ఆన్‌లైన్ స్టోర్కి వెళ్లండి.

  2. క్షితిజ సమాంతర మెనూ > కోడ్‌ను ఎడిట్ చేయండిని క్లిక్ చేయండి.

  3. robots.txt.liquidపై రైట్-క్లిక్ చేసి, డ్రాప్-డౌన్ మెను నుండి శాశ్వతంగా తొలగించండి ఎంచుకోండి.

  4. తొలగించండి క్లిక్ చేయండి.

మీరు ఎల్లప్పుడూ భవిష్యత్తులో robots.txt.liquid ఫైల్‌ను ఎడిట్ చేయవచ్చు లేదా మీ గత అనుకూలీకరణలను సేవ్ చేసి ఉంటే, సేవ్ చేసిన మీ మునుపటి అనుకూలీకరణలను కాపీ చేయడం ద్వారా మీరు మార్పులను తిరిగి చేయవచ్చు.