Robots.txt फाईल ही एक छोटी टेक्स्ट फाईल असते जी तुमच्या वेबसाईटच्या रूट फोल्डरमध्ये असते. ही फाईल सर्च इंजिन च्या बॉटला असे सांगायचे काम करते कि तुमच्या वेबसाईट मधील कोणते भाग हे crawl आणि इंडेक्स करायचे आहेत व कोणते नाही करायचे आहेत.
जर तुम्ही ही फाइल एडिट किंवा कस्टमाईझ करताना थोडी सुद्धा चुकी करता तर सर्च इंजिन बॉट तुमच्या वेबसाईटला crawl आणि इंडेक्स करणे बंद करू शकते आणि तुमची साईट ही सर्च रिझल्ट मध्ये दिसणार नाही.
Robots.txt फाईल म्हणजे काय | what is robots.txt in marathi | Robots.txt फाईल कशी बनवावी | how to create robots.txt in marathi
या पोस्टमध्ये मी तुम्हाला Robots.txt फाईल म्हणजे काय म्हणजेच what is robots.txt in marathi आणि SEO साठी उत्तम Robots.txt फाईल कशी बनवावी म्हणजेच how to create robots.txt in marathi हे सांगणार आहे.
Robots.txt वेबसाईट्स साठी का आवश्यक आहे ? | Importance of robots.txt in marathi
सर्च इंजिन बॉट जेव्हा तुमच्या ब्लॉग किंवा वेबसाईट वर येतात. तेव्हा ते Robots.txt फाईलला फॉलो करतात आणि त्यानुसार कंटेंट हा crawl करतात . जर तुमच्या वेबसाईटमध्ये Robots.txt फाईल नसेल तर सर्च इंजिन तुमच्या वेबसाईट मधील सर्व कन्टेन्ट ला इंडेक्स आणि crawl करणे सुरु करते आणि अशा गोष्टींनाही ते crawl करतात जे तुम्हाला इंडेक्स नाही करायचे आहेत.
सर्च इंजिन बॉट हे कोणत्याही वेबसाईटला इंडेक्स करण्यापूर्वी Robots.txt फाईल शोधतात. जेव्हा त्यांना Robots.txt फाईल द्वारा कोणतीही सूचना मिळत नाही . तेव्हा ते वेबसाईट मधील सगळं कन्टेन्ट ला इंडेक्स करायला सुरु करतात आणि जर Robots.txt मधून सूचना मिळत असेल तर ते त्या सूचनेचे पालन करून तुमच्या वेबसाईट मधील योग्य त्या कन्टेन्ट ला इंडेक्स करतात. आणि यामुळेच Robots.txt फाईल ही वेबसाईट साठी आवश्यक आहे आणि जर तुम्ही Robots.txt फाईल द्वारा सर्च इंजिनला काही सूचना देत नाही तर ते तुमच्या पूर्ण साईटला इंडेक्स करतात आणि यासोबतच असा डेटा इंडेक्स करतात ज्या डेटाची इंडेक्स होण्याची काहीच गरज नसते.
Robots.txt फाईल चे फायदे | Benefits of robots.txt in marathi
- वेबसाइट मधील कोणता कंटेंट crawl आणि इंडेक्स करायचे आहे हे सर्च इंजिन बॉट ला सांगते
- कोणत्याही विशिष्ट फाईल ,फोल्डर, इमेज pdf या सर्वांना इंडेक्स होण्यापासून वाचवते
- कधीकधी सर्च इंजिन हे तुमच्या वेबसाईटला गरज नसताना खूप crawl करते त्यामुळे तुमच्या परफॉर्मन्सवर फरक पडू शकतो . परंतु तुम्ही Robots.txt फाइलमध्ये crawl-delay जोडून या त्रासापासून मुक्त होऊ शकता व यामुळेच तुमचा सर्वर ओवरलोड होण्यापासून सुद्धा वाचतो.
- वेबसाईट मधील कोणत्याही सेक्शनला आपण प्रायव्हेट करू शकतो.
- low क्वालिटी पेजेस आपण याद्वारे ब्लॉक करून वेबसाईटच्या SEO मध्ये सुधारणा करू शकतो.
वेबसाइटमध्ये Robots.txt फाईल कोठे असते ? | how to check robots.txt in marathi
जर तुम्ही एक वर्डप्रेस वापरकर्ते आहात तर ही फाईल तुमच्या साईडच्या रूट फोल्डर मध्ये असते. जर तुम्हाला त्या ठिकाणी ही फाईल मिळत नसेल तर सर्च इंजिन बॉट तुमची पूर्ण वेबसाईट इंडेक्स करायला सुरुवात करेल . कारण सर्च इंजिन बॉट Robots.txt फाईल शोधण्यासाठी तुमची पूर्ण वेबसाइट सर्च करत नाही . जर तुम्हाला माहित नसेल कि तुमची Robots.txt फाईल हि कोठे आहे तर तुम्हाला सर्च इंजिनच्या ॲड्रेस बारमध्ये तुमच्या वेबसाईट च्या URL च्या समोर /robots.txt हे जोडून सर्च करायचे आहे .
यानंतर तुमच्यासमोर एक डॅशबोर्ड ओपन होईल ज्याप्रमाणे मी स्क्रीनशॉट दिला आहे. ही मराठी जीवन.कॉम ची Robots.txt पाहिला आहे. तुम्हाला हे सर्च केल्यानंतर कोणतेही पेज दिसत नसेल तर तुम्हाला तुमच्या वेबसाईट साठी Robots.txtफाईल बनवण्याची गरज आहे.
Robots.txt फाईल कशी बनवावी | how to create robots.txt in marathi
Robots.txt फाइल चे बेसिक फॉर्मट हे खूप साधे असते व ते अश्या प्रकारे दिसते.
User-agent: [user-agent name]
Disallow: [ URL किंवा पेज ज्याला तुम्हाला crawl करण्याची इच्छा नाही आहे ]
ह्या दोन्ही कमांड ला एक पूर्ण Robots.txt मानले जाते .
- User-agent – सर्च इंजिन चे बॉट असतात . जर तुम्ही सर्व सर्च इंजिन बॉट ला सारखी सूचना द्यायची असेल तर तुम्ही user-agent च्या नंतर * चिन्हा चा वापर करा . उदाहरणार्थ – user-agent: *
- Disallow – ह्याच्या मुळे तुम्ही फाइल ला इंडेक्स होण्यापासून वाचवू शकता .
- Allow – ह्याचा वापर करून तुम्ही crawl किंवा इंडेक्स करण्याची परवानगी देऊ शकता .
- Crawl-delay – पेज चा कंटेंट लोड किंवा crawl करण्याअगोदर किती सेकंद बॉट ल थांबायचे आहे ही सूचना करू शकता .
Robots.txt फाईल च्या काही कमांड
सगळ्या वेब crawlers ला वेबसाइट इंडेक्स करण्यापासून रोखण्यासाठी –
User-agent: *
Disallow: /
सगळा कंटेंट इंडेक्स करण्याची परवानगी देण्यासाठी –
User-agent: *
Disallow:
एक विशिष्ट फोल्डर crawl करण्यापासून रोखण्यासाठी –
User-agent: Googlebot
Disallow: /example-subfolder/
एक विशिष्ट पेजला crawl करण्यापासून रोखण्यासाठी –
User-agent: *
Disallow: /page URL (About Us)
निष्कर्ष
ह्या पोस्ट मध्ये आपण Robots.txt फाइल म्हणजे कायम्हणजेच व Robots.txt कसे बनवावी म्हणजेच how to create robots.txt in marathi या बद्दल माहिती जाणून घेतली व Robots.txt फाईल मधले काही कमांड चा वापर सुद्धा पहिला . तुम्हाला या पोस्ट बद्दल किंवा वेबसाईट बद्दल काही शंका असेल तर तुम्ही कमेंट बॉक्समध्ये कमेंट करू शकता व ही पोस्ट तुमच्या ब्लॉगर मित्रांसोबत शेअर करायला अजिबात विसरू नका…..
