robots.txt” (রোবটস.টেক্সট) হল একটি টেক্সট ফাইল, যা একটি ওয়েবসাইটের সার্চ ইঞ্জিন রোবটগুলির (search engine robots) দেখা করে। এটি ওয়েবসাইটে কোনও নির্দিষ্ট সেকশনে সার্চ ইঞ্জিন রোবটগুলির অনুমতি বা নিষেধ দেওয়ার জন্য ব্যবহার করা হয়। এটি সাধারণভাবে ওয়েবসাইটের মূল নির্দিষ্ট নিয়ন্ত্রণ দৃষ্টিকোণ করে, যাতে সার্চ ইঞ্জিন স্পাইডার (স্রষ্টা অথবা রোবট নামেও পরিচিত) যে পৃষ্ঠাগুলি স্ক্র্যাপ করতে পারে এবং যেগুলি স্ক্র্যাপ না করতে পারে তা স্পষ্ট করা হয়।
কিছু উদাহরণ দিয়ে ব্যাখ্যা করা যাক:
একটি ওয়েবসাইটের সকল পৃষ্ঠার স্ক্র্যাপিং এবং ইনডেক্সিং অনুমতি দেয়া:
User-agent: * Disallow:
সকল স্ক্র্যাপিং এবং ইনডেক্সিং কে নিষেধ করা:
User-agent: * Disallow: /
সকল স্ক্র্যাপিং অনুমতি দেয়া, কিন্তু একটি নির্দিষ্ট ডিরেক্টরি বা পৃষ্ঠা কে নিষেধ করা:
User-agent: * Allow: / Disallow: /private/ Disallow: /admin.html
একটি স্পেশালিস্ট সার্চ ইঞ্জিন কে স্ক্র্যাপিং এবং ইনডেক্সিং অনুমতি দেয়া:
User-agent: googlebot Allow: / Disallow: /private/
robots.txt ফাইল ওয়েবসাইটের রুট ডিরেক্টরিতে অবস্থান করে এবং সাধারণভাবে সার্চ ইঞ্জিন স্পাইডারগুলি ওয়েবসাইটে এক্সেস করতে প্রথমে robots.txt ফাইলটি দেখে দেখে। স্পাইডারগুলি এই ফাইলে সেট করা নিষেধ বা অনুমতি মোতায়েন। এটি ওয়েবসাইটের SEO (Search Engine Optimization) এবং প্রাইভেসির জন্য গুরুত্বপূর্ণ একটি সরঞ্জাম।
একটি সঠিক robots.txt ফাইল তৈরি করার জন্য আপনি সাধারণভাবে কোনও টেক্সট এডিটর ব্যবহার করতে পারেন অথবা অনলাইন রোবটস.টেক্সট জেনারেটর টুল ব্যবহার করতে পারেন। এই ফাইল সাধারণভাবে robots.txt নামে সংরক্ষিত হয় এবং ওয়েবসাইটের রুট ডিরেক্টরিতে রাখা উচিত, যাতে স্পাইডারগুলি খোঁজ পেতে পারে।
ব্লগার ওয়েবসাইটে Robot.txt কিভাবে যুক্ত করবেন ?
রোবট ডট টিএসটি ফাইল এর মাধ্যমে আপনার ওয়েবসাইটের সমস্ত কিছু গুগলের কাছে পৌঁছে যাবে আপনি আপনার ওয়েবসাইটে কতগুলি পোস্ট লিখেছেন কোন পোস্টে কোন ধরনের আর্টিকেল লিখেছেন এবং কোন কোন ইমেজ ব্যবহার করছেন সেই সঙ্গে আপনার ওয়েবসাইটের ভিজিটররা কোথা থেকে আসছে এবং কোন ভাষাতে আপনি আর্টিকেল লিখছেন সমস্ত কিছু কিন্তু গুগলের কাছে পৌঁছে দেওয়াটাই এই ফাইলটির কাজ |
ব্লগার ওয়েবসাইটে Robot.txt ফাইল যুক্ত করতে গেলে আপনাকে যে সমস্ত কাজ গুলি করতে হবে-
- প্রথমে আপনাকে আপনার ব্লগার ওয়েবসাইটে ড্যাসবোটে যেতে হবে
- সেটিং অপশনটিতে ক্লিক করবেন
- Custom robots.txt অন করবেন এবং নিচে দেওয়া কোড টিকে কপি করে এই বক্সে বসিয়ে দেবেন |
