اسمحلي أخي بمداخلة صغيرة
ليس هناك مشكلة في قيام ملف الروبوت بحظر عناكب البحث من دخول صفحات محددة، بل بالعكس هكذا توجه العناكب للصفحات المفيدة التي فيها محتوى مفيد فقط، وتبعدها عن الصفحات التي لا فائدة من ارشفتها
مثلا صفحة التسجيل او صفحة لوحة تحكم الادارة او صفحة الاتصال مالفائدة من أرشفتها ؟ لا فائدة. إذا لا فائدة من دخول عناكب البحث إليها وبالتالي توفر على موقعك وعلى السيرفر غذا كنت على سيرفر خاص توفر موارد تحتاجها
الآن الذي عليك فعله هو النظر في ملف الروبوت إلى الصفحات المحظورة وهل تستحق الحظر ام لا ؟ ثم عدل عليها
أو ابحث في النت عن ملف الروبوت المناسب لمدونات الوورد برس