ما هو حل مشكلة: تم حظره بواسطة ملف robots.txt؟؟

[AyOuB0587]

السلام عليكم
مرحبا إخواني
لدي استفسار بخصوص ملف: robots.txt حيث في موقع أدوات مشرفي المواقع يقول:
تم حظره بواسطة ملف robots.txt والعدد هو: 6.894...أليس كبيرا؟
وماذا يعني هذا؟ يعني أن كل هذا العدد لم يتم أرشفته؟ وبالفعل هناك مواضيع يتم أرشفتها في نصف ساعة أو أقل، وهناك مواضيع لم تتأرشف...رغم انها حصرية وغير منقولة....فهل من إفادة إخواني الكرام؟

[الأستاذ سامي]

السلام عليكم
راجع ملف robots.txt خاصتك

[عميروش]

السلام عليكم

لو تضع صورة للملف المعني أو تنسخ كود ملف robot.txt سيكون أحسن

+

ممكن الروبوتات ممنوعة من الوصول الى ملفات و مناطق معينة من الموقع لذا يتم ترجمة بعض المواضيع و البعض الآخر

لا تستطيع روبوتات الفهرسة الوصول إليه

و الله أعلم

[AyOuB0587]

المشاركة الأصلية كتبت بواسطة الأستاذ سامي

السلام عليكم
راجع ملف robots.txt خاصتك

شكرا لك اخي سامي..لكن احتاج مساعدة لضبطه احسن ضبط دون خطأ مطلقا

المشاركة الأصلية كتبت بواسطة عميروش

السلام عليكم

لو تضع صورة للملف المعني أو تنسخ كود ملف robot.txt سيكون أحسن

+

ممكن الروبوتات ممنوعة من الوصول الى ملفات و مناطق معينة من الموقع لذا يتم ترجمة بعض المواضيع و البعض الآخر

لا تستطيع روبوتات الفهرسة الوصول إليه

و الله أعلم

مرحبا أخي عميروش
ممكن تساعدني على ضبطه جيدا؟
تفضل:

User-agent: Googlebot
Disallow: /wp-
Disallow: /search
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-*******/plugins/
Disallow: /external%20files/
Disallow: /wp-*******/cache/
Disallow: /wp-*******/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*feed=
Disallow: /?feed=
Disallow: /comments/
Disallow: /private/
Disallow: /*tag=
Disallow: /*?tag=
Disallow: /*m=
Disallow: /*cat=
Disallow: /*&cp=
Disallow: /*page_id=
Disallow: /*?paged=
Disallow: /*comments_popup=
Disallow: /*paged=
Allow: /*cat=6
Allow: /wp-*******/uploads/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$

# disallow all files ending with these extensions
Disallow: /*.html$

[عميروش]

فقط سؤال أخي أيوب هل أنت من عدلت على ملف robot.txt أم أنك وجدته هكذا ؟؟؟

المشاركة الأصلية كتبت بواسطة AyOuB0587

شكرا لك اخي سامي..لكن احتاج مساعدة لضبطه احسن ضبط دون خطأ مطلقا


مرحبا أخي عميروش
ممكن تساعدني على ضبطه جيدا؟
تفضل:

User-agent: Googlebot
Disallow: /wp-
Disallow: /search
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-*******/plugins/
Disallow: /external%20files/
Disallow: /wp-*******/cache/
Disallow: /wp-*******/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*feed=
Disallow: /?feed=
Disallow: /comments/
Disallow: /private/
Disallow: /*tag=
Disallow: /*?tag=
Disallow: /*m=
Disallow: /*cat=
Disallow: /*&cp=
Disallow: /*page_id=
Disallow: /*?paged=
Disallow: /*comments_popup=
Disallow: /*paged=
Allow: /*cat=6
Allow: /wp-*******/uploads/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$

# disallow all files ending with these extensions
Disallow: /*.html$

[AyOuB0587]

المشاركة الأصلية كتبت بواسطة عميروش

فقط سؤال أخي أيوب هل أنت من عدلت على ملف robot.txt أم أنك وجدته هكذا ؟؟؟

في الاول لم نعدل عليه
لكن الان قام صديقي بالتعديل
الآن ما رأيك به أخي عميروش؟ وأرجو أن تفيدني بأحسن حل، لأن المشكلة لا تزال كما هي، ولا يزال هناك اشارة أن هناك حظر لروابط في الموقع

 User-Agent: *
Disallow: /license.txt/
Disallow: /readme.html
Disallow: /wp-admin.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-popup.php
Disallow: /wp-commentsrss2.php
Disallow: /wp-comments-post.php
Disallow: /wp-config-sample.php
Disallow: /wp-config.php
Disallow: /wp-cron.php
Disallow: /wp-links-opml.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-pass.php
Disallow: /wp-rdf.php
Disallow: /wp-register.php
Disallow: /wp-settings.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php

Sitemap: https://www.appscart.net/sitemap.xml.gz

[المتصفح الباحث]

اسمحلي أخي بمداخلة صغيرة

ليس هناك مشكلة في قيام ملف الروبوت بحظر عناكب البحث من دخول صفحات محددة، بل بالعكس هكذا توجه العناكب للصفحات المفيدة التي فيها محتوى مفيد فقط، وتبعدها عن الصفحات التي لا فائدة من ارشفتها
مثلا صفحة التسجيل او صفحة لوحة تحكم الادارة او صفحة الاتصال مالفائدة من أرشفتها ؟ لا فائدة. إذا لا فائدة من دخول عناكب البحث إليها وبالتالي توفر على موقعك وعلى السيرفر غذا كنت على سيرفر خاص توفر موارد تحتاجها
الآن الذي عليك فعله هو النظر في ملف الروبوت إلى الصفحات المحظورة وهل تستحق الحظر ام لا ؟ ثم عدل عليها
أو ابحث في النت عن ملف الروبوت المناسب لمدونات الوورد برس

[عميروش]

المشاركة الأصلية كتبت بواسطة المتصفح الباحث

اسمحلي أخي بمداخلة صغيرة

ليس هناك مشكلة في قيام ملف الروبوت بحظر عناكب البحث من دخول صفحات محددة، بل بالعكس هكذا توجه العناكب للصفحات المفيدة التي فيها محتوى مفيد فقط، وتبعدها عن الصفحات التي لا فائدة من ارشفتها
مثلا صفحة التسجيل او صفحة لوحة تحكم الادارة او صفحة الاتصال مالفائدة من أرشفتها ؟ لا فائدة. إذا لا فائدة من دخول عناكب البحث إليها وبالتالي توفر على موقعك وعلى السيرفر غذا كنت على سيرفر خاص توفر موارد تحتاجها
الآن الذي عليك فعله هو النظر في ملف الروبوت إلى الصفحات المحظورة وهل تستحق الحظر ام لا ؟ ثم عدل عليها
أو ابحث في النت عن ملف الروبوت المناسب لمدونات الوورد برس

مداخلة في محلها أخي

هناك العديد من ملفات التي لا يجب حذفها عن عناكب الأرشفة

و المشكل أنه تم حجبها فقط عن قوقل و ليس عن باقي العناكب

مثل هذا الرابط ؟؟ https://www.appscart.net/feed/

حسب الملف الخاص بك هو محجوب عن قوقل ( لماذا تقوم بحجب التغذيات ؟؟؟ )

النسخة الثانية من الملف أحسن بكثير و الله أعلم


أنا لست خبير في ملف robot.txt

و لكني قمت بتحليله بإستخدام هذه الأدات

https://tools.seobook.com/robots-txt/analyzer/

و أيضا وجدت لك هذه النسخة

User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-*******/plugins Disallow: /wp-*******/cache Disallow: /wp-*******/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-*******/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # digg mirror User-agent: duggmirror Disallow: / Sitemap: https://www.example.com/sitemap.xml

و أوافق الأخ "المتصفح الباحث"

و أنصحك بإعادة الملف الى حالته الأصلية لأنه أكيد به كل الإعدادات الأساسية