مساعدة بخصوص ملف robot txt

[wafa50]

السلام عليكم
لدي موقع جديد وعندما اضفته في جوجل web master tool ظهر لي error restricted by robot txt
هل ملف robot txt مهم هل يجب ان اضعه وما هي الاكواد التي اضعها فيه
ارجو من لديه الخبرة ان يساعدني لانني مبتدئة شكراا

[machghoul]

ملف robots.txt يجعل عناعب محرّكات البحث لا تبحث في روابط معينة مثل ملف الصور إذا أردت بأن لا تنشر في الأنترنات
قم بأنشاء ملف
robots.txt
ضع فيها هذه الكلمة
User-agent: *
وضعها في مسار الموقع

[wafa50]

ملف robots.txt يجعل عناعب محرّكات البحث لا تبحث في روابط معينة مثل ملف الصور إذا أردت بأن لا تنشر في الأنترنات
قم بأنشاء ملف
robots.txt
ضع فيها هذه الكلمة
User-agent: *
وضعها في مسار الموقع


اين أضع الملف
ولقد وجد هذا النص في ملف function.php/wp includes :


function do_robots() {
header( '*******-Type: text/plain; charset=utf-8' );

/**
* Fires when displaying the robots.txt file.
*
* @since 2.1.0
*/
do_action( 'do_robotstxt' );

$output = "User-agent: *\n";
$public = get_option( 'blog_public' );
if ( '0' == $public ) {
$output .= "Disallow: /\n";
} else {
$site_url = parse_url( site_url() );
$path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
$output .= "Disallow: $path/wp-admin/\n";
}

/**
* Filter the robots.txt output.
*
* @since 3.0.0
*
* @param string $output Robots.txt output.
* @param bool $public Whether the site is considered "public".
*/
echo apply_filters( 'robots_txt', $output, $public );
}



هل هنا الخلل

[ahmedbz84]

الروبوتس مهم جدا في أرشفة موقعك اخت وفاء

هنا شرح لاصافة الروبوتس (http://dzbit.blogspot.com/2015/02/robotstxt.html)

هنااختبار ملف روبوتس إذا به أخطاء (http://dzbit.blogspot.com/2016/01/robotstxt.html)

اذا احتجتي مساعدة ، اتركي معلومات للاتصال بك في رسالة ، من هـنـا (http://dzbit.blogspot.com/p/blog-page_17.html)