مرجع تخصصی بروزترین مقالات سئو

کلاً یک وب سایت بوسیله ربات های خزنده مورد رسیدگی قرار می گیرد؛ این ربات ها روز آپدیت هوشمند تر شده و بر طبق الگوریتم های تازه، بروز می‌شوند. این قابلیت برای شما آماده می‌باشد که ربات های خزنده را کنترل کرده و دسترسی آنها را محدود فرمایید. یکی‌از رویکرد های محدود کردن دسترسی ربات های گوگل، ویرایش پوشه Robots.txt هست. اما فولدر Robots.txt چیست؟ این فولدر چه کاربردی دارااست؟ درپی به صورت کامل دراین مورد صحبت کرده ایم و آموزش تشکیل داد فولدر robots txt در وردپرس را نیز قرار داده ایم.
فایل Robots.txt چیست؟
موتورهای جستجو به امداد ربات های خزنده خود می‌توانند سایت های آموزش سئو مشهد متفاوت را بررسی کنند؛ اما این امکان برای شما وجود دارد که جهت حرکت یا به عبارتی مسیر تکان ربات های خزنده را مشخص نمائید. این کار به امداد فایل ربات قابلیت پذیر می باشد. فایل Robots.txt، در واقع یک فولدر متنی معمولی هست که در مسیر اساسی وب سایت یا روت دایرکتوری ( Root Directory ) قرار میگیرد.
این فایل بخش های قابل دسترسی یا محدوده شده برای ربات ها را تعریف می کند. به کمک اطلاعاتی که درین فولدر قرار می دهید، می توانید به ربات های خزنده بگویید که کدام یک از صفحه ها تارنما را دیده و ایندکس کنند و کدامیک را نادیده بگیرند. می قدرت اینطور بیان کرد که او‌لین چیزی که ربات های خزنده در وب سایت شما مشاهده می کنند، همین فایل می‌باشد. شما میتوانید اطلاعات این پوشه را با جستجو آدرس زیر ببینید:
ایجاد کرد پوشه robots.txt
پیش از آنکه برای تشکیل داد پوشه robots.txt اقدام کنید، یقین آموزش سئو در مشهد نتیجه ها نمایید که چنین فایلی وجود ندارد؛ برای این فعالیت کافیست آدرس www.YourWebsite.com/robots.txt را سرچ نمائید. در شرایطی‌که با صفحه 404 مواجه شدید، یعنی این فولدر وجود ندارد.
ولی در صورتی با صفحه ای شامل کدهای User-agent و … روبرو شدید، باید برای مدیریت فولدر به در اختیار گرفتن پنل هاست سایتتان رجوع‌کنید. برای ویرایش فایل robots.txt، آن را در یک ویرایشگر متنی معمولی باز کرده و تغییرات موردنیاز را انجام نمائید. آن گاه آن را ذخیره کرده و جایگزین پوشه پیشین نمایید.
ولی چنانچه چنین فایلی در هاست سایتتان نبود، از طریق نرم‌افزار Notepad ویندوز یک پوشه متنی بسازید و با نام robots آن را ذخیره نمایید؛ بعد دستورها آیتم نظرتان را در آن درج کرده و بعد از ذخیره کردن، آن را در روت اصلی تارنما آپلود نمائید.
نکته بسیار مهمی که بایستی به آن دقت فرمایید، این می‌باشد که فایل robots.txt به حروف بلندمرتبه و کوچک حساس است. برای مثال در‌حالتی که بخواهید برای فایلی با نام File.php محدودیتی ساخت فرمائید و به خطا در فایل robots.txt، نام آن را file.php بنویسید، هیچ محدودیتی برای آن اجرا نکرده اید.
طرز تست فایل robots.txt
چنانچه بخواهید از روش معمولی استفاده کنید، باید فایل robots.txt را باز کرده و دستورات درون آن را بازرسی کنید. ولی طرز حرفه‌ای تری نیز وجود دارد که شما میتوانید به یاری ابزار تست فایل robots.txt در کنسول گوگل آن را تست فرمایید.
برای استفاده از این ابزار روند تحت را طی کنید:
شروع وارد وب سایت Google Search Console شوید
روی بخش robots.txt Tester کلیک کنید
گزینه Test را انتخاب کنید
در صورتیکه که مشکلی در پوشه robots.txt وجود نداشته باشد، دکمه قرمز‌رنگ تست، به رنگ سبز و Allowed عوض می شود. اما اگر مشکلی باشد، فرمان نقص‌ دار هایلایت و مشخص می شود. علاوه بر این، این ابزار امکانات دیگری را نیز در چنگ شما قرار می دهد؛ برای مثال می‌توانید از طریق قسمت URL Tester، آدرس صفحه های مختلف سایت را بازرسی کنید تا متوجه شوید که برای ربات ها مسدود شده اند یا خیر.
همچنین به کمک این ابزار می توانید محتویات فولدر robots.txt را تغییر‌و تحول بدهید. اما برای اعمال تغییرات در سایتتان، می بایست محتوای ویرایش شده را جایگزین محتوای قبلی در فایل robots.txt در هاست خود نمایید. برای این عمل کافیست بعداز دستکاری متن، روی دکمه Submit کلیک نمائید تا به نصیب آینده بروید. در بخش بعدی شما می توانید فولدر robots.txt را دانلود کنید، آن گاه پوشه جدید را جایگزین فایل گذشته کنید. در نهایت به این صفحه برگشته و دکمه Submit را بزنید.
فراگیری ساخت فایل robots txt در وردپرس
مواردی که در ابتدا برای تشکیل داد پوشه robots txt گفته شد، برای وردپرس نیز قابل انجام است. ولی نکاتی را باید دراین باره رعایت کنید:

نکته نخستین

در سال های پیشین برای مسدود سازی دسترسی ربات ها به پنل رئیس تارنما وردپرس، باید از طریق پنل مدیریتی وردپرس، اقدام می کردیم. اما در سال 2012 با بروزرسانی وردپرس، دیگر این شغل ضرورتی نداشت؛ به این دلیل که وردپرس به صورت پیشفرض قابلیتی را به تگ هدر فولدر اضافه کرده که تگ noindex و مسدود سازی یا disallow در آن گنجانده گردیده است. در سود ورقه پنل مدیریت وب سایت وردپرس بدون هیچ اقدام خاصی از لیست ایندکس موتورهای جستجو خارج شده است.

نکته دوم

در وردپرس به صورت پیشفرض فولدر robots.txt با نام فایل مجازی robots.txt یا Virtual robots.txt خیال می گردد. یعنی شما نمی توانید به صورت مستقیم به این فولدر دسترسی داشته و آن را ویرایش فرمایید. شما می توانید فقط از طریق گشودن آدرس http://www.example.com/robots.txt در مرورگر به این فایل دسترسی داشته باشید.

دستور کار پیش خیالی که در فولدر robots.txt جای‌دارد، به صورت زیر می باشد:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

طبق این دستور، ربات ها اجازه دسترسی به صفحه admin-ajax.php را دارا هستند؛ در حالتی که می خواهید دسترسی به این صفحه را غیر فعال فرمایید، بایستی به تنظیمات وردپرس رفته و آیتم Search Engine Visibility را فعال فرمایید.

تشکیل داد robots.txt وردپرس
برای ساخت فایل robots.txt در وردپرس شروع وارد هاست سایتتان بشوید؛ بعد از آن از آنجا روی مورد File Manager کلیک کنید تا بتوانید فولدر ها متعدد جان دار در سایتتان را ببینید.

بعداز ورود به‌این مورد، مسیر /public_html/ را تعیین کنید. موقتا فایلی که با نرم افزار notepad یا هر نرم افزار ویرایشگر متن دیگری که ساخته اید را با نام robots.txt ذخیره و روی هاست آپلود فرمایید. برای این شغل کافیست گزینه Upload را انتخاب و پوشه را به هاست خود اضافه فرمائید.

علاوه بر این شما می توانید با کلیک روی گزینه " FILE+ " طبق تصویر تحت، در فیلد New File Name، فایلی را با نام robots.txt وارد کرده و در نهایت Create New File کلیک فرمایید تا فایل شما ساخته شود.

اکنون به کمک امرها پایین میتوانید فولدر robots.txt را در دست گرفتن کنید؛ پیش از آن باید بدانید که فولدر robots.txt از دو دستور و قانون پیروی می کند. این قانون ها به شرح ذیل خواهد بود:

User-agent: به امداد این امر میتوانید مشخص کنید که چه نوع رباتی به دایرکتوری های هاست شما دسترسی خواهد داشت.
Disallow: این امر مشخص می کند که ربات ها اجازه ورود به چه مسیرهایی را در هاست ندارند.
به عنوان مثال درصورتی که در هاست خود پوشه ای با نام "new folder " دارید و میخواهید که ربات ها به آن دسترسی نداشته باشند، باید قطعه کد زیر را در فایل robots.txt خود قرار بدهید:

User-agent: *

Disallow: /new folder/

دستورها انتخاب سطح دسترسی پوشه robots.txt در وردپرس
کلاً گوگل ربات های مختلفی را طراحی کرده است که هرکدام وظیفه پژوهش مورد خاصی را در تارنما ها دارند. برای مثال ربات Googlebot وظیفه ایندکس صفحات را داراست یا ربات Googlebot-image، برای رسیدگی تصاویر یک وب سایت طراحی گردیده‌است. شما میتوانید دسترسی همگی این ربات ها را به کمک امرها پایین محدود فرمائید:

محدود کردن دسترسی به یک تصویر:

user-agent: Googlebot-image

disallow: /photo/

غیر فعال کردن دسترسی به تک تک تارنما:

Disallow: /

غیر فعال کردن دسترسی به یک پوشه خاص:

Disallow: /name-folder/

Disallow: /name-folder/file/

محدود کردن به دسترسی به یک فایل:

Disallow: /name-folder/name-file.format (pdf,jpg,...)

محدود کردن فولدر‌هایی به فرمت خاص:

Disallow: /*.gif$

Disallow: /*.pdf$

Disallow: /*.docs$

دسترسی نقشه سایت در فولدر robots.txt:

به صورت کلی شما می‌توانید به دو شیوه نقشه سایتتان را به گوگل معرفی فرمایید؛ برای این کار می‌توانید از سرچ کنسول یا پوشه robots.txt به کارگیری فرمایید. البته پیش از آن خوب می باشد با پژوهش نوشته‌ی علمی " طراحی وب مپ " نقشه سایتتان را بسازید. بعد بهتر می باشد از طریق سرچ کنسول نقشه سایتتان را به گوگل معرفی نمایید؛ برای این شغل بایستی سایتتان را در سرچ کنسول ثبت کرده باشید. در نوشته‌ی‌علمی " ثبت سایت در سرچ کنسول " به شما یادگرفتن های مورد نیاز را داده ایم.

اما در حالتی‌که می خواهید از طریق فایل robots.txt این کار را انجام بدهید، باید قطعه کد زیر را به فایل خود اضافه کنید:

Sitemap:https://example.com/sitemap.xml

طرز ویرایش پوشه robots.txt در وردپرس
با دقت به آنچه گفته شد، امکان بازنویسی مستقیم فایل robots.txt در وردپرس وجود ندارد. به همین عامل باید برای بازنویسی آن، یک پوشه جدید را ساخت کرده و در هاست مجدد بار گذاری فرمایید. وقتی که فایل نو robots.txt ساخته میگردد، پوشه مجازی به صورت خود کار غیر فعال می شود.

ضرورت داشتن فولدر robots.txt چیست؟

در صورتیکه که این فولدر در هاست سایتتان آپلود نشده باشد، خزندگان و ربات های موتورهای جستجو میتوانند به تمام صفحه ها وب سایت شما دسترسی پیدا کرده و آن‌ها‌را مورد پژوهش قرار دهند.

در صورتیکه پوشه robots.txt به درستی در وب سایت آپلود نشود، چه می شود؟

در‌حالتی که این فایل به درستی تنظیم نشده باشد یا به صورت بی نقص در هاست آپلود نشده باشد، ربات های خزنده مانند قبلی همگی صفحات وبسایت را ایندکس می کنند. در واقع ربات ها دستوراتی را اعمال می کنند که به صورت دقیق و مطابقت با اخلاق آنها تمجید شده باشد. در غیر اینصورت وظیفه طبیعی و اصلی خود را جاری ساختن می دهند.

دلایل اساسی استعمال از پوشه robots.txt
1. بهبود عملکرد بهینه سازی تارنما
وبسایت های تعالی و پر طرفدار، روزانه هزاران بار توسط ربات های مختلف گزینه تفحص قرار می گیرند. این ربات ها در حین دو مرحله یعنی تفحص و ایندکس، وب سایت را پژوهش می کنند. حال فرض نمائید روزانه بیشتراز صدها ربات یک سایت را بررسی کنند؛ این حادثه سبب ساز کند شدن سرعت بارگذاری وبسایت گردد. به این دلیل که آحاد بخش های سایت و هاست، تحت تاثیر هزارن ربات قرار گرفته هست.

لازم به ذکر می باشد که این آیتم برای وب سایت های نادر بازدید، تاثیر کمتری دارد. اما به هر جهت وب سایت هایی که می بایست روزانه ترافیک زیادی را هندل کنند، با اضافه شدن حجم زیادی از ربات ها نیز، در گیر خلل خواهند شد. به همین جهت می باشد که سئوکاران برای بهبود سرعت وب سایت، دسترسی ربات ها را محدود می کنند. در واقع با این عمل اجازه بازرسی برخی از بخش های تارنما که از حیث بهینه سازی اهمیت کمتری دارند را به ربات ها نمی دهند.

2. رئیس دسترسی موتورهای جستجو
از معمول ترین دلایل به کار گیری از فولدر robots.txt، محدود کردن دسترسی ربات های خزنده به بخش های متفاوت یک وب سایت می‌باشد. مطلقا این سوال برایتان پیش خواهد آمد که چرا برخی از صفحات نباید ایندکس شوند؟ ایندکس شدن برخی از صفحات سایت میتواند نتیجه ها نامطلوبی را برای شما داشته باشد.

به عنوان مثال فرض فرمائید شما به مناسبت های متعدد، جشنواره ای را در سایت خود برگزار می‌کنید و برای این جشنواره ها صفحاتی را ساخت‌و‌ساز میکنید. ضرورتی ندارد که ربات های خزنده این صفحه ها را ایندکس کنند؛ به دلیل آنکه بعداز مدتی غیر فعال شده و از طرفی بار محتوایی زیادی نیز ندارند. به همین دلیل در فولدر robots.txt، ذکر میکنیم که این صفحه ها ایندکس نشوند.

به دلیل آن که در صورت ایندکس شدن، ممکن می‌باشد به عنوان صفحه ها زامبی یا بی بها شناخته شوند. لازم به ذکر است که ایندکس نشدن یک صفحه از سایت، به معنای دیده نشدن آن شیت توسط مخاطب نیست. فقط در نتایج آورده نشده و توسط ربات ها تحقیق نمیشود.

3. مدیریت لینک و پیوند های وب سایت
یکی از تکنیک های بهینه سازی کلاه سیاه، تکنیک URL Cloacking هست؛ در واقع در این تکنیک شما آدرس یک ورقه را از لحاظ موتورهای جستجو مخفی می‌کنید. یکی از دلایل استعمال از فایل robots.txt، رئیس همین صفحات هست. با این تکنیک شما می توانید آدرس صفحه ها را از دید کاربر و موتور جستجو مخفی نگه دارید.

بیشترین کاربرد URL Cloacking، در سیستم همکاری در فروش یا Affiliate Marketing دیده می شود. با این عمل شما می‌توانید لینک های ایجاد کرد شده در Affiliate را مدیریت کرده و آدرس آنان‌را نهفته فرمایید. در نهایت کاربر مجبور می گردد روی آنها کلیک کند.

در نقطه نهایی

در این محتوا به شما گفتیم که فایل Robots.txt چیست و چه کاربردی دارااست؟ همان گونه که گفتیم به کمک پوشه Robots.txt میتوانید ربات های خزنده گوگل را تا حدی در اختیار گرفتن کرده و از ایندکس شدن و بازرسی صفحات بی قیمت نیز غربت نمایید. با این شغل می توانید بودجه خزش سایتتان را صرف صفحه های گرانبها تر نمایید و در فایده بهینه سازی تکنیکال سایتتان را ارتقا دهید.

کلاً یک وب سایت بوسیله ربات های خزنده مورد رسیدگی قرار می گیرد؛ این ربات ها روز آپدیت هوشمند تر شده و بر طبق الگوریتم های تازه، بروز می‌شوند. این قابلیت برای شما آماده می‌باشد که ربات های خزنده را کنترل کرده و دسترسی آنها را محدود فرمایید. یکی‌از رویکرد های محدود کردن دسترسی ربات های گوگل، ویرایش پوشه Robots.txt هست. اما فولدر Robots.txt چیست؟ این فولدر چه کاربردی دارااست؟ درپی به صورت کامل دراین مورد صحبت کرده ایم و آموزش تشکیل داد فولدر robots txt در وردپرس را نیز قرار داده ایم.
فایل Robots.txt چیست؟
موتورهای جستجو به امداد ربات های خزنده خود می‌توانند سایت های آموزش سئو مشهد متفاوت را بررسی کنند؛ اما این امکان برای شما وجود دارد که جهت حرکت یا به عبارتی مسیر تکان ربات های خزنده را مشخص نمائید. این کار به امداد فایل ربات قابلیت پذیر می باشد. فایل Robots.txt، در واقع یک فولدر متنی معمولی هست که در مسیر اساسی وب سایت یا روت دایرکتوری ( Root Directory ) قرار میگیرد.
این فایل بخش های قابل دسترسی یا محدوده شده برای ربات ها را تعریف می کند. به کمک اطلاعاتی که درین فولدر قرار می دهید، می توانید به ربات های خزنده بگویید که کدام یک از صفحه ها تارنما را دیده و ایندکس کنند و کدامیک را نادیده بگیرند. می قدرت اینطور بیان کرد که او‌لین چیزی که ربات های خزنده در وب سایت شما مشاهده می کنند، همین فایل می‌باشد. شما میتوانید اطلاعات این پوشه را با جستجو آدرس زیر ببینید:
ایجاد کرد پوشه robots.txt
پیش از آنکه برای تشکیل داد پوشه robots.txt اقدام کنید، یقین آموزش سئو در مشهد نتیجه ها نمایید که چنین فایلی وجود ندارد؛ برای این فعالیت کافیست آدرس www.YourWebsite.com/robots.txt را سرچ نمائید. در شرایطی‌که با صفحه 404 مواجه شدید، یعنی این فولدر وجود ندارد.
ولی در صورتی با صفحه ای شامل کدهای User-agent و … روبرو شدید، باید برای مدیریت فولدر به در اختیار گرفتن پنل هاست سایتتان رجوع‌کنید. برای ویرایش فایل robots.txt، آن را در یک ویرایشگر متنی معمولی باز کرده و تغییرات موردنیاز را انجام نمائید. آن گاه آن را ذخیره کرده و جایگزین پوشه پیشین نمایید.
ولی چنانچه چنین فایلی در هاست سایتتان نبود، از طریق نرم‌افزار Notepad ویندوز یک پوشه متنی بسازید و با نام robots آن را ذخیره نمایید؛ بعد دستورها آیتم نظرتان را در آن درج کرده و بعد از ذخیره کردن، آن را در روت اصلی تارنما آپلود نمائید.
نکته بسیار مهمی که بایستی به آن دقت فرمایید، این می‌باشد که فایل robots.txt به حروف بلندمرتبه و کوچک حساس است. برای مثال در‌حالتی که بخواهید برای فایلی با نام File.php محدودیتی ساخت فرمائید و به خطا در فایل robots.txt، نام آن را file.php بنویسید، هیچ محدودیتی برای آن اجرا نکرده اید.
طرز تست فایل robots.txt
چنانچه بخواهید از روش معمولی استفاده کنید، باید فایل robots.txt را باز کرده و دستورات درون آن را بازرسی کنید. ولی طرز حرفه‌ای تری نیز وجود دارد که شما میتوانید به یاری ابزار تست فایل robots.txt در کنسول گوگل آن را تست فرمایید.
برای استفاده از این ابزار روند تحت را طی کنید:
شروع وارد وب سایت Google Search Console شوید
روی بخش robots.txt Tester کلیک کنید
گزینه Test را انتخاب کنید
در صورتیکه که مشکلی در پوشه robots.txt وجود نداشته باشد، دکمه قرمز‌رنگ تست، به رنگ سبز و Allowed عوض می شود. اما اگر مشکلی باشد، فرمان نقص‌ دار هایلایت و مشخص می شود. علاوه بر این، این ابزار امکانات دیگری را نیز در چنگ شما قرار می دهد؛ برای مثال می‌توانید از طریق قسمت URL Tester، آدرس صفحه های مختلف سایت را بازرسی کنید تا متوجه شوید که برای ربات ها مسدود شده اند یا خیر.
همچنین به کمک این ابزار می توانید محتویات فولدر robots.txt را تغییر‌و تحول بدهید. اما برای اعمال تغییرات در سایتتان، می بایست محتوای ویرایش شده را جایگزین محتوای قبلی در فایل robots.txt در هاست خود نمایید. برای این عمل کافیست بعداز دستکاری متن، روی دکمه Submit کلیک نمائید تا به نصیب آینده بروید. در بخش بعدی شما می توانید فولدر robots.txt را دانلود کنید، آن گاه پوشه جدید را جایگزین فایل گذشته کنید. در نهایت به این صفحه برگشته و دکمه Submit را بزنید.
فراگیری ساخت فایل robots txt در وردپرس
مواردی که در ابتدا برای تشکیل داد پوشه robots txt گفته شد، برای وردپرس نیز قابل انجام است. ولی نکاتی را باید دراین باره رعایت کنید:

نکته نخستین

در سال های پیشین برای مسدود سازی دسترسی ربات ها به پنل رئیس تارنما وردپرس، باید از طریق پنل مدیریتی وردپرس، اقدام می کردیم. اما در سال 2012 با بروزرسانی وردپرس، دیگر این شغل ضرورتی نداشت؛ به این دلیل که وردپرس به صورت پیشفرض قابلیتی را به تگ هدر فولدر اضافه کرده که تگ noindex و مسدود سازی یا disallow در آن گنجانده گردیده است. در سود ورقه پنل مدیریت وب سایت وردپرس بدون هیچ اقدام خاصی از لیست ایندکس موتورهای جستجو خارج شده است.

نکته دوم

در وردپرس به صورت پیشفرض فولدر robots.txt با نام فایل مجازی robots.txt یا Virtual robots.txt خیال می گردد. یعنی شما نمی توانید به صورت مستقیم به این فولدر دسترسی داشته و آن را ویرایش فرمایید. شما می توانید فقط از طریق گشودن آدرس http://www.example.com/robots.txt در مرورگر به این فایل دسترسی داشته باشید.

دستور کار پیش خیالی که در فولدر robots.txt جای‌دارد، به صورت زیر می باشد:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

طبق این دستور، ربات ها اجازه دسترسی به صفحه admin-ajax.php را دارا هستند؛ در حالتی که می خواهید دسترسی به این صفحه را غیر فعال فرمایید، بایستی به تنظیمات وردپرس رفته و آیتم Search Engine Visibility را فعال فرمایید.

تشکیل داد robots.txt وردپرس
برای ساخت فایل robots.txt در وردپرس شروع وارد هاست سایتتان بشوید؛ بعد از آن از آنجا روی مورد File Manager کلیک کنید تا بتوانید فولدر ها متعدد جان دار در سایتتان را ببینید.

بعداز ورود به‌این مورد، مسیر /public_html/ را تعیین کنید. موقتا فایلی که با نرم افزار notepad یا هر نرم افزار ویرایشگر متن دیگری که ساخته اید را با نام robots.txt ذخیره و روی هاست آپلود فرمایید. برای این شغل کافیست گزینه Upload را انتخاب و پوشه را به هاست خود اضافه فرمائید.

علاوه بر این شما می توانید با کلیک روی گزینه " FILE+ " طبق تصویر تحت، در فیلد New File Name، فایلی را با نام robots.txt وارد کرده و در نهایت Create New File کلیک فرمایید تا فایل شما ساخته شود.

اکنون به کمک امرها پایین میتوانید فولدر robots.txt را در دست گرفتن کنید؛ پیش از آن باید بدانید که فولدر robots.txt از دو دستور و قانون پیروی می کند. این قانون ها به شرح ذیل خواهد بود:

User-agent: به امداد این امر میتوانید مشخص کنید که چه نوع رباتی به دایرکتوری های هاست شما دسترسی خواهد داشت.
Disallow: این امر مشخص می کند که ربات ها اجازه ورود به چه مسیرهایی را در هاست ندارند.
به عنوان مثال درصورتی که در هاست خود پوشه ای با نام "new folder " دارید و میخواهید که ربات ها به آن دسترسی نداشته باشند، باید قطعه کد زیر را در فایل robots.txt خود قرار بدهید:

User-agent: *

Disallow: /new folder/

دستورها انتخاب سطح دسترسی پوشه robots.txt در وردپرس
کلاً گوگل ربات های مختلفی را طراحی کرده است که هرکدام وظیفه پژوهش مورد خاصی را در تارنما ها دارند. برای مثال ربات Googlebot وظیفه ایندکس صفحات را داراست یا ربات Googlebot-image، برای رسیدگی تصاویر یک وب سایت طراحی گردیده‌است. شما میتوانید دسترسی همگی این ربات ها را به کمک امرها پایین محدود فرمائید:

محدود کردن دسترسی به یک تصویر:

user-agent: Googlebot-image

disallow: /photo/

غیر فعال کردن دسترسی به تک تک تارنما:

Disallow: /

غیر فعال کردن دسترسی به یک پوشه خاص:

Disallow: /name-folder/

Disallow: /name-folder/file/

محدود کردن به دسترسی به یک فایل:

Disallow: /name-folder/name-file.format (pdf,jpg,...)

محدود کردن فولدر‌هایی به فرمت خاص:

Disallow: /*.gif$

Disallow: /*.pdf$

Disallow: /*.docs$

دسترسی نقشه سایت در فولدر robots.txt:

به صورت کلی شما می‌توانید به دو شیوه نقشه سایتتان را به گوگل معرفی فرمایید؛ برای این کار می‌توانید از سرچ کنسول یا پوشه robots.txt به کارگیری فرمایید. البته پیش از آن خوب می باشد با پژوهش نوشته‌ی علمی " طراحی وب مپ " نقشه سایتتان را بسازید. بعد بهتر می باشد از طریق سرچ کنسول نقشه سایتتان را به گوگل معرفی نمایید؛ برای این شغل بایستی سایتتان را در سرچ کنسول ثبت کرده باشید. در نوشته‌ی‌علمی " ثبت سایت در سرچ کنسول " به شما یادگرفتن های مورد نیاز را داده ایم.

اما در حالتی‌که می خواهید از طریق فایل robots.txt این کار را انجام بدهید، باید قطعه کد زیر را به فایل خود اضافه کنید:

Sitemap:https://example.com/sitemap.xml

طرز ویرایش پوشه robots.txt در وردپرس
با دقت به آنچه گفته شد، امکان بازنویسی مستقیم فایل robots.txt در وردپرس وجود ندارد. به همین عامل باید برای بازنویسی آن، یک پوشه جدید را ساخت کرده و در هاست مجدد بار گذاری فرمایید. وقتی که فایل نو robots.txt ساخته میگردد، پوشه مجازی به صورت خود کار غیر فعال می شود.

ضرورت داشتن فولدر robots.txt چیست؟

در صورتیکه که این فولدر در هاست سایتتان آپلود نشده باشد، خزندگان و ربات های موتورهای جستجو میتوانند به تمام صفحه ها وب سایت شما دسترسی پیدا کرده و آن‌ها‌را مورد پژوهش قرار دهند.

در صورتیکه پوشه robots.txt به درستی در وب سایت آپلود نشود، چه می شود؟

در‌حالتی که این فایل به درستی تنظیم نشده باشد یا به صورت بی نقص در هاست آپلود نشده باشد، ربات های خزنده مانند قبلی همگی صفحات وبسایت را ایندکس می کنند. در واقع ربات ها دستوراتی را اعمال می کنند که به صورت دقیق و مطابقت با اخلاق آنها تمجید شده باشد. در غیر اینصورت وظیفه طبیعی و اصلی خود را جاری ساختن می دهند.

دلایل اساسی استعمال از پوشه robots.txt
1. بهبود عملکرد بهینه سازی تارنما
وبسایت های تعالی و پر طرفدار، روزانه هزاران بار توسط ربات های مختلف گزینه تفحص قرار می گیرند. این ربات ها در حین دو مرحله یعنی تفحص و ایندکس، وب سایت را پژوهش می کنند. حال فرض نمائید روزانه بیشتراز صدها ربات یک سایت را بررسی کنند؛ این حادثه سبب ساز کند شدن سرعت بارگذاری وبسایت گردد. به این دلیل که آحاد بخش های سایت و هاست، تحت تاثیر هزارن ربات قرار گرفته هست.

لازم به ذکر می باشد که این آیتم برای وب سایت های نادر بازدید، تاثیر کمتری دارد. اما به هر جهت وب سایت هایی که می بایست روزانه ترافیک زیادی را هندل کنند، با اضافه شدن حجم زیادی از ربات ها نیز، در گیر خلل خواهند شد. به همین جهت می باشد که سئوکاران برای بهبود سرعت وب سایت، دسترسی ربات ها را محدود می کنند. در واقع با این عمل اجازه بازرسی برخی از بخش های تارنما که از حیث بهینه سازی اهمیت کمتری دارند را به ربات ها نمی دهند.

2. رئیس دسترسی موتورهای جستجو
از معمول ترین دلایل به کار گیری از فولدر robots.txt، محدود کردن دسترسی ربات های خزنده به بخش های متفاوت یک وب سایت می‌باشد. مطلقا این سوال برایتان پیش خواهد آمد که چرا برخی از صفحات نباید ایندکس شوند؟ ایندکس شدن برخی از صفحات سایت میتواند نتیجه ها نامطلوبی را برای شما داشته باشد.

به عنوان مثال فرض فرمائید شما به مناسبت های متعدد، جشنواره ای را در سایت خود برگزار می‌کنید و برای این جشنواره ها صفحاتی را ساخت‌و‌ساز میکنید. ضرورتی ندارد که ربات های خزنده این صفحه ها را ایندکس کنند؛ به دلیل آنکه بعداز مدتی غیر فعال شده و از طرفی بار محتوایی زیادی نیز ندارند. به همین دلیل در فولدر robots.txt، ذکر میکنیم که این صفحه ها ایندکس نشوند.

به دلیل آن که در صورت ایندکس شدن، ممکن می‌باشد به عنوان صفحه ها زامبی یا بی بها شناخته شوند. لازم به ذکر است که ایندکس نشدن یک صفحه از سایت، به معنای دیده نشدن آن شیت توسط مخاطب نیست. فقط در نتایج آورده نشده و توسط ربات ها تحقیق نمیشود.

3. مدیریت لینک و پیوند های وب سایت
یکی از تکنیک های بهینه سازی کلاه سیاه، تکنیک URL Cloacking هست؛ در واقع در این تکنیک شما آدرس یک ورقه را از لحاظ موتورهای جستجو مخفی می‌کنید. یکی از دلایل استعمال از فایل robots.txt، رئیس همین صفحات هست. با این تکنیک شما می توانید آدرس صفحه ها را از دید کاربر و موتور جستجو مخفی نگه دارید.

بیشترین کاربرد URL Cloacking، در سیستم همکاری در فروش یا Affiliate Marketing دیده می شود. با این عمل شما می‌توانید لینک های ایجاد کرد شده در Affiliate را مدیریت کرده و آدرس آنان‌را نهفته فرمایید. در نهایت کاربر مجبور می گردد روی آنها کلیک کند.

در نقطه نهایی

در این محتوا به شما گفتیم که فایل Robots.txt چیست و چه کاربردی دارااست؟ همان گونه که گفتیم به کمک پوشه Robots.txt میتوانید ربات های خزنده گوگل را تا حدی در اختیار گرفتن کرده و از ایندکس شدن و بازرسی صفحات بی قیمت نیز غربت نمایید. با این شغل می توانید بودجه خزش سایتتان را صرف صفحه های گرانبها تر نمایید و در فایده بهینه سازی تکنیکال سایتتان را ارتقا دهید.