بدي اعمل ملف robots.txt

يعطيكم العافيه
انا بدي اعمل ملف robots.txt لموقعي للمنتدى
ممكن تعطوني الطريقه او تعملولي ملف جاهز
ويا ريت شو بقدر استفيد من ملف robots.txt وشو تأثيرو على المنتدى

لعمل ملف robots.txt
http://www.khluais.com/Robots

الاخ عبدالله ابراهيم ما قصر معاك ..

وبالتوفيق ان شاء الله

انا عملت هيك شوف

http://www.b-moon.com/robots.txt

ومش عارف شو وظيفتها وشو عملها

يا ريت تساعدوني

اخوى هذة انت كدة لم تعمل شىء لانة لم يمنع شىء
http://traidnt.net/robots.txt

شوف تبع ترايد نت عزيزى

طيب حد بقدر يساعدني ويعملي اياه

لو حطيت هاد الكود في ملف robots.txt ورفعتو على موقعي كويس ؟؟

User-agent: *
Disallow: /vb/referrers.php
Disallow: /vb/ajax_cron.php
Disallow: /vb/ajax.php
Disallow: /vb/attachment.php
Disallow: /vb/calendar.php
Disallow: /vb/cron.php
Disallow: /vb/editpost.php
Disallow: /vb/global.php
Disallow: /vb/image.php
Disallow: /vb/inlinemod.php
Disallow: /vb/joinrequests.php
Disallow: /v/login.php
Disallow: /vb/member.php
Disallow: /vb/memberlist.php
Disallow: /vb/misc.php
Disallow: /vb/moderator.php
Disallow: /vb/newattachment.php
Disallow: /vb/newreply.php
Disallow: /vb/newthread.php
Disallow: /vb/online.php
Disallow: /vb/poll.php
Disallow: /vb/postings.php
Disallow: /vb/printthread.php
Disallow: /vb/private.php
Disallow: /vb/profile.php
Disallow: /vb/register.php
Disallow: /vb/report.php
Disallow: /vb/reputation.php
Disallow: /vb/search.php
Disallow: /vb/sendmessage.php
Disallow: /vb/showgroups.php
Disallow: /vb/subscription.php
Disallow: /vb/threadrate.php
Disallow: /vb/usercp.php
Disallow: /vb/usernote.php
Disallow: /vb/archive
Disallow: /results?search_query
Disallow: /results/
Disallow: /cgi-bin
Disallow: /vb/admincp
Disallow: /vb/modcp
Disallow: /forum/faq
Disallow: /forum/online.php

##############################
# Google
##############################
User-agent: googlebot
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /vb/admincp/
Disallow: /vb/clientscript/
Disallow: /vb/cpstyles/
Disallow: /vb/customavatars/
Disallow: /vb/customprofilepics/
Disallow: /vb/images/
Disallow: /vb/modcp/
Disallow: /vb/ajax.php
Disallow: /vb/attachment.php
Disallow: /vb/calendar.php
Disallow: /vb/cron.php
Disallow: /vb/editpost.php
Disallow: /vb/global.php
Disallow: /vb/image.php
Disallow: /vb/inlinemod.php
Disallow: /vb/joinrequests.php
Disallow: /vb/login.php
Disallow: /vb/member.php
Disallow: /vb/memberlist.php
Disallow: /vb/misc.php
Disallow: /vb/moderator.php
Disallow: /vb/newattachment.php
Disallow: /vb/newreply.php
Disallow: /vb/newthread.php
Disallow: /vb/online.php
Disallow: /vb/poll.php
Disallow: /vb/postings.php
Disallow: /vb/printthread.php
Disallow: /vb/private.php
Disallow: /vb/profile.php
Disallow: /vb/register.php
Disallow: /vb/report.php
Disallow: /vb/reputation.php
Disallow: /vb/search.php
Disallow: /vb/sendmessage.php
Disallow: /vb/showgroups.php
Disallow: /vb/subscription.php
Disallow: /vb/threadrate.php
Disallow: /vb/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/calendar.php
##############################
# MSN
##############################
User-agent: MSNBOT
Disallow: /cgi-bin/
Disallow: /images/
##############################
# MSN2
##############################
User-agent: msnbot-media/1.0
Disallow: /cgi-bin/
Disallow: /images/
##############################
# ALEXA
##############################
User-agent: alexa_site_report
Disallow: /cgi-bin/
Disallow: /images/
##############################
# YAHOO
##############################
User-agent: slurp
Disallow: /cgi-bin/
Disallow: /images/
##############################
# BAN OTHERS
##############################
User-agent: *
Disallow: /

User-agent: WebZip
Disallow: /
User-agent: larbin
Disallow: /
User-agent: b2w/0.1
Disallow: /
User-agent: Copernic
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: URL_Spider_Pro
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: ProWebWalker
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: Alexibot
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: Telesoft
Disallow: /
User-agent: Website Quester
Disallow: /
User-agent: WebZip
Disallow: /
User-agent: moget/2.1
Disallow: /
User-agent: WebZip/4.0
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebSauger
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: NetAnts
Disallow: /
User-agent: Mister PiX
Disallow: /
User-agent: WebAuto
Disallow: /
User-agent: TheNomad
Disallow: /
User-agent: WWW-Collector-E
Disallow: /
User-agent: RMA
Disallow: /
User-agent: libWeb/clsHTTP
Disallow: /
User-agent: asterias
Disallow: /
User-agent: httplib
Disallow: /
User-agent: turingos
Disallow: /
User-agent: spanner
Disallow: /
User-agent: InfoNaviRobot
Disallow: /
User-agent: Harvest/1.5
Disallow: /
User-agent: Bullseye/1.0
Disallow: /
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-agent: CherryPickerSE/1.0
Disallow: /
User-agent: CherryPickerElite/1.0
Disallow: /
User-agent: WebBandit/3.50
Disallow: /
User-agent: NICErsPRO
Disallow: /
User-agent: Microsoft URL Control - 5.01.4511
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: SpankBot
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: lwp-trivial/1.34
Disallow: /
User-agent: lwp-trivial
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169
Disallow: /
User-agent: URLy Warning
Disallow: /
User-agent: Wget/1.6
Disallow: /
User-agent: Wget/1.5.3
Disallow: /
User-agent: Wget
Disallow: /
User-agent: LinkWalker
Disallow: /
User-agent: cosmos
Disallow: /
User-agent: moget
Disallow: /
User-agent: hloader
Disallow: /
User-agent: humanlinks
Disallow: /
User-agent: LinkextractorPro
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Mata Hari
Disallow: /
User-agent: LexiBot
Disallow: /
User-agent: Web Image Collector
Disallow: /
User-agent: The Intraformant
Disallow: /
User-agent: True_Robot/1.0
Disallow: /
User-agent: True_Robot
Disallow: /
User-agent: BlowFish/1.0
Disallow: /
User-agent: JennyBot
Disallow: /
User-agent: MIIxpc/4.2
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: ProPowerBot/2.14
Disallow: /
User-agent: BackDoorBot/1.0
Disallow: /
User-agent: toCrawl/UrlDispatcher
Disallow: /
User-agent: suzuran
Disallow: /
User-agent: TightTwatBot
Disallow: /
User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /
User-agent: VCI
Disallow: /
User-agent: Szukacz/1.4
Disallow: /
User-agent: Openfind data gatherer
Disallow: /
User-agent: Openfind
Disallow: /
User-agent: Xenu's Link Sleuth 1.1c
Disallow: /
User-agent: Xenu's
Disallow: /
User-agent: Zeus
Disallow: /
User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /
User-agent: RepoMonkey
Disallow: /
User-agent: Microsoft URL Control
Disallow: /
User-agent: Openbot
Disallow: /
User-agent: URL Control
Disallow: /
User-agent: Zeus Link Scout
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /
User-agent: Webster Pro
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: LinkScan/8.1a Unix
Disallow: /
User-agent: Keyword Density/0.9
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Iron33/1.0.2
Disallow: /
User-agent: Bookmark search tool
Disallow: /
User-agent: GetRight/4.2
Disallow: /
User-agent: FairAd Client
Disallow: /
User-agent: Gaisbot
Disallow: /
User-agent: Aqua_Products
Disallow: /
User-agent: Radiation Retriever 1.1
Disallow: /
User-agent: Flaming AttackBot
Disallow: /
User-agent: Makbot
Disallow: /
Sitemap: http://b-moon.com/vb/sitemap_1.xml.gz
Sitemap: http://b-moon.com/vb/sitemap_1.xml.gz
Sitemap: http://b-moon.com/sitemap.xml.gz
Sitemap: http://b-moon.com/sitemap.xml

او حد يعملي ملف ويحملي اياه هان

السلام عليكم

اتجه للموقع
http://www.yellowpipe.com/yis/tools/robots.txt/

اضف رابط موقعك
لا تئشر على المربع الي تحت رابط الموقع Disallow all robots:
لان معناه انك تمنع موقعك من جميع محركات البحث

الفرغات الاخرى اذا كان عندك صفحات خاصة او مجلدات بالموقع وتمنع جوجل وياهو ومحركات البحث الاخرى من عرضها في نتائج البحث.

مثلا عندك معرض صور خاص لمنعه من الظهور من محرك البحث اضف
http://yoursite.com/images/
او صفحة من موقعك
http://www.yoursite.com/a/a.html

المربع الاخير اهم شيء لانه يمنع السبام ومن يريد استخدامات سيئة للموقع وحسب ذكر الموقع انه يحمي من http://www.yellowpipe.com/yis/tools/...afe-robots.php

بعد عمل الملف robots.txt ارفعه الى موقعك داخل www.........com

تخفى علينا أهمية هذا الملف robots.txt أو الروبوتس والبعض يسميه ريبوتس والمهم..

تهذا الملف من المعروف بأنه من أهم الملفات التي منع أرشفة الأشياء الغير مفيدة..
فأنت مثلا حين لا تملك هذا الملف فسيتم أرشفة كامل الموقع متل عوضيات الأعضاء..
والتقويم وغيرها الكثير الغير مفيد ابدا..

و هو مقتبس من ترايدنت و ماكسي سيو

و مضاف اليه الكثير من الاضافات للمزيد من الفائدة
مثل الخرائط و روبوتات السبام و غيرها