Tools bagi yang kesulitan mengkonfigurasi robots.txt
Untuk para webmaster, kadang-kadang kita sering mengalami banyak kendala di dalam cara melakukan konfigurasi / setting terhadap robots.txt. Tentunya fungsi dari file tersebut sudah sama-sama kita ketahui.
File tersebut bisa diibaratkan sebagai penerima tamu utk para spider / crawler yg “bertamu” ke website kita. robots.txt mengatur bagaimana spider / crawler tersebut diperlakukan. Apakah kita mengijinkan dia masuk ? Masuk ke “ruang” (direktori) mana saja ? File mana saja yg boleh dicrawl dan mana yg tidak boleh dicrawl ? Delay berapa lama dia mengcrawl ? Semuanya diatur oleh robots.txt. Memang terkadang sangat susah utk mengatur, diperlukan sedikit keahlian pengetahuan mengenai search engine. Nah, bagi yg masih ribet tentang pengetahuan mengenai search engine, tenang !! Ada satu situs yang bisa membantu kita mensetting kinerja robots.txt tsb secara langsung.
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
Related posts:
- WebSpam yang dibenci Google dan Search EngineBanyak sekali cara yang dilakukan oleh orang-orang (=tentunya...
- Look.Fo - Web Search Alias Google Seringkali kita mencari sebuah keywords, dan kemudian...
- Save2PC - Movie Clip DownloaderJika km pingin mendownload video clip lagu dan...
- Plugins untuk Convert WebPage ke PDF Secara Online Kamu ingin website kamu tampil seinteraktif mungkin...
- Undetectable Black Hat SEOSalah satu teknik yang berbahaya dalam SEO adalah...
Tags: search engine, service, website
Link to me :