검색엔진 로봇 - robots.txt 양식

robots.txt 이란 ?

robots.txt 는 순 문서파일이며 검색로봇의 길안내 또는 검색로봇이 가지말어야할 부분을 설정하는 파일임니다 . robots.txt 는 사이트의 루투디렉토리에 업로드 시켜 사이트가 검색엔진에 수록되는 도움의 역활을 함니다 .

사이트에서 검색엔진 로봇들은 우선 최상위 폴터에 robots.txt 파일의 여부를 확인한후 robots.txt 파일이 있으면 정해진안내에 따라 가지만 없으면 링크추적으로 사이트의 정보를 수집함니다 . robots.txt 파일은 반드시 사이트의 최상위 폴터에 상주해야 함니다 .


robots.txt 의 양식은 대개 이러함니다 .

http://flashgame-girl.com/robots.txt   본 사이트의 robots.txt를 상세히 볼수가 잇슴니다 .

#Robots.txt file from http://www.flashgame-girl.com
#Sitemap: http://www.flashgame-girl.com/Sitemap.xml

User-agent: *
Disallow: /Action1/
Disallow: /d/
Disallow: /e/admin/
Disallow: /e/class/
Disallow: /e/data/
Disallow: /e/enews/
Disallow: /e/tool/gfen/
Disallow: /e/update/    
 








위의 양식에는 모든로봇을 환영하며 8개의 무시항이 표시가 되엿슴니다 .
여기서 #부호는 사이트의 정보설명이고
User-agent: 의 뒤에는 로봇의 이름이 붙슴니다 . 위예제는 모든로봇을 뜻함니다.
Disallow: 는 무시대상을 뜻함니다.


 
모은 로봇 허용 , 무시대상없음 
User-agent: *
Disallow:
또는 빈 robots.txt 파일을 업로드 하기도 함니다 .

 
모든 로봇 금지 양식은
User-agent: *
Disallow: /
 
모든 로봇 허용 , 경로지정은(금지될 폴터가 있을시)
User-agent: *
Disallow: /Action1/
Disallow: /d/
이런식으로 Action1폴더와 d폴더를 무시하라는 뜻임니다.
 
지정한 로봇만 금지 
User-agent: Crawler
Disallow: /
위 예제는 모든로봇은 허용하되 Crawler만 금지
 
지정한 로봇만 허용
User-agent: Crawler
Disallow: 

 
User-agent: *
Disallow: /
위 예제는 모든 로봇금지 단 Crawler만 허용
 
요즘은 예전과 다르게 사이트의 각종 양식들을 챙기는 사이트가 점차 많아짐니다 . 
robots.txt 을 올려서 사이트가 검색엔진들과 더 친해진다면 사이트의 인기에 더큰 도움이 되지 않을까 싶네요.