※ 이 글은 구독자가 robots.txt가 무엇인지 알고 있다는 가정하에 작성되었습니다.

robots.txt 미리보기

먼저, 바쁜 개발자들을 위해 바로 아래 워드프레스 관련 robots.txt파일 예시를 준비했습니다.
(아래의 샘플에서 Sitemap URL을 각자의 사이트에 알맞게 변경해주세요)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://mysite.com/wp-sitemap.xml

워드프레스 robots.txt 모범 가이드

User-agent: *

위 코드는 해당 디렉토리와 하위 모든 파일들이 로봇에게 수집됨을 의미합니다. (googlebot, bingbot, naverbot ...)

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

여기서 부터는 워드프레스 관련된 내용입니다. 워드프레스 웹사이트의 관리자 화면과 연관된 코드들이 정의되어있는 wp-admin 폴더의 접근을 금지한 뒤 ajax-admin.php 파일만 예외적으로 접근이 가능하도록 허용 하는 것이 좋습니다. admin-ajax.php 파일은 테마 또는 플러그인에서 ajax호출을 수행해야 할 때 자주 사용되기 때문에 예외처리가 필요하며, 이 셋팅을 통해 ajax 요청을 통해 전송 된 콘텐츠 크롤링을 허용함과 동시에 불필요하게 노출 될 수있는 관리자 페이지 및 리소스에 대한 액세스를 방지할 수 있습니다.

간혹 wp-include와 wp-content 폴더의 접근을 차단하는 경우가 있습니다. 이 방식은 오래전에 종종 이용되던 방식입니다. 하지만 이 폴더들은 Googlebot이 페이지를 올바르게 표시하는 데 필요한 리소스를 포함하고 있기 때문 액세스를 차단할 경우 오히려 Google SEO에 악영향을 줄 수 있습니다.

Sitemap: https://mysite.com/wp-sitemap.xml

마지막으로 robots.txt 파일 끝에 sitemap.xml의 URL을 추가합니다. WordPress 5.5 이후 버전에서는 wp-sitemap.xml이라는 이름의 사이트 맵을 워드프레스에서 자동으로 생성해줍니다. (5.5이상의 워드프레스의 경우 더이상 플러그인설치가 필요하지 않음) 그리고 개발자는 필터 API를 사용하여 워드 프레스 사이트 맵의 출력을 지정할 수 있습니다. 하지만 관리자에서 사이트맵을 완벽히 제어하기를 원하신다면 Auctollo의 Google XML Sitemaps 플러그인을 사용하는것을 권장합니다.

마치며

robots.txt 파일을 워드프레스용으로 최적화하는 것은 아주 간단하며, 이는 SEO개선에 효과적인 작업입니다. 이 포스팅이 마음에 드셨기를 바라며, 더 많은 정보가 알고싶으실 경우 저희 페이스북 페이지로 메세지를 보내주세요 🙂

도움주신 분

이 글을 작성하는데 도움을 주신 김민서 책임, 정동영 선임에게 감사 인사를 남깁니다.