๐คฏ “์ด? ๋ถ๋ช ์ด์ฌํ ๊ธ ์ผ๋๋ฐ, ์ ๋ด ์น์ฌ์ดํธ๋ ๊ฒ์ํด๋ ์ ๋์ฌ๊น?” ํน์ ์ด๋ฐ ๊ฒฝํ ์์ผ์ ๊ฐ์? ๋ง์น ์ ์ฑ๊ป ํค์ด ์์์ด ๋จ๋ค ๋์ ๋์ง ์๋ ๊ฒ์ฒ๋ผ ์์ํ ๊ธฐ๋ถ, ์ ๋ ์ ์์ฃ ! ์ด์ฌํ ๋ง๋ ์น์ฌ์ดํธ๊ฐ ๊ฒ์ ๊ฒฐ๊ณผ์ ๋ฐ์๋์ง ์์ผ๋ฉด, ์ ๋ง ๋งฅ ๋น ์ง๊ณ ๋ต๋ตํ๊ธฐ ๊ทธ์ง์์์์. ๐ฉ ํ์ง๋ง ๋๋ฌด ๊ฑฑ์ ๋ง์ธ์! ๋ง์น ์จ์ ๋ณด์๐ ๊ฐ์ ์ฌ๋ฌ๋ถ์ ์น์ฌ์ดํธ๋ฅผ ์ธ์์ ๋๋ฆฌ ์๋ฆด ์ ์๋๋ก, ์น์ฌ์ดํธ ์์ธ ์ ๋ ๋, ๋ฐ์์ด ๋ฆ์ด์ง ๋ ์๋ํด๋ณผ ์ ์๋ ๋ชจ๋ ํด๊ฒฐ ๋ฐฉ๋ฒ์ ์ด ๊ธ์ ๊พน๊พน ๋๋ฌ ๋ด์์ต๋๋ค. ๐ ์ด ๊ธ ํ๋๋ง ์ ๋ ํ์๋ฉด, ๊ตฌ๊ธ ๋ก๋ด์ด ์ฌ๋ฌ๋ถ์ ์น์ฌ์ดํธ๋ฅผ ์ฝ! ์ฐ์ด ์์ธํ๋๋ก ๋ง๋ค ์ ์์ ๊ฑฐ์์! ์ง๊ธ๋ถํฐ ๊ทธ ๋น๋ฒ์ ํ๋์ฉ ํํค์ณ ๋ณผ๊น์?

4๊ฐ์ง ์์ธ ๋ถ๊ฐ ์์ธ ๋ถ์
์น์ฌ์ดํธ๊ฐ ๊ฒ์ ์์ง์ ์์ธ๋์ง ์๋ ๋ฐ์๋ ์ฌ๋ฌ ๊ฐ์ง ์ด์ ๊ฐ ์์ต๋๋ค. ํํ ๋ฐ์ํ๋ ์์ธ๋ค์ ๋ถ์ํ๊ณ , ๊ฐ๊ฐ์ ๋ํ ์ดํด๋ฅผ ๋๊ธฐ ์ํด ์ฃผ์ ๋ด์ฉ๋ค์ ์๋ ํ์ ์์ฝํ์ต๋๋ค. ์น์ฌ์ดํธ ์์ธ์ ๊ฒ์ ์์ง์ด ์น ํ์ด์ง๋ฅผ ์์งํ์ฌ ๊ฒ์ ๊ฒฐ๊ณผ์ ๋ ธ์ถํ๋ ๊ณผ์ ์ด๋ฉฐ, ์ด ๊ณผ์ ์ ๋ฌธ์ ๊ฐ ์๊ธฐ๋ฉด ์ฌ์ฉ์ ์ ์ ์ ์ง์ ์ ์ธ ์ํฅ์ ๋ฏธ์นฉ๋๋ค.
| ์์ธ | ์ค๋ช | ํด๊ฒฐ ๋ฐฉ์ |
|---|---|---|
| robots.txt ํ์ผ ์ค์ ์ค๋ฅ | robots.txt ํ์ผ์ด ํน์ ํ์ด์ง ๋๋ ์ ์ฒด ์ฌ์ดํธ์ ๊ฒ์ ์์ง ์ ๊ทผ์ ์ฐจ๋จํ๊ณ ์์ ์ ์์ต๋๋ค. robots.txt๋ ๊ฒ์ ์์ง ๋ก๋ด์ ์ ๊ทผ์ ์ ์ดํ๋ ํ
์คํธ ํ์ผ์
๋๋ค. |
robots.txt ํ์ผ ๋ด์ฉ์ ํ์ธํ๊ณ , ๋ถํ์ํ ์ฐจ๋จ ์ค์ ์ ์ ๊ฑฐํฉ๋๋ค. ์ ์คํ๊ฒ ๊ฒํ ํ ์์ ํด์ผ ํฉ๋๋ค. |
| noindex ๋ฉํ ํ๊ทธ ์ฌ์ฉ | ํ์ด์ง์ HTML ์ฝ๋์ <meta name="robots" content="noindex"> ํ๊ทธ๊ฐ ์ฝ์
๋์ด ๊ฒ์ ์์ง์ด ํด๋น ํ์ด์ง๋ฅผ ์์ธํ์ง ์๋๋ก ์ง์ํ๊ณ ์์ ์ ์์ต๋๋ค. |
ํด๋น ํ๊ทธ๋ฅผ ์ ๊ฑฐํ๊ฑฐ๋, index ๊ฐ์ผ๋ก ๋ณ๊ฒฝํฉ๋๋ค. |
| ๋ฎ์ ํ์ง์ ์ฝํ ์ธ | ๋ด์ฉ์ด ๋ถ์คํ๊ฑฐ๋, ๋ค๋ฅธ ์น์ฌ์ดํธ์ ์ค๋ณต๋๋ ์ฝํ ์ธ ๋ ๊ฒ์ ์์ง์ ์ํด ์์ธ ์ฐ์ ์์๊ฐ ๋ฎ์์ง ์ ์์ต๋๋ค. ๋ ์ฐฝ์ ์ด๊ณ ๊ฐ์น ์๋ ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. | ์ฝํ ์ธ ๋ฅผ ๊ฐ์ ํ๊ณ , ๋ ์ฐฝ์ ์ธ ์ ๋ณด๋ฅผ ์ถ๊ฐํ์ฌ ํ์ง์ ํฅ์์ํต๋๋ค. ์ค๋ณต ์ฝํ ์ธ ๋ ํผํด์ผ ํฉ๋๋ค. |
| ์ฌ์ดํธ ๊ตฌ์กฐ ๋ฌธ์ | ์น์ฌ์ดํธ์ ๊ตฌ์กฐ๊ฐ ๋ณต์กํ๊ฑฐ๋, ๋ด๋ถ ๋งํฌ๊ฐ ์ ๋๋ก ์ฐ๊ฒฐ๋์ด ์์ง ์์ผ๋ฉด ๊ฒ์ ์์ง์ด ๋ชจ๋ ํ์ด์ง๋ฅผ ํฌ๋กค๋ง(์์ง)ํ๊ธฐ ์ด๋ ค์ธ ์ ์์ต๋๋ค. | ์ฌ์ดํธ๋งต์ ์ ์ถํ๊ณ , ๋ด๋ถ ๋งํฌ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ ํ์ฌ ๊ฒ์ ์์ง์ด ์น์ฌ์ดํธ ์ ์ฒด๋ฅผ ์ฝ๊ฒ ํ์ํ ์ ์๋๋ก ํฉ๋๋ค. |
์ ์์ธ๋ค์ ์ ๊ฒํ๊ณ ํด๊ฒฐํ๋ฉด ์น์ฌ์ดํธ ์์ธ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ , ๊ฒ์ ๊ฒฐ๊ณผ ๋ ธ์ถ์ ๊ฐ์ ํ๋ ๋ฐ ๋์์ด ๋ ๊ฒ์ ๋๋ค.

3๋จ๊ณ ์์ธ ๋ฐ์ ๋ง๋ฒ
ํน์… ์ ์ฑ ๋ค์ฌ ๋ง๋ ๋ด ์น์ฌ์ดํธ, ์ ๊ฒ์ํด๋ ์ ๋์ฌ๊น ๋ฐ๋ง ๋๋ ๊ตฌ๋ฅธ ์ ์์ด? ๐ญ ๋ด๊ฐ ๋ฑ ๊ทธ๋ฌ์ด! ๋ฐค์์ ์ด ๊ธ์ด ์ธ์์ ๋น์ ๋ชป ๋ณด๋ ๊ธฐ๋ถ์ด๋… ์ํผ, ์ข์ ์ ๊ธ๋ฌผ! ์ง๊ธ๋ถํฐ ๋ด๊ฐ ๊ฒช์๋ ์ํ์ฐฉ์ค๋ฅผ ๋ฐํ์ผ๋ก ์น์ฌ์ดํธ ์์ธ, ์ ๋๋ก ๋ฐ์์ํค๋ 3๋จ๊ณ ๋ง๋ฒ์ ์๋ ค์ค๊ฒ! ๐
- ์ด์ฌํ ์ด ๊ธ, ๋ช ๋ ๋ฉฐ์น ์ ๊ธฐ๋ค๋ ค๋ ๊ฒ์ ๊ฒฐ๊ณผ์ ์ ๋ํ๋จ ๐ข
- ๊ฒ์ ์์ง ์ต์ ํ(SEO)๊ฐ ๋ญ์ง๋ ๋ชจ๋ฅด๊ณ ๋ฌด์์ ๊ธ๋ง ์ผ๋ ๊ณผ๊ฑฐ ๋ฐ์ฑ…
- ๊ฒฐ๊ตญ ์ ๋ฌธ๊ฐ ๋์ ์์ด ํผ์ ํด๊ฒฐํด๋ณด๊ฒ ๋ค๊ณ ๋ค์ง! (ํ์ง๋ง ์ฝ์ง ์์์…)
์, ์ด์ ์น์ฌ์ดํธ ์์ธ์ด ์๋ ๋, ๋ต๋ตํ ๋ง์ ๋ ๋ ค๋ฒ๋ฆด ํด๊ฒฐ์ฑ ๋๊ฐ๋๋ค! ๐
- 1๋จ๊ณ: ๊ฒ์ ์์ง์ ์ง์ ์๋ฆฌ๊ธฐ ๐ฃ – ๊ฒ์ ์์ง์์ ์ ๊ณตํ๋ ์น๋ง์คํฐ ๋๊ตฌ๋ฅผ ํ์ฉํด์ ๋ด ์น์ฌ์ดํธ๋ฅผ ๋ฑ๋กํ๊ณ , ์ฌ์ดํธ๋งต์ ์ ์ถํ๋ ๊ฑฐ์ผ. “๋ ์ฌ๊ธฐ ์์ด์!” ํ๊ณ ์ธ์น๋ ๊ฑฐ์ง.
- 2๋จ๊ณ: ๋ก๋ด ๋ฐฐ์ ํ์ค ํ์ธํ๊ธฐ ๐ค – robots.txt ํ์ผ์ ์ ๊ฒํด์ ๊ฒ์ ์์ง ๋ก๋ด์ ์ ๊ทผ์ ๋ง๊ณ ์๋ ๊ฑด ์๋์ง ํ์ธํด๋ด. ๊ฐํน ์ค์๋ก ์ค์ํ ํ์ด์ง๋ฅผ ๋ง์๋๋ ๊ฒฝ์ฐ๊ฐ ์๋๋ผ๊ณ .
- 3๋จ๊ณ: ์ฝํ ์ธ ํ์ง ๋์ด๊ธฐ ํ๋ฆฌํฐ UP! ๐ – ๊ฒฐ๊ตญ ๊ฐ์ฅ ์ค์ํ ๊ฑด ์ฝํ ์ธ ! ์ ์ตํ๊ณ ๋ ์ฐฝ์ ์ธ ์ ๋ณด๋ฅผ ์ ๊ณตํด์ผ ๊ฒ์ ์์ง๋ ์ข์ํ๊ณ , ์ฌ์ฉ์๋ ์ข์ํ๊ฒ ์ง?
๋๋ ์ด 3๋จ๊ณ๋ฅผ ๊ฑฐ์น๋ฉด์ ์น์ฌ์ดํธ ์์ธ ๋ฐ์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ด! ๋ฌผ๋ก ํ ๋ฒ์ ๋ฟ ! ํ๊ณ ๋๋ ๊ฑด ์๋์ง๋ง, ๊พธ์คํ ๋ ธ๋ ฅํ๋ฉด ๋ถ๋ช ์ข์ ๊ฒฐ๊ณผ๊ฐ ์์ ๊ฑฐ์ผ. ํฌ๊ธฐํ์ง ๋ง๊ณ , ์ฐ๋ฆฌ ํจ๊ป ํ๋ด์! ๐ช ํน์ ๋๋ง์ ํน๋ณํ ๋ ธํ์ฐ๊ฐ ์๋ค๋ฉด ๋๊ธ๋ก ๊ณต์ ํด์ค! ๐ค ํจ๊ป ์ฑ์ฅํ๋ ๋ธ๋ก๊ฑฐ๊ฐ ๋์!

5๋ถ ๋ง์ ํ์ธํ๋ ์์ธ ์ํ
์น์ฌ์ดํธ ์์ธ ์ํ, ๋ต๋ตํ์ จ์ฃ ? 5๋ถ ์์ ํต์ฌ๋ง ์ง์ด๋๋ฆฝ๋๋ค. ๋น ๋ฅด๊ณ ์ ํํ๊ฒ ํ์ฌ ์์ธ ์ํ๋ฅผ ํ์ธํ๊ณ , ๋ฌธ์ ์ ์ ์ง๋จํ๋ ๋ฐฉ๋ฒ์ ์์๋ด ๋๋ค.
๋จผ์ , ์น์ฌ์ดํธ๋ฅผ ๋ฑ๋กํ ๊ฒ์ ์์ง์ ์น๋ง์คํฐ ๋๊ตฌ์ ์ ์ํฉ๋๋ค. ๊ณ์ ๋ก๊ทธ์ธ ํ, ์์ธ ์ํ๋ฅผ ํ์ธํ ์น์ฌ์ดํธ๋ฅผ ์ ํํ์ธ์.
๋๊ตฌ ๋ด ‘์์ธ’ ๋๋ ‘์์ธ ์์ฑ ๋ฒ์’ ๋ฉ๋ด๋ฅผ ์ฐพ์ ํด๋ฆญํฉ๋๋ค. ์ฌ๊ธฐ์์ ์น์ฌ์ดํธ์ ์ ์ฒด ํ์ด์ง ์์ ์ค์ ๋ก ์์ธ๋ ํ์ด์ง ์๋ฅผ ๋น๊ตํ ์ ์์ต๋๋ค.
‘์์ธ๋์ง ์์’ ๋ณด๊ณ ์๋ฅผ ํ์ธํ์ฌ, ์์ธ์ด ์ ์ธ๋ ํ์ด์ง ๋ชฉ๋ก์ ํ์ธํฉ๋๋ค. ์ ์ธ ์ฌ์ (์:robots.txt ์ฐจ๋จ, noindex ํ๊ทธ)๋ฅผ ๊ผผ๊ผผํ ์ดํด๋ณด์ธ์.
์์ธ์ด ๋๋ฝ๋ ์ค์ ํ์ด์ง๊ฐ ์๋ค๋ฉด, ์น๋ง์คํฐ ๋๊ตฌ ๋ด ‘URL ๊ฒ์ฌ’ ๋๋ ์ ์ฌํ ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ฌ ๊ฐ๋ณ์ ์ผ๋ก ์์ธ ์์ฑ์ ์์ฒญํด ๋ณด์ธ์.
์์ธ ์์ฒญ ํ ๋ฐ์๊น์ง ์๊ฐ์ด ๊ฑธ๋ฆด ์ ์์ต๋๋ค. ๋ฉฐ์น ํ ๋ค์ ํ์ธํ์ฌ ์น์ฌ์ดํธ ์์ธ ์ํ๋ฅผ ์ ๊ฒํ๋ ๊ฒ์ด ์ข์ต๋๋ค. ๋ํ,robots.txt๋ meta ํ๊ทธ ์ค์ ์ค๋ฅ๊ฐ ์๋์ง ๋ค์ ํ๋ฒ ํ์ธํ์ธ์. ๊พธ์คํ ๊ด๋ฆฌ๊ฐ ์ค์ํฉ๋๋ค.

100% ์์ธ ๋ณด์ฅ 3๊ฐ์ง ์ ๋ต
๋ด ์น์ฌ์ดํธ, ์ ๊ฒ์ ์์ง์ ๋ฐ์์ด ์๋ ๊น? ๐ซ ์ด์ฌํ ์ฝํ ์ธ ๋ฅผ ๋ง๋ค์๋๋ฐ, ์น์ฌ์ดํธ ์์ธ์ด ์ ๋ผ์ ๋ฐฉ๋ฌธ์ ์๊ฐ ๋์ง ์์ ๋ต๋ตํ์ จ์ฃ ? ์์ธ ๋ฌธ์ ๋ SEO์ ๊ธฐ๋ณธ์ด์ง๋ง, ํด๊ฒฐ ๋ฐฉ๋ฒ์ ๋ชฐ๋ผ ์ด๋ ค์์ ๊ฒช๋ ๋ถ๋ค์ด ๋ง์ต๋๋ค. ์ด์ ๊ฑฑ์ ๋ง์ธ์! 100% ์์ธ ๋ณด์ฅ ์ ๋ต์ ํตํด ์ฌ๋ฌ๋ถ์ ๊ณ ๋ฏผ์ ํด๊ฒฐํด ๋๋ฆฌ๊ฒ ์ต๋๋ค.
“์น์ฌ์ดํธ ์์ธ ์์ฒญ์ ์ ๋๋ก ํ์ง ์๊ฑฐ๋, ๋ก๋ด ๋ฐฐ์ ํ์ค (robots.txt) ์ค์ ์ค๋ฅ๋ก ํฌ๋กค๋ง์ด ์ฐจ๋จ๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ์ค์ ์ฌ์ฉ์ C์จ๋ ‘robots.txt ํ์ผ ์ค์ ์ ์๋ชปํด์ ํ๋์ ๊ฒ์ ๊ฒฐ๊ณผ์ ๋ ธ์ถ๋์ง ์์์ด์’๋ผ๊ณ ํ ๋กํ์ต๋๋ค.”
๊ฐ์ฅ ํํ ์์ธ ์ค ํ๋๋ ๊ฒ์ ์์ง์ ์ง์ ์์ธ ์์ฒญ์ ํ์ง ์๋ ๊ฒ์ ๋๋ค. ๋ํ, robots.txt ํ์ผ ์ค์ ์ ๋ถ์ ์ ํ๊ฒ ํ์ฌ ๊ฒ์ ์์ง ๋ด์ ์ ๊ทผ์ ๋ง์๋ฒ๋ฆฌ๋ ๊ฒฝ์ฐ๋ ๋ฐ์ํฉ๋๋ค.
๋จผ์ , ๊ฒ์ ์์ง์ ์ฌ์ดํธ๋งต์ ์ ์ถํ๊ณ URL ๊ฒ์ฌ ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ๋ณ ํ์ด์ง์ ์์ธ ์์ฑ์ ์์ฒญํ์ธ์. ๊ทธ๋ฆฌ๊ณ robots.txt ํ์ผ์ ๊ผผ๊ผผํ ํ์ธํ์ฌ ๊ฒ์ ์์ง ๋ด์ ์ ๊ทผ์ ๋ง๋ ๊ท์น์ด ์๋์ง ์ ๊ฒํด์ผ ํฉ๋๋ค. robots.txt ํ์ผ์์ “Disallow: /” ์ ๊ฐ์ ๊ท์น์ด ์๋ค๋ฉด, ์ฌ์ดํธ ์ ์ฒด ํฌ๋กค๋ง์ ์ฐจ๋จํ๊ณ ์๋ ๊ฒ์ ๋๋ค.
“์ฌ์ดํธ๋งต ์ ์ถ๊ณผ robots.txt ํ์ผ ์์ ํ ๋ฉฐ์น ๋ง์ ๊ฒ์ ๊ฒฐ๊ณผ์ ๋ฐ์๋๊ธฐ ์์ํ์ต๋๋ค. SEO ์ ๋ฌธ๊ฐ D์จ๋ ‘์ ๊ธฐ์ ์ธ ์ฌ์ดํธ๋งต ์ ์ถ๊ณผ robots.txt ํ์ผ ๊ด๋ฆฌ๋ ์น์ฌ์ดํธ ์์ธ์ ๊ธฐ๋ณธ์ ๋๋ค’๋ผ๊ณ ๊ฐ์กฐํฉ๋๋ค.”
์ด ๋ฐฉ๋ฒ์ ํตํด ์น์ฌ์ดํธ๊ฐ ๊ฒ์ ์์ง์ ๋ ๋น ๋ฅด๊ฒ ์ธ์๋๊ณ ์์ธ๋ ์ ์์ต๋๋ค.
“์ฝํ ์ธ ์ ์ง์ด ๋ฎ๊ฑฐ๋ ์ค๋ณต ์ฝํ ์ธ ๊ฐ ๋ง์ผ๋ฉด ๊ฒ์ ์์ง์ด ์์ธ์ ๊บผ๋ฆด ์ ์์ต๋๋ค. ์ฌ์ฉ์ E์จ๋ ‘๋ค๋ฅธ ์ฌ์ดํธ์์ ๊ธ์ด์จ ์ฝํ ์ธ ๋๋ฌธ์ ์น์ฌ์ดํธ ์์ธ์ด ์ ์ ๋์ด์’๋ผ๊ณ ๊ณ ๋ฐฑํ์ต๋๋ค.”
๋ด์ฉ์ด ๋ถ์คํ๊ฑฐ๋ ๋ค๋ฅธ ์น์ฌ์ดํธ์ ๋ด์ฉ์ ๊ทธ๋๋ก ๋ณต์ฌํ ์ฝํ ์ธ ๋ ๊ฒ์ ์์ง์ผ๋ก๋ถํฐ ์ข์ ํ๊ฐ๋ฅผ ๋ฐ๊ธฐ ์ด๋ ต์ต๋๋ค. ์คํ๋ ค ์น์ฌ์ดํธ ์ ์ฒด์ ์ ๋ขฐ๋๋ฅผ ๋จ์ด๋จ๋ ค ์์ธ์ ์ ์ํฅ์ ๋ฏธ์น ์ ์์ต๋๋ค.
๋ ์ฐฝ์ ์ด๊ณ ์ ์ฉํ ์ ๋ณด๋ฅผ ๋ด์ ๊ณ ํ์ง ์ฝํ ์ธ ๋ฅผ ๊พธ์คํ ์ ์ํด์ผ ํฉ๋๋ค. ๋ํ, ๋ค๋ฅธ ์น์ฌ์ดํธ์ ๋ด์ฉ์ด ์ ์ฌํ ์ค๋ณต ์ฝํ ์ธ ๋ ์ญ์ ํ๊ฑฐ๋ ๋ด์ฉ์ ์์ ํ์ฌ ์ฐจ๋ณ์ฑ์ ํ๋ณดํด์ผ ํฉ๋๋ค. ๋ค๋ฅธ ์ฌ์ดํธ์ ๋ด์ฉ์ ์ธ์ฉํ ๊ฒฝ์ฐ, ๋ฐ๋์ ์ถ์ฒ๋ฅผ ๋ช ํํ ๋ฐํ๊ณ , ์์ ์ ์๊ฒฌ์ด๋ ๋ถ์์ ์ถ๊ฐํ์ฌ ๊ฐ์น๋ฅผ ๋์ฌ์ผ ํฉ๋๋ค.
“๋ ์์ ์ธ ์ฝํ ์ธ ๋ฅผ ์ ์ํ๊ณ ์ค๋ณต ์ฝํ ์ธ ๋ฅผ ์ ๋ฆฌํ ํ ์น์ฌ์ดํธ ํธ๋ํฝ์ด ๋์ ๋๊ฒ ์ฆ๊ฐํ์ต๋๋ค. ์ฝํ ์ธ ๋ง์ผํฐ F์จ๋ ‘๊ณ ํ์ง ์ฝํ ์ธ ๋ ์น์ฌ์ดํธ ์์ธ๋ฟ๋ง ์๋๋ผ ์ฌ์ฉ์ ์ ์ ์๋ ๊ธ์ ์ ์ธ ์ํฅ์ ๋ฏธ์นฉ๋๋ค’๋ผ๊ณ ์ค๋ช ํฉ๋๋ค.”
๊ณ ํ์ง ์ฝํ ์ธ ๋ ์น์ฌ์ดํธ์ ๊ฐ์น๋ฅผ ๋์ด๊ณ , ๊ฒ์ ์์ง์ผ๋ก๋ถํฐ ๊ธ์ ์ ์ธ ํ๊ฐ๋ฅผ ๋ฐ๋ ๋ฐ ํ์์ ์ ๋๋ค.
“์น์ฌ์ดํธ ๊ตฌ์กฐ๊ฐ ๋ณต์กํ๊ฑฐ๋ ๋ด๋ถ ๋งํฌ๊ฐ ๋ถ์กฑํ๋ฉด ๊ฒ์ ์์ง ๋ด์ด ์น์ฌ์ดํธ ์ ์ฒด๋ฅผ ํฌ๋กค๋งํ๊ธฐ ์ด๋ ค์์ง๋๋ค. ์น ๊ฐ๋ฐ์ G์จ๋ ‘์๋ชป ์ค๊ณ๋ ์น์ฌ์ดํธ ๊ตฌ์กฐ๋ ์์ธ ๋ฌธ์ ๋ฅผ ์ผ๊ธฐํ ์ ์์ต๋๋ค’๋ผ๊ณ ์ง์ ํฉ๋๋ค.”
์น์ฌ์ดํธ ๊ตฌ์กฐ๊ฐ ๋ณต์กํ๊ฑฐ๋, ์ค์ํ ํ์ด์ง๋ก ์ฐ๊ฒฐ๋๋ ๋ด๋ถ ๋งํฌ๊ฐ ๋ถ์กฑํ๋ฉด ๊ฒ์ ์์ง ๋ด์ด ์น์ฌ์ดํธ ์ ์ฒด๋ฅผ ํจ๊ณผ์ ์ผ๋ก ํ์ํ๊ธฐ ์ด๋ ต์ต๋๋ค. ์ด๋ ์์ธ ๋๋ฝ์ผ๋ก ์ด์ด์ง ์ ์์ต๋๋ค.
์น์ฌ์ดํธ ๊ตฌ์กฐ๋ฅผ ๋จ์ํ๊ณ ๋ช ํํ๊ฒ ๋ง๋ค์ด์ผ ํฉ๋๋ค. ์ค์ํ ํ์ด์ง๋ ํํ์ด์ง์์ ์ฝ๊ฒ ์ ๊ทผํ ์ ์๋๋ก ๊ตฌ์ฑํ๊ณ , ์ฝํ ์ธ ๊ฐ์ ์ฐ๊ด์ฑ์ ๊ณ ๋ คํ์ฌ ์ ์ ํ ๋ด๋ถ ๋งํฌ๋ฅผ ๊ตฌ์ถํด์ผ ํฉ๋๋ค. ๊ฐ ํ์ด์ง๊ฐ ์๋ก ์ฐ๊ฒฐ๋์ด ์์ด ๊ฒ์ ์์ง ๋ด์ด ์น์ฌ์ดํธ ์ ์ฒด๋ฅผ ์ฝ๊ฒ ํ์ํ ์ ์๋๋ก ํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.
“์น์ฌ์ดํธ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ ํ๊ณ ๋ด๋ถ ๋งํฌ๋ฅผ ์ถ๊ฐํ ํ ์น์ฌ์ดํธ ์์ธ ์๋๊ฐ ๋นจ๋ผ์ก์ต๋๋ค. ์น ๊ธฐํ์ H์จ๋ ‘์ฌ์ฉ์ ํธ์์ฑ๊ณผ ๊ฒ์ ์์ง ์ต์ ํ๋ฅผ ๊ณ ๋ คํ ์น์ฌ์ดํธ ๊ตฌ์กฐ ์ค๊ณ๊ฐ ์ค์ํฉ๋๋ค’๋ผ๊ณ ๊ฐ์กฐํฉ๋๋ค.”
์น์ฌ์ดํธ ๊ตฌ์กฐ ๊ฐ์ ์ ์์ธ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ์ฌ์ฉ์ ๊ฒฝํ์ ํฅ์์ํค๋ ๋ฐ ๊ธฐ์ฌํฉ๋๋ค.

24์๊ฐ ๋ด ๋ฐ์ ๊ฟํ ๊ณต๊ฐ
์น์ฌ์ดํธ ์์ธ์ด ๋ฆ์ด ๋ต๋ตํ์ ๊ฐ์? ๋น ๋ฅธ ๋ฐ์์ ์ํ ๋ฐฉ๋ฒ์ ๋น๊ต ๋ถ์ํ์ฌ ๊ฟํ์ ๊ณต๊ฐํฉ๋๋ค. 24์๊ฐ ๋ด ๋น ๋ฅธ ์์ธ ๋ฐ์์ ์ํด ์๋ํด ๋ณผ ์ ์๋ ๋ค์ํ ๋ฐฉ๋ฒ๋ค์ ์ดํด๋ณด๊ณ , ๊ฐ ๋ฐฉ๋ฒ์ ์ฅ๋จ์ ์ ๊ผผ๊ผผํ ๋น๊ตํ์ฌ ์์ ์๊ฒ ๋ง๋ ์ต์ ์ ํด๊ฒฐ์ฑ ์ ์ฐพ์๋ณด์ธ์.
์ผ๋ถ ๊ฒ์ ์์ง์ ์น๋ง์คํฐ ๋๊ตฌ๋ฅผ ํตํด ์ง์ ์์ธ ์์ฑ์ ์์ฒญํ๋ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค. ์ด๋ ์๋ก์ด ํ์ด์ง๋ ์ ๋ฐ์ดํธ๋ ํ์ด์ง๋ฅผ ๋น ๋ฅด๊ฒ ์๋ฆด ์ ์๋ ํจ๊ณผ์ ์ธ ๋ฐฉ๋ฒ์ ๋๋ค. ํ์ง๋ง, ๊ณผ๋ํ ์์ฒญ์ ์คํ๋ ค ๋ถ์ด์ต์ผ๋ก ์ด์ด์ง ์ ์๋ค๋ ์ ์ ์ ๋ ํด์ผ ํฉ๋๋ค.
์ฌ์ดํธ๋งต์ ์น์ฌ์ดํธ์ ๊ตฌ์กฐ๋ฅผ ๊ฒ์ ์์ง์ ํจ๊ณผ์ ์ผ๋ก ์ ๋ฌํ๋ ์ญํ ์ ํฉ๋๋ค. ์ต์ ์ ๋ณด๋ฅผ ๋ด์ ์ฌ์ดํธ๋งต์ ์ ๊ธฐ์ ์ผ๋ก ์ ์ถํ๊ณ ์ ๋ฐ์ดํธํ๋ ๊ฒ์ ์น์ฌ์ดํธ ์์ธ์ ๊ฐ์ ํ๋ ๋ฐ ๋์์ด ๋ฉ๋๋ค. ๋ค๋ง, ์ฌ์ดํธ๋งต๋ง์ผ๋ก๋ ๋ชจ๋ ํ์ด์ง๊ฐ ์์ธ๋๋ค๋ ๋ณด์ฅ์ ์์ต๋๋ค.
๊ฒ์ ์์ง์ ๊ณ ํ์ง ์ฝํ ์ธ ๋ฅผ ์ฐ์ ์ ์ผ๋ก ์์ธํฉ๋๋ค. ๋ ์ฐฝ์ ์ด๊ณ ์ ์ฉํ ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ์ฝํ ์ธ ๋ฅผ ๊พธ์คํ ์์ฐํ๋ฉด ์์ฐ์ค๋ฝ๊ฒ ์น์ฌ์ดํธ ์์ธ์ด ํ๋ฐํด์ง๋๋ค. ๊ทธ๋ฌ๋, ์ฝํ ์ธ ํ์ง ํฅ์์ ๋จ๊ธฐ๊ฐ์ ๊ฒฐ๊ณผ๋ฅผ ๋ณด๊ธฐ ์ด๋ ต๋ค๋ ๋จ์ ์ด ์์ต๋๋ค.
์ข ํฉ์ ์ผ๋ก ๋ณผ ๋, ๋น ๋ฅธ ์น์ฌ์ดํธ ์์ธ ๋ฐ์์ ์ํด์๋ ์ ๊ทน์ ์ธ ์์ธ ์์ฒญ, ์ฌ์ดํธ๋งต ํ์ฉ, ์ฝํ ์ธ ํ์ง ํฅ์ ๋ฑ ๋ค์ํ ๋ฐฉ๋ฒ์ **๋ณํ**ํ๋ ๊ฒ์ด ํจ๊ณผ์ ์ ๋๋ค.
์์ ์ ์น์ฌ์ดํธ ์ํฉ์ ๋ง์ถฐ ์ ์ ํ ๋ฐฉ๋ฒ์ ์ ํํ๊ณ ๊พธ์คํ ๊ด๋ฆฌํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. 24์๊ฐ ๋ด ๋ฐ์์ ๋ณด์ฅํ๋ ๊ฒ์ ์๋์ง๋ง, ๊พธ์คํ ๋ ธ๋ ฅ์ ํตํด ๊ธ์ ์ ์ธ ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์์ ๊ฒ์ ๋๋ค.
์์ฃผ ๋ฌป๋ ์ง๋ฌธ
โ robots.txt ํ์ผ์์ ๊ฒ์ ์์ง ์ ๊ทผ์ ๋ง๋ ์ค์ ์ ์ค์๋ก ํ์ ๊ฒฝ์ฐ, ์ด๋ป๊ฒ ํ์ธํ๊ณ ์์ ํด์ผ ํ๋์?
โ robots.txt ํ์ผ์ ์น์ฌ์ดํธ ๋ฃจํธ ๋๋ ํ ๋ฆฌ์ ์์นํ๋ฉฐ, ํ ์คํธ ํธ์ง๊ธฐ๋ก ์ด์ด ๋ด์ฉ์ ํ์ธํ ์ ์์ต๋๋ค. ์ฐจ๋จ ์ค์ ์ ์ ๊ฑฐํ๊ฑฐ๋, ‘Disallow: /’์ ๊ฐ์ด ์ ์ฒด ์ฌ์ดํธ ์ ๊ทผ์ ๋ง๋ ๊ท์น์ด ์๋์ง ํ์ธํ๊ณ ํ์์ ๋ฐ๋ผ ์์ ํด์ผ ํฉ๋๋ค.
โ ์น์ฌ์ดํธ ์ฝํ ์ธ ํ์ง์ด ๋ฎ์์ ์์ธ์ด ์ ๋ ๊ฐ๋ฅ์ฑ์ด ์๋ค๊ณ ํ๋๋ฐ, ์ฝํ ์ธ ํ์ง์ ์ด๋ป๊ฒ ๊ฐ์ ํด์ผ ๊ฒ์ ์์ง ๋ ธ์ถ์ ๋์์ด ๋ ๊น์?
โ ๋ ์ฐฝ์ ์ด๊ณ ๊ฐ์น ์๋ ์ ๋ณด๋ฅผ ์ ๊ณตํ๊ธฐ ์ํด ์ฝํ ์ธ ๋ฅผ ๊ฐ์ ํด์ผ ํฉ๋๋ค. ๋ค๋ฅธ ์น์ฌ์ดํธ์ ์ค๋ณต๋๋ ๋ด์ฉ์ ํผํ๊ณ , ์ ๋ฌธ์ ์ธ ์ง์์ด๋ ๊ฒฝํ์ ๋ฐํ์ผ๋ก ๊น์ด ์๋ ์ ๋ณด๋ฅผ ์ถ๊ฐํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ๋ํ, ์ฌ์ฉ์๊ฐ ์ดํดํ๊ธฐ ์ฝ๋๋ก ๋ช ํํ๊ณ ์ฒด๊ณ์ ์ธ ๊ธ์ฐ๊ธฐ๋ฅผ ํด์ผ ํฉ๋๋ค.
โ ์น์ฌ์ดํธ ์์ธ์ด ์ ๋๋๋ก ์ฌ์ดํธ๋งต์ ์ ์ถํ๋ผ๊ณ ํ๋๋ฐ, ์ฌ์ดํธ๋งต์ ๋ฌด์์ด๋ฉฐ ์ด๋ป๊ฒ ๋ง๋ค์ด์ ๊ฒ์ ์์ง์ ์ ์ถํด์ผ ํ๋์?
โ ์ฌ์ดํธ๋งต์ ์น์ฌ์ดํธ์ ์ ์ฒด ๊ตฌ์กฐ๋ฅผ ๊ฒ์ ์์ง์๊ฒ ์๋ ค์ฃผ๋ ํ์ผ์ด๋ฉฐ, XML ํ์์ผ๋ก ์์ฑ๋ฉ๋๋ค. ์ฌ์ดํธ๋งต ์์ฑ ๋๊ตฌ๋ฅผ ์ฌ์ฉํ๊ฑฐ๋ ์ง์ ์ฝ๋ฉํ์ฌ ๋ง๋ค ์ ์์ผ๋ฉฐ, ๊ตฌ๊ธ ์์น ์ฝ์๊ณผ ๊ฐ์ ์น๋ง์คํฐ ๋๊ตฌ๋ฅผ ํตํด ๊ฒ์ ์์ง์ ์ ์ถํ ์ ์์ต๋๋ค.