[zoekmachines] 1 pagina moet niet geindexed worden

[Gatara]

Hoe kan ik ook alweer voorkomen dat een bepaalde pagina van een gehele website opgepikt wordt door ondermeer google? Ik wil namelijk niet dat deze door alle zoekmachines herkend word en zichtbaar is...

[balkey]

Doormiddel van een tekstbestandje: robot.txt

Je vind er van alles over op google.

een linkje: http://www.spiderglobe.com/optimize/opt_beheers.htm

[Gatara]

thnx, ik had t al gevonden

Let wel op dat als deze ook niet door andere te zien mag zijn, je het niet met robots.txt moet doen wat die kan natuurlijk iedereen opvragen

[ILUsion]

Als het enkel om grote zoekmachines tegen te houden is: robots.txt (maar heel wat pagina-downloaders zoals HTTrack kunnen ingesteld worden om geen rekening te houden met dat bestandje).

Als het is om iedereen weg te houden (that is: met een wachtwoord te beschermen), .htaccess is wat je moet hebben (op een Apache-server toch, wat het op de andere HTTP-servers moet zijn, weet ik niet; maar het grootste deel gebruikt toch Apache, dus normaal moet je je daar geen zorgen om maken).

[Gatara]

ILUsion schreef op 21-08-2007 @ 14:31 :

Als het is om iedereen weg te houden (that is: met een wachtwoord te beschermen), .htaccess is wat je moet hebben (op een Apache-server toch, wat het op de andere HTTP-servers moet zijn, weet ik niet; maar het grootste deel gebruikt toch Apache, dus normaal moet je je daar geen zorgen om maken).

sorry, maar hier ben ik onbekend mee.. wat houdt het precies in?

[ILUsion]

Gatara schreef op 22-08-2007 @ 10:38 :
sorry, maar hier ben ik onbekend mee.. wat houdt het precies in?

.htaccess is een extra bestandje dat je in de hoofdmap moet gooien, het opstellen van dergelijk bestandje, is niet zo heel moeilijk; maar als het je eerste keer is, zal je heel wat dingen niet weten. Als ik dergelijk bestandje moet aanmaken (want het kan voor zo veel meer dienen dan dat), neem ik gewoon een of andere tutorial op internet vast :-) Enige sidemark: normaal werkt deze methode wel, maar een beheerder kan die bestandjes ook uitzetten (en daar bestaat geen weg rond).

Op http://www.javascriptkit.com/howto/htaccess.shtml staat bijvoorbeeld al best een uitgebreide tutorial (met op pagina 3 meer over wachtwoorden).

Op http://www.freewebmasterhelp.com/tutorials/htaccess/1 staat ook een uitgebreide, maar iets beter verstaanbare tutorial, met wat extra handige links.

En op http://www.htmlite.com/HTA006.php staat een veel kortere tutorial, vooral over het wachtwoordbeveiligen. Met ook een klein scriptje om de geëncrypteerde wachtwoorden te bepalen.

Let ook op met dat laatste stukje code daar voor in je .htaccess: het doet wel wat je wilt, maar hoogstwaarschijnlijk ga je je .htpasswd ook op je webspace moeten zetten. Echt heel veilig is dat niet, maar een goed geconfigureerde server serveert NOOIT bestanden die beginnen met ".ht". Wat je voor de zekerheid toch maar kan doen, is dat laatste stukje code nog een extra keer toevoegen aan je .htaccess, maar in de code .htaccess vervangen door .htpasswd.

Enige nadeel is dat je het volledige pad van je webspace op de server moet kennen. Normaal zal de beheerder er geen probleem mee hebben om dat mee te delen, als je zegt dat je een gedeelte wilt afschermen via een .htaccess en .htpasswd

Als er extra vragen zijn over dit alles, of als je een niet-werkende .htaccess hebt gefabriceerd, er zijn hier genoeg mensen die wel iets van Apache afweten (********** zal daar bv. al een pak meer van weten dan mij).

In de eerste tutorial wordt ook geopperd, dat als .htaccess te moeilijk is, je altijd via JavaScript een wachtwoord kan toevoegen (met dan een link naar wat scriptjes). Mijn grote opmerking daarbij: dat is van nature onveilig. Als je gebruikers niet veel afweten van computers is er op zich niets mis mee, maar houd dan in je achterhoofd dat het makkelijk te kraken valt (iemand die zelf websites maakt op een redelijk niveau, en doorheeft dat het beveiligingssysteem uit JavaScript bestaat, is bij de meeste scriptjes op 5 seconden binnen). Een scriptje waar dat bijvoorbeeld niet lukt is: http://www.javascriptkit.com/script/cut34.shtml (maar daar moet de naam van je beveiligde pagina je wachtwoord zijn).