Källor och insamling

Så här arbetar vår robot

• Vi läser robots.txt först, och lyder den

  Spärrar en sajt sina objektsidor hämtar vi dem inte, och står det ett förbud i klartext respekterar vi det. Saknar sajten robots.txt gäller inga restriktioner, precis som för sökmotorerna. Går filen inte att nå alls avstår vi tills vi vet — en timeout är inget besked.

• Vi säger vilka vi är

  Robotens User-Agent är "HemluppenBot/1.0" med länk till den här sidan och en mejladress som en människa läser. Vi döljer oss inte bakom en webbläsarsignatur och vi byter inte IP-adress för att komma runt spärrar.

• En sida i taget, med paus emellan

  Minst två sekunders paus mellan varje anrop mot samma sajt, och bara en förfrågan åt gången. Svarar servern att den är hårt belastad backar vi och väntar längre.

• Vi följer sitemapen istället för att klicka runt

  Sitemapen är sajtens egen lista över sidor den vill ha indexerade. Att följa den ger färre anrop och färskare data än att gå igenom en sökfunktion.

• Vi hämtar fakta, inte innehåll

  Adress, pris, storlek, rum och en länk vidare. Vi kopierar inte mäklarens säljtext i sin helhet och vi lagrar inte bilder på våra egna servrar — bilder visas från mäklarens webbplats eller inte alls.

• Ett nej gäller direkt

  Vill du inte synas här tar vi bort dina objekt och slutar besöka din sajt. Ingen förhandling, inget formulär i tre steg — ett mejl räcker.