Om den här hämtaren
Du är här för att en sträng som den nedan dök upp i din serverlogg. Den här sidan förklarar vad det är och vad det gör.
Det här är exakt den sträng hämtaren skickar i sin User-Agent-header — den du har i din logg.
WrongIsPainQuizFactory/1 (https://wrongispain.com; hello@gek.agency)
Programmet hämtar publikt tillgängliga faktauppgifter, så att quizfrågor kan verifieras mot en källa i stället för att hittas på.
Den hämtar enbart från wikipedia.org och sherdog.com. Varje annan värd vägras av koden — den kan inte pekas någon annanstans.
Takten skiljer sig mellan sajterna. Mot sherdog.com: minst 5 sekunder väntan före varje hämtning, inklusive den första, tak 10 hämtningar per körning.
Mot wikipedia.org: en hämtning i taget, aldrig parallellt, ingen fast väntetid mellan dem, tak 200 per körning.
Allt går genom en enda kö — aldrig två hämtningar samtidigt, inte ens mot olika sajter. En hel körning hämtar i dag sex sidor totalt.
De enda headers vi sätter är en User-Agent — namnet ovan — och, mot Wikipedias API, en enkel Accept: application/json-header.
Den skickar aldrig cookies, aldrig en Referer, aldrig en Accept-Language-header, och aldrig någon header vars syfte är att likna en webbläsare. Varje förfrågan är tillståndslös. Endast https:// används — allt annat avvisas innan något går ut på nätet.
Omkörning sker enbart vid nätfel — namnuppslag, anslutning eller tidsgräns — högst 3 försök totalt.
En förfrågan körs aldrig om på grund av en HTTP-status: ett 403 eller 429 körs aldrig om. En omkörning räknas mot samma tak som varje annan hämtning, eftersom det är en ny förfrågan till någon annans server, inte en gratis sådan.
Innehåller ett svar en Retry-After-header hedras den väntetiden — upp till 300 sekunder — innan nästa hämtning mot samma värd.
Den här hämtaren läser i dag inte robots.txt. Skälet: den kan bara nå två sajter, båda valda för hand, och sex sidor per körning.
Vill du att vi slutar: spärra på namnet ovan, eller skriv till hello@gek.agency — vi tar bort er. Vi går aldrig runt en spärr.
Vi lagrar inte sajternas sidor i bulk och vidaredistribuerar dem inte. Det som sparas är enskilda faktauppgifter — tal, namn, datum — med en hänvisning till sidan de kommer från.
Ett undantag: sex Wikipedia-sidor ligger oförändrade som testunderlag i vårt privata kodförråd, så att samma text kan köras om utan att fråga Wikipedia igen.
Spärrar du på User-Agent får vi ditt 403. Vi kör aldrig om det (se ovan). Vi går aldrig runt spärren: ingen webbläsar-UA, ingen proxy, ingen IP-rotation. Hård gräns.
En vakt sitter i dag ovanpå själva hämtaren — det är kartbyggaren som i dag faktiskt hämtar. Ett enda 403 eller 429 från en värd räcker: det larmar och spärrar den värden resten av den körningen. Larmet landar i vår driftlogg och läses rutinmässigt.
Spärren följer inte med till nästa körning — den startar med rent blad, så förfrågningar kan komma tillbaka senare, tills du säger till oss. Ett undantag: en hög andel misslyckade hämtningar mot wikipedia.org (över 10 % i en omgång) larmar utan att spärra — Wikipedia flaggas, stängs inte av.
Vill du ha bort oss helt: skriv till hello@gek.agency, så tar vi bort er sajt.
hello@gek.agency — en människa läser det här, och en människa svarar.