Hvad den læser
Mest læser KodyBot sider på de hjemmesider, vores kunder annoncerer for. Den læser også enkelte sider på andre hjemmesider, f.eks. når nogen prøver kody med et domæne på trykody.ai.
Fra hver side læser den det, en annonce skal skrives ud fra: titel, overskrifter, den synlige tekst, billeder og deres alt-tekster, priser, knapper og links. Den logger ikke ind, den udfylder ikke formularer, og den efterlader intet på jeres hjemmeside.
Sådan kender I den
KodyBot præsenterer sig altid med sit navn, så I kan finde den i jeres logfiler. Oftest står der:
KodyBot/1.0 (+https://trykody.ai/bot)Sådan lukker I den ude
Før KodyBot læser sider på jeres domæne, læser den jeres robots.txt, og den læser ingen side, som robots.txt lukker for den. Skriv de her to linjer i robots.txt, så læser den ingen af jeres sider:
User-agent: KodyBot
Disallow: /Vil I kun holde den ude af en del af hjemmesiden, skriver I stien i stedet for skråstregen, f.eks. Disallow: /intern/. Står KodyBot ikke nævnt, følger den reglerne under User-agent: *.
Billederne på en side, vi må læse, henter vi uden at spørge robots.txt om hvert enkelt billede. Svarer jeres server med en serverfejl (statuskode 500 eller derover) eller melder den travlt (statuskode 429), når vi beder om robots.txt, eller svarer den slet ikke, læser vi ingen af jeres sider, heller ikke gennem Firecrawl, før den svarer igen. Svarer den på en anden måde uden at sende filen, f.eks. med 404, fordi filen ikke findes, læser vi jeres sider, som om filen var tom.
Firecrawl læser de fleste sider for os
De fleste sider læser vi gennem vores leverandør Firecrawl, hvis browsere kan læse flere sider ad gangen. De præsenterer sig ikke som KodyBot, så I kan ikke kende dem på navnet i jeres logfiler.
Det er stadig jeres linjer til KodyBot, der bestemmer. Vi sender kun Firecrawl de sider, robots.txt lader KodyBot læse, og vi beder kun Firecrawl om en liste over adresserne på jeres domæne, når robots.txt lader KodyBot læse forsiden. Lukker I KodyBot ude, lukker I altså også Firecrawl ude, når det er os, der spørger.
Når en kunde annoncerer med jeres side
Sender en af vores kunder annoncer til en side på jeres domæne, tjekker vi den ene side, som regel én gang om dagen: at OpenAI kan nå den, og at kundens måling virker, hvis kunden har sat den op. De to tjek følger ikke linjerne til KodyBot, for kunden har selv valgt at annoncere med siden. De præsenterer sig med KodyBot og ordet destinationstjek eller pixel-tjek. Fra dem gemmer vi kun, hvad tjekket fandt, f.eks. hvad siden svarede, hvilken adresse den endte på, priserne på siden og om målingen sendte noget, men aldrig sidens tekst.
Nyheder til vores blog
Til vores blog følger vi nogle nyhedssider og nyhedsfeeds, som vi selv har valgt. Dem henter KodyBot uden at spørge robots.txt, men en artikel læser den kun, når robots.txt tillader det.
Spørgsmål
Vil I vide, om vi har læst jeres sider, eller har I andre spørgsmål til KodyBot, så skriv til os på hej@trykody.ai.