ai

Tekoälyn verkkosivujen crawling

Posted on by Seppo Sutinen

Miten tekoäly lukee verkkosivustoja? Crawling eli verkkosivujen läpikäynti ja kysymyskohtainen tiedonhaku ovat eri tapoja kerätä aineistoa. llms.txt ja llms-full.txt voivat tarjota selkeän reitin olennaiseen sisältöön ilman navigaatiovalikoita, mainoksia ja muuta kohinaa. Hyöty riippuu kuitenkin siitä, käyttääkö kyseinen tiedonhakutyökalu niitä.

Mitä crawling tarkoittaa?

Crawling tarkoittaa verkkosivujen järjestelmällistä läpikäyntiä: crawler eli verkkorobotti noutaa sivuja ja voi seurata niiden linkkejä löytääkseen lisää sisältöä. Hakukoneen crawlerista käytetään myös nimitystä indeksointirobotti, vaikka sivujen noutaminen ja indeksointi ovat erillisiä vaiheita. Yksittäisen sivun hakeminen käyttäjän kysymykseen ei välttämättä ole crawlingia. Kielimalli ei myöskään välttämättä itse vieraile sivustolla: hakupalvelu, selain tai agentin työkalu noutaa aineiston sen käsiteltäväksi.

  • Crawling ja indeksointi: hakurobotti noutaa sivuja, minkä jälkeen hakukone voi käsitellä niiden sisällön ja lisätä sen indeksiin. Kaikkia noudettuja sivuja ei välttämättä indeksoida. Tekoälyvastaus voi käyttää indeksiä ilman uutta vierailua alkuperäiselle sivulle.
  • Kysymyskohtainen haku: työkalu noutaa lähteitä käyttäjän kysymykseen. Grounding tarkoittaa vastauksen ankkurointia lähdeaineistoon.
  • Agentin selaaminen: agentti avaa sivuja, seuraa linkkejä tai käyttää rajapintoja.
  • Koulutus: aineistoa käytetään mallin kehittämiseen erillisessä prosessissa. Se ei ole sama asia kuin ajantasaisen vastauksen hakeminen.

llms.txt: sivuston kuratoitu sisällysluettelo

llms.txt on yhteisön kehittämä ehdotus kielimalliystävällisestä sisältöhakemistosta. Markdown-tiedosto sisältää tavallisesti sivuston nimen, lyhyen kuvauksen ja ryhmitellyt linkit olennaisiin lähteisiin. Se ei ole välttämättä sivuston koko rakenne vaan ylläpitäjän valikoima.

Agentti voi ensin lukea yleiskuvan ja hakea sitten kysymykseen sopivat dokumentit. Ehdotus suosittelee myös sivujen puhtaita Markdown-versioita. Tiedoston voi sijoittaa juureen tai sen kuvaaman osion alle, esimerkiksi /wp/llms.txt.

Jeremy Howard julkaisi ehdotuksen alun perin 3.9.2024. Tarkistushetkellä llmstxt.org kuvaa 10.8.2026 päivitettyä v2-versiota. Sen painopiste on pienessä hakemistossa ja tarpeen mukaan noudettavassa aineistossa, erityisesti agentin vastausta muodostettaessa, ei vain koko sivuston taustaindeksoinnissa.

  • Rakenne: sivuston tai projektin nimi H1-otsikkona on ainoa pakollinen osio. Sen jälkeen voidaan antaa lyhyt lainausmuotoinen kuvaus, taustatietoa ja H2-otsikoilla ryhmiteltyjä linkkilistoja. Linkkeihin kannattaa liittää lyhyet kuvaukset.
  • Rajaus: tiedosto kuvaa oman polkunsa alaista sisältöä. Jos useampi hakemisto soveltuu samaan sivuun, ehdotus suosittelee tarkinta polkukohtaista tiedostoa.
  • Löydettävyys: sivu voi ilmoittaa Markdown-vaihtoehdon suhteella rel="alternate" type="text/markdown" ja llms.txt-hakemiston suhteella rel="describedby". Ehdotus sallii näiden ilmoittamisen HTML:n link-elementeissä tai HTTP:n Link-otsakkeessa.

Nämä ovat ehdotuksen suosituksia, eivät lupaus siitä, että jokainen agentti tunnistaa linkkisuhteet tai hakee tiedoston automaattisesti.

llms-full.txt: laajempi tekstikooste

llms-full.txt on useiden julkaisujärjestelmien käyttämä laajempi kooste dokumentaatiosta tai valituista sivuista. Nimi ei takaa, että mukana olisi koko sivusto: sisältö riippuu generaattorin asetuksista.

Koostetta käyttävä työkalu voi saada aineiston yhdellä latauksella ilman monien HTML-sivujen jäsentämistä. Suuri tiedosto voi kuitenkin olla hidas, kallis tai liian suuri mallin kontekstiin. Pieni hakemisto ja tarpeen mukaan haettavat sivut voivat silloin toimia paremmin. Koosteeseen kannattaa lisätä lähdeosoitteet ja päivitystiedot: vanhentunut kopio voi johtaa väärään vastaukseen.

Yritysten omat dokumentaatiohakemistot

Formaatti on käytössä myös suurten tekoälytoimittajien kehittäjädokumentaatiossa. Nämä ovat konkreettisia esimerkkejä julkaisukonvention hyödyntämisestä ilman erillistä yrityskohtaista llms.txt-spesifikaatiota:

Oman dokumentaation julkaiseminen tässä muodossa ei kuitenkaan todista, että yrityksen hakubotti tai chatpalvelu lukisi kaikkien muiden sivustojen tiedostot automaattisesti. Julkaisutuki, yksittäisen agentin lukukyky ja automaattinen löytäminen ovat eri asioita.

Gemini, ChatGPT ja Claude: mitä voidaan sanoa?

Väitettä “suurin osa tekoälyistä huomioi molemmat tiedostot aina reaaliaikaisella vierailulla tai taustaindeksoinnissa” ei voi vahvistaa tarkistettujen ohjeiden perusteella. llms.txt on ehdotus ja julkaisukonventio, ei kaikkien palvelujen noudattama pakollinen standardi.

Gemini ja Googlen haku

Gemini-sovellus, Gemini API:a käyttävä oma agentti ja Google-haun AI-toiminnot ovat eri toteutuksia. Google Search Central kertoo, ettei AI Overviews- tai AI Mode -näkyvyyteen tarvita uusia tekoälytekstitiedostoja. Ohje koskee Google-hakua, ei kaikkien Gemini-tuotteiden tiedonhakutapoja. Se ei myöskään todista, ettei mikään työkalu lukisi tiedostoja.

Google Lighthouse: konkreettinen llms.txt-tarkistus

Google tarjoaa myös konkreettista auditointitukea. Chrome for Developersin Lighthouse-ohje sisältää llms.txt-tarkistuksen osana agentic browsing -auditointeja. Ohje kuvaa tiedostoa kehittyväksi konventioksi, joka voi auttaa agenttia hahmottamaan sivuston tarkoituksen ja olennaisen sisällön.

  • Palvelinvirhe: Lighthouse huomauttaa, jos llms.txt-tiedoston noutaminen aiheuttaa palvelinvirheen.
  • Puuttuva tiedosto: HTTP 404 johtaa tulokseen Not Applicable (N/A), koska tiedoston tarjoaminen on ohjeen mukaan toistaiseksi vapaaehtoista.
  • Suositeltu toteutus: julkaise sivuston juuressa /llms.txt, joka sisältää tiiviin Markdown-kuvauksen ja tärkeimmät linkit ehdotuksen mukaisesti.

Lighthouse-auditointi ei ole sama asia kuin Googlebotin crawling, Gemini-sovelluksen tiedonhaku tai Google-haun sijoitussignaali. Tarkistus osoittaa formaatin huomioimisen Googlen kehittäjätyökalussa, mutta ei vahvista kaikkien Googlen tekoälypalvelujen automaattista käyttöä. Kyseinen ohje koskee llms.txt-tiedostoa, ei llms-full.txt-koosteen vastaavaa auditointia.

ChatGPT ja OpenAI:n botit

OpenAI:n bottiohje erottaa OAI-SearchBot-hakurobotin, koulutusaineistoa keräävän GPTBot-robotin ja tiettyihin käyttäjän käynnistämiin pyyntöihin liittyvän ChatGPT-User-tunnisteen. GPTBot ei ole reaaliaikaisen haun synonyymi. SearchGPT-nimen sijaan nykyiset hakuasetukset kannattaa tarkistaa OAI-SearchBot-ohjeesta.

Ohje ei lupaa, että ChatGPT tarkistaisi llms.txt-tiedoston aina ensimmäisenä tai käyttäisi sitä ensisijaisena karttana. Tiedostoa voidaan hyödyntää työnkulussa, joka on rakennettu sen noutamiseen.

Claude ja Anthropicin botit

Anthropicin ohje erottaa koulutukseen liittyvän ClaudeBot-robotin, hakua palvelevan Claude-SearchBot-robotin ja käyttäjän pyynnöstä sivuja noutavan Claude-User-robotin. Ohje ei vahvista, että kaikki Clauden haut lukisivat molemmat llms-tiedostot automaattisesti.

Koodausagentit, LangChain ja MCP

Cursorin, Devinin ja muiden agenttituotteiden toiminta riippuu versiosta, työkaluista ja asetuksista. Tuotteen ei pidä olettaa etsivän llms.txt-tiedostoa aina ensin ilman tuotekohtaista vahvistusta. LangChain-pohjaiseen agenttiin voidaan rakentaa hakuvaihe, joka noutaa hakemiston ja seuraa olennaisia linkkejä; se ei ole jokaisen agentin oletustoiminto.

MCP eli Model Context Protocol yhdistää tekoälysovelluksia työkaluihin ja tietolähteisiin. MCP-palvelin voi tarjota llms.txt-tiedostojen nouto- tai hakutyökalun. Protokolla ei kuitenkaan velvoita etsimään tiedostoa verkkosivuston juuresta. MCP-työkalujen löytäminen ja sivuston sisältöhakemiston lukeminen ovat eri mekanismeja.

Miksi tiedostoja kannattaa harkita?

  1. Tehokkuus: niitä käyttävä agentti voi välttää ylimääräisen HTML-rakenteen käsittelyä ja turhia latauksia.
  2. Selkeys: sivuston tarkoitus, olennaiset ohjeet ja lähteet voidaan kuvata ilman navigaatiota ja mainoksia.
  3. Tarkkuuden tukeminen: ajantasaiset, kuratoidut lähteet voivat auttaa tiedon valinnassa. Ne eivät takaa mallin tulkinnan oikeellisuutta.
  4. Testattavuus: aineisto sopii omien agenttien kokeiluihin ja vastausten laadun arviointiin.

Hyödyt edellyttävät tiedostojen todellista käyttöä. Ne eivät takaa parempaa hakusijoitusta, AI-suositusta tai liikennettä.

Semrush: kokeilu, jonka hyöty on mitattava

Semrushin 28.9.2026 päivitetty artikkeli tarkastelee tiedostoa SEO:n ja tekoälyhakujen näkökulmasta. Se suosittelee harkitsemaan llms.txt:tä pienikustannuksisena kokeiluna, ei pakollisena vaatimuksena tai varmana keinona lisätä AI-näkyvyyttä.

Semrush raportoi Search Engine Land -sivustolla tehdystä kokeilusta, jossa tiedoston lisäämisellä ei havaittu yhteyttä parempaan suoriutumiseen AI-tuloksissa. Kyse on yhden sivuston kokeilusta, ei yleispätevästä todisteesta, ettei mikään agentti hyödyntäisi formaattia. Myös palvelinlokien tulkinnassa on erotettava tunnistettu tiedostopyyntö sen mahdollisesta käytöstä mallin vastauksessa.

Käytännön ohjeena Semrush korostaa olennaisten, julkisten ja ajantasaisten sivujen valintaa, Markdown-rakennetta, julkaistun tiedoston testaamista ja päivittämistä sivujen muuttuessa. Sen Site Audit -työkalu voi havaita tiedoston puuttumisen. Auditointihavainto kertoo työkalun tarkistuksesta, ei yksin hakusijoituksen tai vastauslaadun paranemisesta.

Esimerkki: demokaupan lukeminen

Käyttäjä kysyy, voiko sivustolta tilata oikeita tuotteita. Hakemistoa hyödyntäväksi rakennettu agentti voisi noutaa /wp/llms.txt-tiedoston, valita kaupan tarkoitusta koskevan linkin ja lukea kyseisen sivun. Laaja kooste haetaan vain tarvittaessa. Lähteen perusteella agentti kertoo, että kyseessä on tekninen demokauppa, eikä oikeita tilauksia tai maksuja ole tarkoitus tehdä.

Jos tieto puuttuu tai lähteet ovat ristiriidassa, agentti kertoo epävarmuudesta. Esimerkki ei ole havainto Geminin, ChatGPT:n tai Clauden toiminnasta tällä sivustolla.

Botit, robots.txt ja tietoturva

Viralliset bot-ohjeet kertovat tunnisteista ja robotteihin vaikuttavista asetuksista. Ne eivät ole lupaus llms.txt-tiedostojen automaattisesta käytöstä. Varmista robots.txt-asetusten lisäksi, ettei CDN, palomuuri tai palvelin estä haluttuja pyyntöjä.

robots.txt ilmoittaa sitä noudattaville roboteille noutamisen säännöt, sitemap listaa sivuosoitteita ja llms.txt tarjoaa kuratoidun sisältöoppaan. Google-Extended on erillinen ohjaustunniste tiettyjen Gemini-koulutus- ja grounding-käyttöjen hallintaan; se ei ole oma HTTP User-Agent eikä vaikuta sijoitukseen tai mukanaoloon Google-haussa. Tarkista ajantasainen soveltamisala Googlen ohjeesta.

llms.txt ei myönnä oikeuksia, muuta lisenssiä tai estä koulutuskäyttöä. robots.txt ei suojaa salaisia tiedostoja. Julkiseen koosteeseen ei saa kopioida tunnuksia, henkilötietoja tai yksityisten sivujen tekstiä: alkuperäisen sivun suojaus ei suojaa julkista kopiota. Agentin on käsiteltävä tiedostoa lähdeaineistona, ei ohjeena ohittaa turvarajat; myös Markdown voi sisältää prompt injection -yrityksiä.

Miten toimivuus tarkistetaan?

  • Varmista HTTP 200 -vastaus ja oikea tekstisisältö, ei kirjautumis- tai virhesivua.
  • Jos tiedosto sijaitsee alihakemistossa mutta haluat tarjota sen myös päätasolla, tarkista sekä /llms.txt että varsinainen polku, esimerkiksi /wp/llms.txt. Sisäinen palvelinohjaus voi tarjota saman tiedoston molemmista osoitteista.
  • Käytä Lighthouse-versiota tai ajotapaa, jossa agentic browsing -auditoinnit ovat saatavilla. Tulkitse llms.txt-tarkistuksen palvelinvirhe ja 404:n N/A-tulos eri asioina.
  • Tarkista generaattorin sisältövalinnat, linkit, merkistö ja päivitykset. Poista koosteesta myös poistettu tai yksityiseksi muutettu aineisto.
  • Testaa omalla agentilla kysymyksiä ja tarkista sen työkalukutsut sekä vastausten lähteet.
  • Seuraa access logeista tiedostopyyntöjä, ajankohtia ja HTTP-tilakoodeja. User-Agent voidaan väärentää; käytä palveluntarjoajan varmennusohjeita.

Lataus todistaa tiedoston noudon, ei sen käyttöä vastauksessa tai koulutuksessa. Pyynnön puuttuminen yksittäisellä hetkellä ei sulje pois välimuistin tai indeksin käyttöä.

Yhteenveto ja lähteet

llms.txt-konventiolla on konkreettista julkaisukäyttöä myös tekoälyyritysten dokumentaatiossa. Sivuston ylläpitäjälle se on mahdollinen lisä selkeän, ajantasaisen verkkosisällön rinnalle. Erota julkaiseminen, työkalukohtainen tuki ja vahvistettu automaattinen käyttö toisistaan.

Artikkelin lähteinä ovat yllä linkitetyt dokumentaatiohakemistot ja bot-ohjeet sekä seuraavat kuvaukset. llmstxt.org kuvaa ehdotusta, Chrome for Developers Googlen auditointityökalua ja Semrush SEO-näkökulmaa sekä omaa kokeiluaan.

Lähteet tarkistettu 3.10.2026. Palvelujen toteutukset, osoitteet ja tiedostoehdotukset voivat muuttua.

Seppo Sutinen