Vertalingen vooraf laden met de scraper
Clonable vertaalt een pagina via de reverse proxy zodra iemand die pagina opent. Bij het eerste bezoek moeten de vertalingen nog worden gemaakt, waardoor de pagina langzamer kan laden.
Met de scraper kun je vertalingen vooraf laden. De scraper opent de pagina's uit de sitemap van je clone, zodat de vertalingen al worden gemaakt voordat bezoekers deze pagina's openen.
Voordat je begint
- Sluit eerst de pagina's uit die je niet wilt meenemen. Uitgesloten pagina's worden ook niet meegeteld in het totale aantal te scrapen pagina's.
- Zorg dat je clone niet op no index staat. Schakel no index uit voordat je de scraper gebruikt.
De scraper gebruiken
- Voer de sitemap-URL van je clone in bij de scraper.
- Wacht tot Clonable de sitemap heeft gevalideerd en de pagina's heeft geteld. Bij een grote sitemap kan dit even duren.
- Zodra de status Ready to scrape verschijnt, kun je de scraper starten.
- Volg de status van de scrapejob. Vernieuw de pagina tijdens het scrapen om de bijgewerkte status te zien.
Hoe lang duurt het scrapen?
De scraper opent één pagina per 30 seconden. Reken voor 100 pagina's op ongeveer 50 minuten en voor 1.000 pagina's op ongeveer 8 uur en 20 minuten. Het scannen van de sitemap en het starten van de scraper kosten daarnaast tijd.
Statussen van een scrapejob
| Status | Betekenis |
|---|---|
| New | De sitemap is gevalideerd en wacht tot het tellen begint. |
| Scanning sitemap | Clonable telt de pagina's in je sitemap. Hoe groter de sitemap, hoe langer dit kan duren. |
| Ready to scrape | Het tellen is klaar. Uitgesloten pagina's zijn niet opgenomen in het totaal. De job is klaar om te starten. |
| Sitemap error | De scraper kon niet starten door een fout met de sitemap. Controleer of je de juiste sitemap-URL van je clone hebt ingevoerd en of de sitemap bereikbaar is. |
| Starting scraper | De scraper wordt gestart en begint binnenkort met het openen van pagina's. |
| Scraping | De scraper opent uw pagina's om vertalingen vooraf te laden. Vernieuw de pagina om de bijgewerkte status te zien. |
| Completed | De scrapejob is afgerond. |
Opnieuw scrapen
Je kunt een nieuwe scrapejob starten zodra de vorige is afgerond. Dit is bijvoorbeeld handig als je veel nieuwe pagina's hebt toegevoegd en de vertalingen daarvan ook vooraf wilt laden. Zorg dat deze pagina's in de sitemap van je clone staan.
User agent
De scraper gebruikt de volgende user agent bij het openen van de URL's uit je sitemap:
Mozilla/5.0 (compatible; ClonableSearchBot/1.0; +https://www.clonable.net)
Als je website beveiligingsregels gebruikt die bots beperken, zorg er dan voor dat de scraper toegang heeft tot de pagina's die je vooraf wilt laden.