Nieuwsoverzicht

Hoe wordt onze arbeidsmarktdata verzameld en verwerkt?

Het proces van dataverzameling, -verwerking en het uiteindelijk presenteren van de arbeidsmarktdata in het Jobdigger dashboard bestaat uit grofweg 6 stappen.

 

1. Spidering

 

 

 

 

De online gepubliceerde vacatures worden verzameld door de Jobdigger spiders. Deze werken volledig automatisch en zelfstandig. In totaal worden er ruim 1 miljoen bronnen bezocht en er worden dagelijks 13.000 nieuwe unieke vacatures gevonden. De spiders focussen zich specifiek op vacaturepagina’s; dit zijn niet alleen webpagina’s zoals jobboards, vacaturesites van bemiddelaars, werken-bij-websites van grote corporates en sites van MKB, maar bijvoorbeeld ook Word- en Pdf-bestanden.

Om specifieke jobboards efficiënt te kunnen verwerken, worden deze handmatig geconfigureerd. Wil je meer weten over het gedrag van onze focused crawler? Lees dan in dit artikel verder.

 

 

2. Ontdubbeling

 

 

 

 

 

Vaak wordt éénzelfde vacature door intermediairs op verschillende websites en jobboards doorgeplaatst. Jobdigger ontdubbelt deze vacatures waardoor er één uniek exemplaar (over het algemeen van de bronsite) in het dashboard wordt getoond. Dit is de reden dat er vaak vacatures die op jobboards staan niet in Jobdigger worden weergegeven; het zijn namelijk dubbelen.

 

 

3. Classificatie

 

 

 

 

Wij classificeren de vacatures door deze in te delen in een beroepsklasse. We maken hiervoor gebruik van de internationale ISCO-standaard. Deze indeling hebben we sinds kort aangevuld met een meer gedetailleerde indeling die specifiek gericht is op de Nederlandse arbeidsmarkt: onze eigen JDCO-classificatie. Hoe deze tot stand is gekomen, lees je in dit artikel

 

 

4. Verrijking

 

 

 

 

De ontdubbelde en geclassificeerde vacatures worden verrijkt door ze te koppelen met informatie uit externe bronnen. Zo worden de vacatures aangevuld met gegevens uit bijvoorbeeld de KVK, het UWV, DUO en het CBS.

 

 

5. Vacatures in dashboard

 

 

 

 

Ten slotte worden deze ontdubbelde, geclassificeerde en verrijkte vacatures in het Jobdigger dashboard geplaatst en vormen ze zodoende de basis voor veelvuldige markt- en bedrijfsanalyses die de gebruiker zelf kan genereren. 

 

 

6. Controle

 

 

 

 

De kwaliteit en de compleetheid van de arbeidsmarktdata wordt gewaarborgd middels continue monitoring. Ook worden er periodieke steekproeven handmatig uitgevoerd (tot wel 1000 vacatures per kwartaal) om de nauwkeurigheid van onze data te meten. Onze arbeidsmarktdata heeft een gemiddelde betrouwbaarheid van 95%. Uiteraard streven we naar een nog betere kwaliteit en daar kan jij, als Jobdigger-gebruiker, ons bij helpen. Meld het ons als je onjuistheden in het dashboard ziet of als je online gepubliceerde vacatures niet in Jobdigger terug kunt vinden. In dit artikel lees je hoe je een probleem kunt melden en wat wij nog meer doen om de kwaliteit en compleetheid van onze data te waarborgen.