Tværsnitshøstninger

Tværsnitshøstninger giver et bredt billede af den danske del af internettet. Alle kendte danske domæner forsøges indsamlet/kopieret komplet via tværsnitshøstningerne.

4 gange om året høster vi automatisk alle dk-domæner. Desuden høster vi mange netsteder, der bruger bruger andre ”efternavne” (Top-Level-Domæner), fx .com, .nu eller .net.

Hvis du vil teste, om vi allerede kender et bestemt domæne uden for .dk, kan du gøre det på forsiden. Her kan du også sende forslag til danske netsteder, der ligger uden for .dk-domænet. Hvis vi vurderer, at dit forslag er relevant, vil det blive høstet.

En tværsnitshøstning varer ca. 3-6 uger, fordi der høstes bredt og dybt (i op til 25 niveauer).

Hver tværsnitshøstning får et navn, der angiver det år, høstningen startede, samt et løbenummer. Rent praktisk sker en tværsnitshøstning typisk ad flere omgange. Først høstes hvert domæne op til en vis størrelse. Derefter høstes de domæner, der er større op til en ny grænse og til slut høstes de domæner der er større end grænsen i bund. Da der er konstateret en vis redundans, høstes fra 2016 kun maks 100 MB per domæne ved to af tværsnitshøstningerne. Bemærk at tallene gælder høstet materiale. Efterfølgende deduplikering gemmer mindre ned i bitarkivet.

 

Oversigt over tværsnitshøstninger:

Navn Starttid Stoptid Bytes Dokumenter
2017-4-10MB 14.11.2017 23.11.2017 3,860,784,436,981 106,473,781
2017-3-10MB 13.10.2017 25.10.2017 3,826,651,408,956 102,120,663
2017-2-10MB 19.06.2017 27.06.2017 3,819,175,330,343 101,029,899
2017-1-10MB 08.03.2017 26.03.2017 3,749,954,433,225 105,301,812
2017-4-100MB 28.11.2016 27.12.2016 12,152,196,909,623 261,157,938
2016-3-100MB 13.09.2016 30.09.2016 11.654.316.537.483 252.238.201
2016-2a-100MB 07.06.2016 28.06.2016 11.255.368.320.635 242.114.319
2016-1-12GB 19.01.2016 29.02.2016 36.894.190.425.609 600.571.668
2015-4-10GB 13.11.2015 24.12.2015 35.935.323.455.823 578.839.007
2015-3-10GB 01.09.2015 22.10.2015 37.762.965.450.120 624.564.140
2015-2-10GB 02.06.2015 30.07.2015 36.965.617.397.480 640.376.780
2015-1-10GB 22.01.2015 24.03.2015 35.715.910.725.932 620.338.210
2014-4-10MB 27.11.2014 11.12.2014 9.806.351.654.020 231.543.183
2014-3-10GB 27.08.2014 13.10.2014 32.854.767.537.265 610.084.773
2014-2-10GB 03-05-2014 26-06-2014 31.889.732.779.089 605.746.989
2014-1-10GB 18-01-2014 03-03-2014 33.482.829.278.398 655.779.328
2013-4-10GB 07-11-2013 27-12-2013 35.233.689.199.124 700.920.080
2013-3-10GB 04-09-2013 25-10-2013 33.065.372.833.829 702.257.307
2013-2-10GB 13-05-2013 05-07-2013 29.721.130.398.949 670.062.412
2013-1-10GB 28-02-2013 16-04-2013 30.978.994.994.591 713.675.138
2012-4-8GB 03-11-2012 02-01-2013 29.139.586.007.781 595.618.105
2012-3-8GB 15-08-2012 20-09-2012 21.628.110.098.833 550.400.552
2012-2-8GB 06-05-2012 28-06-2012 28.003.248.198.718 670.430.747
2012-1-8GB 23-02-2012 18-04-2012 22.805.550.467.804 544.625.462
2011-3-8GB 29-10-2011 19-12-2011 27.889.758.696.264 647.516.162
2011-2-8GB 18-08-2011 17-10-2011 27.473.430.089.274 630.022.496
2011-1-8GB 21-03-2011 05-07-2011 23.981.249.690.651 546.896.707
2010-2a-6GB 16-07-2010 01-02-2011 26.461.956.119.728 667.703.172
2010-1-6GB 03-02-2010 25-06-2010 28.434.420.817.574 727.576.226
2009-2-6GB 20-07-2009 21-12-2009 24.503.747.705.831 677.065.547
2009-1-4GB 26-02-2009 06-07-2009 22.598.156.931.012 704.413.467
2008-1-4GB 31-03-2008 27-01-2009 20.477.016.819.341 665.704.329
2007-2-2GB 17-07-2007 09-01-2008 12.768.324.457.145 422.875.667
2007-1a-2GB 01-03-2007 14-07-2007 12.496.411.679.528 431.565.956
2006-2-1GB 08-06-2006 18-12-2006 8.970.446.483.612 308.590.484
2005-4-500MB 16-12-2005 30-06-2006 7.458.360.919.371 293.183.687