Nyhedsarkiv

Eurovision Song Contest 2014 – hidtil største begivenhedshøstning

27. marts 2014

800px-Pht-Vugar_Ibadov_eurovision_(30)

Eurovision Song Contest eller International Melodi Grand Prix afholdes i maj i år i Danmark. Netarkivet har været fremme i skoene og allerede i december 2013 startet en begivenhedshøstning. Eurovision Song Contest 2014 bliver Netarkivets største begivenhedshøstning nogensinde. Alle webkuratorer (medarbejdere der er ansvarlige for indsamlingen af materialet til netarkivet) deltager i arbejdet. Desuden er det den første begivenhedshøstning, hvor der fra starten er tilknyttet forskere. Det er musikforskeren Henrik Smith-Sivertsen, der rådgiver om, hvad der skal tages med i høstningen og løbende ser på det indsamlede materiale.

Netarkivet indsamler ud over danske hjemmesider om Eurovision Song Contest 2014 også udenlandske hovedsider, deltagernes hjemmesider og frem for alt deres aktiviteter på de sociale medier, Facebook, Twitter osv. Indsamling af de sociale medier er en stor udfordring, da disse anvender teknologier, som er svært at indsamle med det almindelige høstningsværktøj. Det samme gælder for videomateriale. Netarkivet har udviklet et særligt værktøj til indsamling af YouTube videoer. Desuden anvendes der screenfilmning.

Begivenheder, der skaber øget aktivitet og genererer ny sider på den danske del af internettet kan udløse en begivenhedshøstning. Netarkivet gennemfører omkring 3 begivenheshøstninger årligt.

Nyt værktøj til Netarkivet

12. marts 2014

screenfilmning

I forbindelse med forskningsprojektet Tværmedial produktion og kommunikation har Ditte Laursen, Bjarne Andersen og Mads Ravn udviklet et værktøj, som nu er sat i drift i Netarkivet. Værktøjet kan filme internet-materiale og bruges som supplement til Netarkivets almindelige høstere ved særlige lejligheder. Det specielle ved værktøjet er, at det kan benyttes til at skedulere en skærmoptagelse, dvs. kuratorerne på forhånd kan programmere en videooptagelse af en bestemt url-adresse i et fastlagt tidsrum. Desuden kan værktøjet programmeres til at klikke på noget og eventuelt skrive noget, fx hvis netstedet kræver login.

Skærmoptagelse kan være relevant i forbindelse med live-streamning af internetmateriale, og i alle internet-produktioner hvor den tidsmæssige dimension er vigtig. I forskningsprojektet har vi brugt redskabet til at indfange det synkrone samspil mellem live tv-udsendelse og realtime facebook aktivitet i finaleprogrammet af Voice – Danmarks største stemme.

Efterfølgende er værktøjet fx blevet benyttet på valgaftenen til kommunalvalget 19. november 2013, hvor tv2.dk lavede live-udsendelse på nettet, forskellig fra tv-udsendelsen. I forbindelse med Dansk Melodi Grand Prix den 8. marts 2014 blev dr.dk’s grønne rum optaget med værktøjet, mens tv-udsendelsen kørte.
Værktøjet er tilgængeligt open source og er i øvrigt allerede blevet brugt af andre forskere.

Forskningsprojektet er støttet af Kulturministeriet.

Netarkivet er klar til kommunalvalget 2013

23. oktober 2013

Wahllokal

Kommunalvalget er en begivenhed, der har betydning for det danske samfund og skaber debat og øget aktivitet på eksisterende netsteder samt udløser nye netsteder. Derfor startede Netarkivet en begivnhedshøstning. I ca. tre uger har vi høstet særlige valgsektioner på mediernes websider, kandidaternes hjemmesider og Facebook-profiler, partiernes valgsider, debatter på de sociale medier og alt andet øget aktivitet på internettet, der har med kommunalvalget at gøre. Vi tilføjer løbende nye netsteder efterhånden som de dukker op og vi får kendtskab til dem. Du kan hjælpe os.

Således dokumenterer Netarkivet den digitale valgkamp til glæde for nutidig og fremtidig forskning. Vi har gennemført særlige høstninger af alle kommunalvalg, folketingsvalg og EU-valg, der er blevet afholdt siden Netarkivets oprettelse i 2005. Ikke mindst øget brug af de sociale medier er årsag til, at internettet får mere og mere betydning for en valgkamp.

Lærerlockout berører også Netarkivet

4. april 2013

laererlockout

Netarkivet har nemlig sat en såkaldt begivenhedshøstning i gang.  Forudsætning for en begivenhedshøstning i Netarkivs regi er, at begivenheden udløser større aktivitet på eksisterende hjemmesider og genererer nye netsteder.

At starte en begivenhedshøstning er altid en satsning, man ved aldrig på forhånd, hvad for eksempel en lockout af lærerne udvikler sig til – på den danske del af internettet.

Netarkivet høster i forvejen intensivt indhold fra nyhedssites, så mange små begivenheder er dækket af disse høstninger. En hurtig søgning på nettet viste, at der var basis for at starte en begivenhedshøstning på lærerlockouten. Aktiviteten øges især på de sociale medier, som teknisk set er en stor udfordring for Netarkivet. Derudover er der kommet nye netsteder til, fx meretidsammen.dk og gordetnurigtigt.dk

Støder du på en Facebook-side eller på et andet netsted, der er meget aktivt eller nyt i forbindelse med lockouten, så send gerne linket til Netarkivet:

Nu bliver det spændende, hvor længe Lærelockouten bliver ved med at være en begivenhed – med andre ord, hvor længe vores begivhedshøstning skal køre.

 

4. tværsnitshøstning 2012 afsluttet

11. januar 2013

Den 4. tværsnitshøstning for 2012 er nu afsluttet. Dermed har vi opfyldt vores mål, nemlig at gennemføre 4 tværsnitshøstninger om året. Vi har høstet indhold fra 992.822 domæner.  Der er høstet ca. 30 TB og uploadet ca. 20 TB på godt to måneder.

Netarkivet indeholder i alt 318 TB.

Alle høstede data er tilgængelige i Netarkivets wayback machine.

Netarkivet har i øjeblikket 15 eksterne brugere. Netarkivet kan kun benyttes i forbindelse med forskning eller videnskabelige formål.

Wayback er tilgængelig igen

11. december 2012

Dog er søgninger via Wayback efter data fra år 2005 ikke fuldt tilgængelig.I forbindelse med strømsvigtet i går i København har vi tabt 7 TB data på disksystemer på Det Kongelige Bibliotek. Vi forventer at få nyt udstyr i morgen og herefter vil genetablering af data blive startet.

Genetablering forventes at tage ca 1 uge.

Wayback-machine ude af drift

På grund af strømudfaldet i København i går, den 10. december, er Netarkivets wayback-machine pt. ude af drift. Vi vender tilbage, så snart problemet er løst.

17. tværsnitshøstning afsluttet

29. juni 2012

Den anden tværsnitshøstning i 2012 er netop afsluttet  på under 2 måneder.

En tværsnitshøstning giver et øjebliksbillede af den danske del af internettet på det tidspunkt, hvor vores webcrawlere kommer forbi.

Vi kørte tværsnitshøstningen i to step. Første step startede 6. maj med en grænse på 10 MB per domæne, dvs. vores høstere (webcrawlere) stopper høstningen af et givent domæne, når der er hentet 10 MB, og fortsætter med at høste et nyt domæne. Første step varede en uge.

Da vi ikke fik alt indhold med fra meget store websteder, som for eksempel Danmarks Radios og TV2’s hjemmesider, satte vi andet step i gang – nu med en grænse på 8 GB per domæne. Andet step blev sat i gang efter en uges pause (21. maj) og varede 37 dage.

Samlet har denne tværsnitshøstning varet 53 dage og vi har høstet 28 TB og 670 millioner dokumenter (filer).

I Netarkivets første år varede en tværsnitshøstning næsten et halvt år, vi kunne altså kun gennemføre 2 tværsnitshøstninger per år. Med den nuværende  høstningshastighed kan vi opfylde vore mål om at gennemføre 4 årlige tværsnitshøstninger.

Fælles international webhøstning nu offentlig tilgængelig

8. februar 2012

En af Netarkivets indsamlingsstrategier er såkaldte begivenhedshøstninger, hvor vi intensiverer indsamlingen af netsteder omkring en planlagt eller en pludselig opstående begivenhed.

Af og til deltager Netarkivet sammen med webarkiver fra hele verden i en international begivenhedshøstning. Resultatet af en sådan fælles indsamling er nu offentlig tilgængelig: Vinter OL 2010.

Webarkiver verden over er organiseret i IIPC (International Internet Preservation Consortium). Her udveksler vi løbende erfaringer og forsøger i fællesskab at finde løsninger på tekniske og lovgivningsmæssige udfordringer.

Det er IIPC der koordinerer internationale begivenhedshøstninger som Vinter OL 2010, mens University of North Texas stiller værktøjet  til rådighed. Selve høstningen foretages  af Internet Archive.  At Vinter OL 2010 samlingen nu er offentlig tilgængelig, kan vi takke California Digital Library for.

Netarkivet hylder Vaclav Havel

28. januar 2012

Kort før jul døde den tjekkiske eks-præsident Vaclav Havel, og det tjekkiske nationalbibliotek opfordrede internetarkiver verden over til at deltage i en indsamling af netsteder til minde om præsidenten. Netarkivet deltog i indsamlingen sammen med 25 andre nationale internetarkiver og identificerede knap 200 danske url’er, der mindedes Vaclav Havel. Det var først og fremmest nyhedssites, men også blogs og det officielle og politiske Danmarks netsteder plus en række andre netsteder.
Netarkivet deltager i internationale samarbejder om at høste internetmateriale, hvis materialet har betydning for Danmarks udvikling og historie, eller hvis materialet bidrager til fælles metodisk og teknisk sparring. Desuden bidrager Netarkivet til internationale samarbejder, hvis mål er fælles adgang og samsøgning på tværs af landegrænser. Verdensindsamlingen af url’er omkring Vaclav Havels død kan ses her (eksternt link).