Brein: AI-trainingset verwijdert 2 miljoen ongeautoriseerd…

[djwice]

Artikel: nieuws: Brein: AI-trainingset verwijdert 2 miljoen ongeautoriseerd gebruikte ...
Auteur: @YannickSpinner Volgens mij is het andersom Common Crawl gebruikt deels data uit het internet archief. Het internet archief slaat immers ook JavaScript, Stylesheet en plaatjes op, Common Crawl slaat alleen de html en robots.txt en eventueel pff documenten op, plus alle documenten die een foutieve Content-Type header hebben.

CommonCrawl is inmiddels ruim 27 petabyte; een dataset (WARC) is ongeveer 100TB in gzip.
https://data.commoncrawl....C-MAIN-2025-43/index.html elke dataset heeft een index van iets meer dan 200GB in Parquet kolomiair formaat.

[YannickSpinner]

Ik kan hier geen primaire bron over vinden, maar volgens Forbes gaat het om een gemirrord systeem. Ik denk dat de zin zoals hij er nu staat feitelijk juist is, al werkt het dus ook andersom

[djwice]

YannickSpinner schreef op dinsdag 4 november 2025 @ 16:23:
Ik kan hier geen primaire bron over vinden, maar volgens Forbes gaat het om een gemirrord systeem. Ik denk dat de zin zoals hij er nu staat feitelijk juist is, al werkt het dus ook andersom

In die link staat:

crawls run by IA

dus de crawl is gedaan door het Internet Archive en de html van die crawl is ook gespiegeld naar commencrawl.

Wat je in de praktijk ziet, bijvoorbeeld voor een aantal Tweakers PriceWatch pagina's, dat de pagina in het Internet Archief ook de opmaak van Tweakers.net bevat, maar de pagina met exact dezelfde Linux Timestamp op CommenCrawl alleen de HTML bevat in de WARC met uiteraard exact dezelfde HTTP response headers als in Internet Archive.