[MS SQL 2K] Controleren Image Column Op dubbelen

[BasSpruit]

Ik ben bezig met een .NET (1.1) project waar in een (SQL2k database) tabel plaatjes staan. Nu wil ik graag kunnen controleren of een plaatje nog niet bestaat in de database omdat er nogal wat dubbele instaan.

Dit gebeurd op dit moment namelijk met het handje ( er is een prog gemaakt welke de inhoud kan tonen ), en ik wil graag voorkomen dat dit bij een nieuw project weer gebeurd.

Ik heb hier niks over gelezen in de books online (of in elk geval niet kunnen vinden) Ik heb ook al op dit topic gekeken: [rml][ mssql] full-text index op "image"-field?[/rml]. Is het verstandig om er een Full Text index op te leggen? (gewone index is niet mogelijk...)

Ik zou natuurlijk alvast voor kunnen filteren op hoogte, breedte en lengte van het bestand, maar daar haal ik natuurlijk geen dubbele waarden eruit.

Wat is jullie advies?

[bigbeng]

Als ik zo die post lees die je aangeeft in je TS dan lijkt het erop dat SQL2K filters heeft waarmee tekstuele informatie kan worden gelezen (en daarop dus gezocht) uit Excel/Word en andere opgemaakte tekstbronnen. Een image is geen tekstbron, dus een Full Text Index zal je dus weinig gaan opleveren. Je zult hooguit de tekstuele informatie uit bijvoorbeeld een JPEG bestand kunnen indexeren, maar dat is header informatie.

Wat is het probleem om zelf te filteren op dimensies en filesize en vervolgens binair te vergelijken? Volgens mij minimaliseer je op die manier de load op je DB toch voldoende?

Een andere mogelijkheid is een hash (MD5 oid) op te slaan van de image en daarop te vergelijken. Dubbele md5 hashes kunnen voorkomen, maar de kans dat zowel de dimensies, als de filesize en vervolgens ook nog de md5 hashes gelijk zijn is vrijwel nihil.

[curry684]

Hashen. En md5/sha1 clashes op valide images zijn zooooooooo onwaarschijnlijk dat je echt niet op meer dan de hash hoeft te checken.

[BasSpruit]

curry684 schreef op dinsdag 28 februari 2006 @ 12:55:
Hashen. En md5/sha1 clashes op valide images zijn zooooooooo onwaarschijnlijk dat je echt niet op meer dan de hash hoeft te checken.

Many thanks! Ik ga uitzoeken hoe ik de SHA1 kan / moet gebruiken. Kan ik aannemen dat de grootte van de hash afhankelijk is van de grootte van de image?

[Janoz]

Bedenk trouwens wel dat dit alleen werkt met exact dezelfde plaatjes. Zodra een pixel wordt aangepast of een andere jpeg kwaliteit wordt gebruikt worden de plaatjes als verschillend gezien.

[curry684]

Hash is altijd even groot, da's juist een van de kernideeen erachter

Leesvoer: MD5, cryptographic hash function.

Quote uit de 2e:

A hash function takes a long string (or message) of any length as input and produces a fixed length string as output, sometimes termed a message digest or a digital fingerprint.

[BasSpruit]

Janoz schreef op dinsdag 28 februari 2006 @ 13:49:
Bedenk trouwens wel dat dit alleen werkt met exact dezelfde plaatjes. Zodra een pixel wordt aangepast of een andere jpeg kwaliteit wordt gebruikt worden de plaatjes als verschillend gezien.

Dat is precies wat ik nodig heb. Anders kan ik later altijd nog wel zien dat de plaatjes te veel met elkaar overeenkomen.

[edit]

Als ik dit

Visual Basic:

Dim img As New Bitmap(100, 100)
        Dim graph As Graphics = Graphics.FromImage(img)
        graph.Clear(Color.White)
        graph.FillRectangle(Brushes.Black, 10, 10, 80, 80)
        Dim Mem As New MemoryStream
        img.Save(Mem, ImageFormat.Jpeg)

en

Visual Basic:

Me.TextBox1.Text = Enc.GetString(SHA.ComputeHash(Mem.GetBuffer))

uitvoer, dan krijg ik dit: zR[ FiE1

Hoort dit zo kort te zijn? (Ik heb moeite dit te geloven namelijk...)

[ Voor 36% gewijzigd door BasSpruit op 28-02-2006 14:47 ]

[Robbemans]

Ja, dat kan wel kloppen. Een hash is niet absoluut uniek, maar over het algemeen uniek genoeg.