Dubbele gegevens verwijderen uit database

[kokkie20]

Hallo,
Ik ben in me laatste week van mijn stage, en ben nu bezig met een opdracht voor import van een webshop.
De producten worden geimporteerd, en aan de hand van een SkuNumber (geen idee wat het is maar goed) worden de tabellen aan elkaar gekoppeld.
Maar nu zit ik met een probleem.

Wij krijgen van een groothandel een csv bestand binnen met allemaal gegevens.
Ook zit er een csv bestand in met afbeeldingen van het product.
Het importeren e.d. gaat allemaal goed, maar er zitten nog een grote aantal dubbele records in (dubbele SkuNumber).
Die willen wij eruit gaan filteren.

Ik heb al wat geprobeerd met LINQ (daar moeten wij hier mee werken) maar krijg het alleen niet voor elkaar.

Hierbij mijn code ervoor:

C#:

public static ProductPhotoViewImport GetDoubleSkuNumbersImport()
        {
            using (var db = DataContextManager.GetInstance())
            {
                var query = (from t in db.ImportProductImages
                             where t.ProductSkuNumber.Count() > 1
                             orderby t.ProductSkuNumber
                             select t.ProductSkuNumber.First());
                foreach (var ProductSkuNumber in query)
                {
                    db.ImportProductImages.DeleteOnSubmit(ProductSkuNumber);
                }
                    db.SubmitChanges();
            }
        }

Maar krijg 2 errors bij "db.ImportProductImages.DeleteOnSubmit(ProductSkuNumber);"
Dit zijn de errors:

Error 1 The best overloaded method match for 'System.Data.Linq.Table<xxxxxx.Web.WebshopAdmin.DataLayer.ImportProductImage>.DeleteOnSubmit(xxxxxx. Web.WebshopAdmin.DataLayer.ImportProductImage)' has some invalid arguments D:\SVN\WebshopAdmin\BusinessLayer\BusinessObjects\ProductPhotoObject.cs 56 21 BusinessLayer


Error 2 Argument '1': cannot convert from 'string' to 'xxxxxx.Web.WebshopAdmin.DataLayer.ImportProductImage' D:\SVN\WebshopAdmin\BusinessLayer\BusinessObjects\ProductPhotoObject.cs 56 59 BusinessLayer

Mijn stagebegeleider die mag mij niet meer helpen van de directeur (geen idee waarom, wilt hij niet meer) dus zit nu momenteel met me handen in het haar

Ik hoop dat jullie me ermee kunnen helpen.

Bedankt,

Kokkie20

[kwaakvaak_v2]

ik gok aan de hand van je error dat je ergens nog iets naar een string moet casten

[Juicyhil]

En wat zegt Google?

[TECHcrime]

geen idee of je er wat aan hebt, maar excel heeft een functie om dubbele entrys te zoeken

[Creepy]

En wat heb je zelf al geprobeerd om je foutmeldingen op te lossen? Nog helemaal niks en moeten wij dat voor je doen? Of heb je al zelf al wat geprobeerd? Zo ja, wat heb je dan allemaal al geprobeerd? Zo nee, denk even rustig na wat het zou kunnen zijn en ga wat proberen

Tip: Een "string" is geen "ImportProductImage". Je geeft nu wel een string mee.

Dit soort foutmeldingen moet je zelf kunnen lezen en oplossen met wat basiskennis.

[supergert]

Bekijk de foutmeldingen eens goed.
Blijkbaar wil de DeleteOnSubmit() functie een ImportProductImage als parameter hebben, en niet een string.

[s3n]

SKU = Stock Keeping Unit. Gangbaar nummer in de logistiek

[kokkie20]

@TECHcrime,
de query werkt wel goed, maar krijg het niet voor elkaar om 1 record van de dubbele record te verwijderen (door die deleteonsubmit.

@creepy
heb al geprobeerd zonder de foreach, deletallonsubmit geprobeerd, de first weggehaald. Maar heeft nog weinig resultaat gebracht.
Ben zelf pas ongeveer 2 maanden bezig met C# dus heb niet veel basiskennis
Ik zeg ook niet dat jullie het moeten oplossen

Maar ik snap niet waar die string dan vandaan moet komen

[Mastermind]

Volgens mij heb je die .First() verkeerd staan:

var query = (from t in db.ImportProductImages
where t.ProductSkuNumber.Count() > 1
orderby t.ProductSkuNumber
select t.ProductSkuNumber).First();

[kokkie20]

heb de first nu verplaatst,
Heb nu dit:

C#:

        public static ProductPhotoViewImport GetDoubleSkuNumbersImport()
        {
            using (var db = DataContextManager.GetInstance())
            {
                var query = (from t in db.ImportProductImages
                            where t.ProductSkuNumber.Count() > 1
                            orderby t.ProductSkuNumber
                             select t.ProductSkuNumber).First();
                foreach (ImportProductImage ProductSkuNumber in query)
                {
                    db.ImportProductImages.DeleteOnSubmit(ProductSkuNumber);
                }
                    db.SubmitChanges();
            }
        }

Want zover ik begreep wat ik bij de foreach loop deed was de variabel ProductSkuNumber meegeven,
Maar nu ik dit heb krijg ik deze error:

Error 1 Cannot convert type 'char' to 'xxxxxx.Web.WebshopAdmin.DataLayer.ImportProductImage' D:\SVN\WebshopAdmin\BusinessLayer\BusinessObjects\ProductPhotoObject.cs 55 17 BusinessLayer

kom volgens mij al in de buurt

[supergert]

Ehm... na 2 maanden C# zou ik toch verwachten dat je die foutmeldingen wat beter kunt lezen.

En ga het geheel eens in de debugger laten lopen (evt. breakpoint bij het betreffende stuk waar 't fout gaat) om te zien wat je precies in die query-variable hebt zitten. Het lijkt er nu op dat me maar wat probeert

Overigens ERG slechte zaak dat je geen stagebegeleider mag raadplegen tijdens je stage!!

[Mastermind]

Laat de tabel t eens zien (kolomnamen en datatypes)? Heeft deze relaties?
Overigens zal met die .First() alleen de 1e record van de gehele resultset verwijderd worden. Ik denk dat je nog moet groeperen, en dan een iteratie toepassen.

[kokkie20]

wil hem wel in de debugger laten lopen, maar gaat niet lukken als ik nog errors open heb staan.
Vind ik ook, volgens de directeur is hij "veels te druk". (niet dus....)

@mastermind

Heb nog geen relaties toegevoegd, dat is de volgende stap als ik dit probleem heb opgelost.
Ben nu nog bezig om dit op te lossen (dat hij die dubbele eruit haalt)



een iteratie ?

Dont blaim me btw over die tabel,
Kreeg hem zo geleverd van me stage begeleider

[Voor 71% gewijzigd door kokkie20 op 02-11-2010 11:06]

[Robinski]

Heb toch het idee dat je misschien eerst een basis curcus databases (en dan specifiek SQL databases) en C# (en dan specifiek LINQ) moet gaan lezen.

[alwinuzz]

C#:

     public static ProductPhotoViewImport GetDoubleSkuNumbersImport() 
        { 
            using (var db = DataContextManager.GetInstance()) 
            { 
                var query = (from t in db.ImportProductImages 
                            where t.ProductSkuNumber.Count() > 1 
                            orderby t.ProductSkuNumber 
                             select t.ProductSkuNumber).First(); 

               var results = query.ToArray();
  
                foreach (ImportProductImage ProductSkuNumber in results) 
                { 
                    db.ImportProductImages.DeleteOnSubmit(ProductSkuNumber); 
                } 
                    db.SubmitChanges(); 
            } 
        }

Als je nu een breakpoint (rode bolletje) op de foreach regel doet, vervolgens debuggen (F5).
Nu kan je zien wat het resultaat van je query is (zweef met de muis over results).
Dat resultaat is denk ik geen lijstje ImportProductImage's als ik je query zo zie.

[Mastermind]

Je kunt zo te werk gaan, (ik ken zelf geen linq):
Vul de entitycollection met zoiets:

SQL:

select productskunumber
from t 
group by productskunumber
having (count(productskunumber) > 1)

dan itereer je door de entitycollection en haal je de entities 1 voor 1 op, en selecteert de 1e

SQL:

select first(productskunumber) from t where productskunumber = iterator_entity.productskunumber

die entity delete je.
Let op dat als de count(productskunumber) groter is dan 2 er nog steeds dubbele overblijven

[kokkie20]

ik zal er even naar kijken,
bedankt voor de tips/suggesties

[kokkie20]

Probleem is opgelost door dit:

dataGridView1.DataSource = dt;

in dit te veranderen:
DataTable distinctTable = dt.DefaultView.ToTable(true, "ProductSkuNumber");
dataGridView1.DataSource = distinctTable;

[joppybt]

kokkie20 schreef op dinsdag 02 november 2010 @ 09:38:
Ook zit er een csv bestand in met afbeeldingen van het product.

Wat moet ik me hier bij voorstellen?