[Python] dicts combineren op basis van waarde

[Stefanovic45]

Ik heb meerdere dicts die ik graag wil combineren tot 1 dictionary.

Dict 1

code:

{
            "policyname": "Policy naam 1", 
            "hits": "0", 
            "priority": "100"

        }, 
        {
            "policyname": "Policy naam 2", 
            "hits": "0", 
            "priority": "110"

        }

Dict 2

code:

{
            "policyname": "Policy naam 1", 
            "url": "www.tweakers.net"

        }

Dict3

code:

{
            "policyname": "Policy naam 2", 
            "url": "www.tweakers2.net"

        }

Het is me gelukt om dit te doen met een for loop, maar ik krijg het niet voor elkaar om door alle data heen te lopen. Daarnaast die ik het op basis van de hoeveelste entry en er wordt dus niet daadwerkelijk gechecked of de policynamen gelijk zijn.

Ik ben ook niet de meest ervaren python programmeur, maar voor een beetje automatiseren is het toch wel handig. Is er iemand die mij op weg kan helpen? Ik doe het nu met 2 nieuwe waardes, maar dit kunnen er in het echt 10-tallen zijn.

Mijn uiteindelijke doel is:

code:

{
            "policyname": "Policy naam 1", 
            "hits": "0", 
            "priority": "100",
            "url": www.tweakers.net

        }, 
        {
            "policyname": "Policy naam 2", 
            "hits": "0", 
            "priority": "110",
            "url": www.tweakers2.net

        }

[Verwijderd]

Wat is de code die je tot nu toe hebt? Beetje lastig om je op weg te helpen met je oplossing.

[smekkos]

zoieso heb je nu meerdere dicts gemaakt. Je wil denk ik meer een nested dict?
zoiets als

code:

dict = 
    {"policyname" : {
        "hits": "0",
        "priority": "100" ,
        "url": "www.tweakers.net"},
    "policyname2" : {
        "hits": "0",
        "priority": "10" ,
        "url": "www.tweakers2.net"}

}

Je kan dan gemakkelijk vergelijken en itereren.

code:

for key, value in dict1.items():
    if key not in dict:
        blablabla

[ThomasG]

Stackexchange - Merging two lists of dicts based on the value of a specific key

[Morrar]

Je kan ook naar pandas kijken. Als je een lijstje met dicts hebt, kun je die heel eenvoudig in een data frame omtoveren.

Als je twee types dicts hebt, maak je voor elk type een data frame. Daarna kun je ze heel makkelijk joined op de gezamenlijke key (policy_name).

Zeker als je een groot aantal dicts hebt, is pandas veel sneller dan pure Python.

Python:

import pandas as pd

# List of dict of type 1
dict_type1 = [
    {
            "policyname": "Policy naam 1", 
            "hits": "0", 
            "priority": "100"

        }, 
        {
            "policyname": "Policy naam 2", 
            "hits": "0", 
            "priority": "110"

        }
]

# List of dicts of type 2
dict_type2 = [
    {
        "policyname": "Policy naam 1", 
        "url": "www.tweakers.net"
    },
    {
        "policyname": "Policy naam 2", 
        "url": "www.tweakers2.net"
    }
]

# Create data frames
df1 = pd.DataFrame(dict_type1)
df2 = pd.DataFrame(dict_type2)

# Mergen maar...
df1.merge(df2, on='policyname')

Resulterend data frame:

hits	policyname	priority	url
0	Policy naam 1	100	www.tweakers.net
0	Policy naam 2	110	www.tweakers2.net

Data frame kan je simpel naar file schrijven (met .to_csv) of eventueel weer converteren naar dicts (maar wil je dat wel)...

[ Voor 72% gewijzigd door Morrar op 18-07-2018 23:26 ]

[Stefanovic45]

Tnx voor de reacties

smekkos schreef op woensdag 18 juli 2018 @ 10:45:
zoieso heb je nu meerdere dicts gemaakt. Je wil denk ik meer een nested dict?
zoiets als

code:

dict = 
    {"policyname" : {
        "hits": "0",
        "priority": "100" ,
        "url": "www.tweakers.net"},
    "policyname2" : {
        "hits": "0",
        "priority": "10" ,
        "url": "www.tweakers2.net"}

}

Je kan dan gemakkelijk vergelijken en itereren.

code:

for key, value in dict1.items():
    if key not in dict:
        blablabla

Het is idd een nested dict, dus dat klopt. De dicts die ik wil toevoegen zijn echter wel losse dicts. Ik krijg ze zo terug van een API die ik aanroep.

Het is me overigens al wel gelukt om ze samen te voegen. Officieel zijn dicts natuurlijk ongesorteerd, maar omdat ik altijd dezelfde waardes terug krijg van een API blijkt deze oplossing wel te werken.

Ik heb de code wel enigszins herschreven:

code:

        i = 0
        # Loop door de nested dict 
        for policys in policy['policy']:
                policyname = policys['policyname']
                # nieuwe dicts ophalen
                url = api call op basis van policyname # geeft 1 dict terug
                request = requests.get(url, verify=False, cookies=cookie)
                cspolicy = json.loads(request.text)
                cspolicy_url = cspolicy['cspolicy'][0]['url'])
                policy['policy'][i]['url'] = cspolicy_url
                i += 1

Pandas en itertools zijn echter ook handige toevoegingen!

[MartenBE]

StefanvanGelder schreef op maandag 23 juli 2018 @ 09:35:
[...]

Ik heb de code wel enigszins herschreven:

code:

        i = 0
        # Loop door de nested dict 
        for policys in policy['policy']:
                policyname = policys['policyname']
                # ...
                i += 1

Kleine tip: bovenstaande construct kan je mooi vervangen met een enumerate:

code:

        # Loop door de nested dict 
        for i, policys in enumerate(policy['policy']):
                policyname = policys['policyname']
                # ...

[Raynman]

Of gewoon zonder die i

Python:

policys['url'] = cspolicy_url