API testing tools: Postman, Bruno, ...

[Chris_147]

Hallo,

binnen ons bedrijf proberen we tot een standaard tool te komen voor API testen.
We hadden enkele gebruikers die SoapUI en ReadyAPI gebruikten.
We hebben echter een grotere groep gebruikers die Postman gebruiken.
Een hele hoop gebruikt de gratis versie van Postman, een kleinere groep heeft ook Postman Pro (29$/maand/persoon).
De eerste feedback die ik krijg van die gebruikers is dat ze de Pro versie hebben voornamelijk om Collections uit te kunnen wisselen. Andere features van Pro worden niet of bijna niet gebruikt.
Verscheidene gebruikers zeggen dat ze enkel Collections nodig hebben, maar toch ook niet met de Basic versie aan de slag kunnen. Dat vind ik wat raar.

Na enkele gebruikers gesproken te hebben beperkt het gebruik van Postman zich tot hoofdzakelijk manueel testen van API's door ontwikkelaars en enkele testers. Dus maximum enkele calls achter elkaar met wat variabelen in de Collection. De andere zaken die bij de Pro versie vermeld staan, worden niet gebruikt.

Nu sprak ook iemand over Bruno.
GUi lijkt sterk op Postman en je kan je Collections lokaal bewaren en/of naar GIT syncen.

Het lijkt mij dus in eerste instantie dat:
- de meeste gebruikers Postman Basic kunnen gebruiken (14$/maand/persoon)
- de meeste gebruikers eigenlijk ook met Bruno aan de slag kunnen icm met Gitlab (wat we reeds hebben)

Heeft iemand praktische ervaring met de verschillende Postman versies en/of Bruno?
Of andere tools die aangeraden kunnen worden?

[CodeCaster]

Aangezien SoapUI al 18 jaar dezelfde Java-UI uit '95 hanteert (nee, 1995 is géén 29 jaar geleden, ik vertik het dat te geloven) en aangezien Postman maar één missie heeft: elke release meer nesting van tabs in de UI en meer geld durven vragen voor een tool waarvan het gros van de mensen nog geen handvol procent van de functionaliteit gebruikt:

Insomnia.

Erg basale client, maar met wat plugins (vooral: OAuth) en configuratie (environments) prima bruikbaar te maken zonder om te komen in de geneste tabs en facturen.

[Yucon]

Ik hoorde dat fiddler ook wel eens in deze context gebruikt wordt, maar het staat nog steeds op m'n lijstje er eens mee te testen

Let trouwens wel met dit soort tools op dat de DPA op orde is. API testen betekent in de praktijk per definitie data uitwisselen.

[ Voor 34% gewijzigd door Yucon op 04-04-2024 13:47 ]

[CodeCaster]

Yucon schreef op donderdag 4 april 2024 @ 13:46:
Ik hoorde dat fiddler ook wel eens in deze context gebruikt wordt, maar het staat nog steeds op m'n lijstje er eens mee te testen

Let trouwens wel met dit soort tools op dat de DPA op orde is. API testen betekent in de praktijk per definitie data uitwisselen.

Fiddler, nog zo'n tool die door geld vernacheld is.

In Fiddler Classic, abandonware sinds Fiddler Everywhere bestaat, wil je echt geen requests bouwen, en je bent je state steeds kwijt als je de client afsluit.

Leuk om requests te capturen als proxy, en de ingebouwde HTTPS decryption is handig, maar voor een bijgewerkte versie ben je ook weer $144 per gebruiker per jaar kwijt. Het telt lekker op, al die abo's voor ontwikkeltools.

En ja, $144 is een uur of twee werk (als je uren direct facturabel zijn), maar zo ben je steeds meer dagen per maand aan het werk om je tools terug te verdienen.

[Mavamaarten]

Ik ben een tijd lang gebruiker geweest van Paw (tegenwoordig RapidAPI blijkbaar), zeer handige en kwalitatieve tool. Werkgever betaalde de licentie.

Tegenwoordig gebruik ik Insomnia.

Dat soort tools doet uiteindelijk allemaal wel hetzelfde. Kijk gewoon naar de features die je nodig hebt en de prijs.

[wim.gaethofs]

Hier zeer tevreden van Bruno. Achterliggend zit alles in .bru files, welke je in een git repo kan steken en zo kan delen binnen je team. Voor ons is de opensource editie voldoende. Hangt er wat van af wat je allemaal nodig hebt.

Bruno is nog volop in ontwikkeling. Het heeft een actieve opensource community.
https://github.com/usebruno/bruno
Op korte tijd heb ik al veel nieuwe features gezien.

[Chris_147]

Bedankt voor de reacties en tips voor andere tools.
De prijsverschillen zijn wel groot.
Op zich kost het allemaal niet verschrikkelijk veel, maar het gebruik is vrij beperkt in onze organisatie, dus we moeten niet overdrijven met licenties.

Belangrijk aspect is wel dat we de bestaande Postman Collections kunnen overzetten.
Anders gaan we de gebruikers tegen krijgen vrees ik.

[Yucon]

Chris_147 schreef op donderdag 4 april 2024 @ 14:22:
Op zich kost het allemaal niet verschrikkelijk veel, maar het gebruik is vrij beperkt in onze organisatie, dus we moeten niet overdrijven met licenties.

En heb je bij die gratis versie ook een DPA? Of, in het geval van niet, weet je dan 100% zeker dat er geen echte data doorheen gaat? Niemand die eens een GET naar een productieomgeving uitvoert bijvoorbeeld? Of naar een testomgeving die een kloon van een productieomgeving is?

[ Voor 6% gewijzigd door Yucon op 04-04-2024 14:31 ]

[Jan_V]

CodeCaster schreef op donderdag 4 april 2024 @ 13:39:
Aangezien SoapUI al 18 jaar dezelfde Java-UI uit '95 hanteert (nee, 1995 is géén 29 jaar geleden, ik vertik het dat te geloven) en aangezien Postman maar één missie heeft: elke release meer nesting van tabs in de UI en meer geld durven vragen voor een tool waarvan het gros van de mensen nog geen handvol procent van de functionaliteit gebruikt:

Insomnia.

Erg basale client, maar met wat plugins (vooral: OAuth) en configuratie (environments) prima bruikbaar te maken zonder om te komen in de geneste tabs en facturen.

Ik ben onlangs ook overgestapt op Insomnia. Is even wennen, maar werkt prima voor 80% van mijn use-cases. Wellicht ook eens zoeken maar plugins, want ik mis wel wat zaken uit Postman.

Wij mogen ook niet meer Postman gebruiken, want het synchroniseert alles naar hun cloud, inclusief secrets, tokens, etc. Handig wanneer je op meerdere systemen werkt, maar een potentieel security leak waiting to happen.

[Chris_147]

Yucon schreef op donderdag 4 april 2024 @ 14:30:
[...]

En heb je bij die gratis versie ook een DPA? Of, in het geval van niet, weet je dan 100% zeker dat er geen echte data doorheen gaat? Niemand die eens een GET naar een productieomgeving uitvoert bijvoorbeeld? Of naar een testomgeving die een kloon van een productieomgeving is?

Kan je even toelichten wat een DPA is een juist doet?
Zit dat in Pro versie van Postman?

Afgezien van dat denk ik niet dat een tool je kan beschermen tegen fouten van gebruikers.

[Yucon]

Chris_147 schreef op donderdag 4 april 2024 @ 18:20:
[...]

Kan je even toelichten wat een DPA is een juist doet?
Zit dat in Pro versie van Postman?

Afgezien van dat denk ik niet dat een tool je kan beschermen tegen fouten van gebruikers.

https://gdpr.eu/what-is-data-processing-agreement/

Als je zo'n cloud tool gebruikt wordt dat een dataverwerker. Bij pro versies kun je dat vrij eenvoudig contractueel vastleggen en voldoe je aan je verplichting dat geregeld te hebben, maar bij gratis versies zal men dat niet altijd willen omdat men zakelijke klanten in de regel graag op betaalde versies zal willen hebben.

Het is ook goed om je te realiseren dat het niet alleen om dat data gaat die je zelf via die tool opvraagt of post. Als onderdeel van de werking moet je ook domweg je credentials 'afgeven' cq in die tool invoeren. Afhankelijk van de permissies die daaraan vast hangen geef je daarmee toegang tot nog veel meer dan alleen de data die je op dat moment zelf opvraagt.

Concreet en heel zwart/wit: als je een interface met een CRM pakket aan het bouwen bent geef je het bedrijf achter die tool technisch gezien de mogelijkheid om je hele klantenbestand te jatten. Dan is het toch wel fijn als ergens een papiertje ligt waarop ze plechtig beloven dat ze dat niet zullen doen.

[sig69]

Interessant topic. Ik gebruik nog een oude versie van postman (lekker alles). Die cloud sync zit ik niet op te wachten (en de laatste versie doet het hier toch niet). Een alternatief zou welkom zijn.

[SVMartin]

Bash en Curl

Jmeter?

Karate?

[Chris_147]

Jan_V schreef op donderdag 4 april 2024 @ 17:56:
[...]

Ik ben onlangs ook overgestapt op Insomnia. Is even wennen, maar werkt prima voor 80% van mijn use-cases. Wellicht ook eens zoeken maar plugins, want ik mis wel wat zaken uit Postman.

Wij mogen ook niet meer Postman gebruiken, want het synchroniseert alles naar hun cloud, inclusief secrets, tokens, etc. Handig wanneer je op meerdere systemen werkt, maar een potentieel security leak waiting to happen.

@Jan_V : kan je toelichten welke zaken je mist uit Postman?

[Jan_V]

Chris_147 schreef op donderdag 2 mei 2024 @ 10:39:
[...]

@Jan_V : kan je toelichten welke zaken je mist uit Postman?

Scripts en tests toevoegen is degene die ik nog niet ben tegen gekomen.

Ik ben er inmiddels ook achter dat de standaard OAuth autorisatie alleen maar met de built-in browser werkt, en die wordt door de company policy niet herkend als een veilige/allowed browser, waardoor ik die niet kan gebruiken om services binnen het bedrijf te bevragen.
Is wel met een plugin op te lossen, dat wel.

[markvankampen]

Voor een vergelijking tussen Postman en Bruno vond ik dit een interessant artikel: https://danaepp.com/is-bruno-good-for-api-hacking

[Yucon]

Recent heb ik eens wat met de postman flows functionaliteit getest. Hoewel het volgens mij relatief onbekend is bestaat het wel al een tijdje, en het lijkt alsof postman zich hiermee als een SaaS middleware platform probeert te positioneren. Ik vind het moeilijk om te bepalen hoe serieus dit is. Het zit er namelijk toch alweer een paar jaar in en persoonlijk vond ik het behoorlijk goed werken, maar sommige punten zijn gewoon echt niet af. Je kunt bijvoorbeeld geen multiselect op elementen in een flow doen om ze als groepje te verplaatsen.

Dat geeft ergens het gevoel alsof iemand het er ooit ingedumpt heeft, het toen een goed idee vond maar vervolgens het allemaal weer een beetje vergeten is.