JSON API testen

[Olaf van der Spek]

Wat is *de* manier om een JSON API te testen (als in TDD)? Ik heb een Swagger spec, het zou handig zijn als op basis daarvan automatisch requests kunnen worden gegenereerd. De responses kunnen dan worden opgeslagen zodat veranderingen eenvoudig opgemerkt kunnen worden.
Welke (Python / PHP) pakketten kunnen hierbij helpen?

Het enige echt relevant wat ik vind is https://apigee.com/about/...-templates-test-your-apis maar daar is dan verder weinig over te vinden.

[styx1]

Je kan SoapUI Pro gebruiken. Het is een java applicatie, dus geen python / php..
Met SoapUI kan je REST requests via swagger-ui opnemen.

[mbenjamins]

Zelf vindt ik Postman (https://www.getpostman.com/) wel fijn.

[Spinal]

@mbenjamins: Postman is fijn, maar niet voor Test driven development waar de TS het over heeft

Wij gebruiken hier Frisby, geen Python/PHP maar node.js werkt ook op alle systemen.

[Mercatres]

Wij hebben in onze buildserver een tooltje dat a.d.h.v. een swagger-spec een diff draait en zegt als de spec is aangepast. Om er voor te zorgen dat onze APIs backwards compatible blijven. Ik denk dat het dit tooltje is: https://www.npmjs.com/package/swagger-diff

[Olaf van der Spek]

Spinal schreef op donderdag 15 december 2016 @ 16:41:
@mbenjamins: Postman is fijn, maar niet voor Test driven development waar de TS het over heeft

Wij gebruiken hier Frisby, geen Python/PHP maar node.js werkt ook op alle systemen.

Dan ben je nog steeds handmatig de responses en de requests aan het schrijven toch?

[Spinal]

Dat klopt inderdaad. Sorry, ik was niet bekend met Swagger.

[Barryke]

Ik heb vrijwel dezelfde vraag - gericht op PHP of Node.js.
Een optie die ik t.z.t. wil bekijken is https://github.com/dareid/chakram

Mijn idee hierbij is dat we Docker container(s) aanzwengelen waaronder de API server, tests runnen, en alles weer opruimen. Dat zou dan kunnen automatisch als onderdeel van GitLab CI , handmatig via console, of automagisch door IDE.

Ik volg deze thread even..

[Stoelpoot]

Postman kan je niet automatisch dingen in laten genereren geloof ik, maar die heeft wel mogelijkheden voor TDD. Bovendien slaan ze geloof ik ook alles op in XML of JSON (weet even niet meer welke). Ik heb geen ervaring met swagger, maar misschien zou je wel een tool kunnen schrijven die je API methods uit swagger opvraagt en dan een bestand genereert om in Postman te importeren?

Hoe je dat met een bestaand TDD systeem integreert weet ik dan helaas ook niet

[Olaf van der Spek]

Ben ik de enige die aan JSON APIs werkt of doet de rest ook niet aan testing?

Even een subtiele kick.

[ Voor 10% gewijzigd door Olaf van der Spek op 31-03-2017 13:17 ]

[Creepy]

We doen hier zeker wel aan testing Alleen niet met Python/PHP.

We gebruiken Java m.b.v. Jersey/Dropwizard om onze API's mee te maken. Met unit tests testen we de direct door Jersey gebruikte Java methodes. Daarnaast maken we gebruik van Rest Assured en Jersey samen in een los project dat via de CI server elke nacht tests draait om zo de API calls te testen. Mocht er een test falen dan weten we dat gelijk. De tests schrijven we met de hand waarmee we via Rest Assured testen of de boel inhoudelijk klopt, en we de responses ook nog via Jersey omzetten naar een Java object om zo er zeker van te zijn dat er geen wijzigingen zijn in de teruggegeven objecten. Het nadeel is dan wel is dat we eigenlijk steeds een 1 op 1 kopie hebben van de API model class die de API projecten gebruiken voor de JSON serialisatie en het test project gebruikt voor de de-serialisatie. Je wil niet dat dit dezelfde classes zijn, want anders pik je een wijziging van een model niet zomaar op.

[ Voor 38% gewijzigd door Creepy op 31-03-2017 15:11 ]

[dakathefox]

Ik sluit me aan bij mbenjamins. www.getpostman.com is inderdaad fijn. Ik ken menig PHP programmeur die daarmee werkt. Zelf werk ik er niet mee: ik ben nog lekker traditioneel alles met de hand aan het uitpluizen.

[Megamind]

mind123 schreef op maandag 3 april 2017 @ 17:28:
Ik sluit me aan bij mbenjamins. www.getpostman.com is inderdaad fijn. Ik ken menig PHP programmeur die daarmee werkt. Zelf werk ik er niet mee: ik ben nog lekker traditioneel alles met de hand aan het uitpluizen.

Dat is geen TDD.

Wij testen onze API's niet, wij unit testen de controllers en mocken de uitgaande calls. Dat lijkt mij toch voldoende?

[Creepy]

Hoe garandeer je dan dat een model (aka je output) niet verandert? Een lullige property naam veranderen (ja, het gebeurt ) kan je API al slopen.

En inderdaad, met postman ben je niet effectief aan het testen. Je kan hoogstens met op het oog controleren of de response lijkt te kloppen, maar that's it.

[Megamind]

Creepy schreef op maandag 3 april 2017 @ 19:35:
Hoe garandeer je dan dat een model (aka je output) niet verandert? Een lullige property naam veranderen (ja, het gebeurt ) kan je API al slopen.

Dat doe je met bv Moq in C#. Je checkt of je output model wat genereerd is met bv Swagger overeenkomt met je daadwerkelijke output.

[Creepy]

Als je je model class aanpast, verandert de Swagger doc ook. Dus dan kan je toch niet meer geranderen dat je output hetzelfde is als dat het daarvoor was?

[kutagh]

Creepy schreef op maandag 3 april 2017 @ 19:35:
[...]
En inderdaad, met postman ben je niet effectief aan het testen. Je kan hoogstens met op het oog controleren of de response lijkt te kloppen, maar that's it.

Hoezo met op het oog? https://www.getpostman.com/docs/writing_tests

[Stukfruit]

Wat kutagh zegt En als toevoeging daarop: je kan je Postman collections met tests ook op de commandline draaien mbv Newman.

[ Voor 9% gewijzigd door Stukfruit op 04-04-2017 06:12 ]

[Hydra]

Creepy schreef op maandag 3 april 2017 @ 20:07:
Als je je model class aanpast, verandert de Swagger doc ook.

Da's afhankelijk van hoe je je controller tests opzet. In onze controller tests testen we daadwerkelijk de responses. Dus we roepen niet gewoon de methode aan.

Zelfde methode gebruiken we in onze integration tests. Dus als je een response verandert vallen er in ieder geval 2 tests om.