[JAVA] serverapplicatie framework

[TweakV]

Ik wil periodiek webservices aanroepen en de verkregen gegevens uit de xml response opslaan in een database. Hierbij denk ik aan het bouwen van een serverapplicatie met java. In een later stadium moet het mogelijk zijn om de serverapplicatie uit te bouwen met een web-interface waarmee door middel van formulieren gegevens worden ingevoerd voor andere xml requests. Daarnaast kan de xml response via verschillende kanalen binnenkomen, niet enkel via de webservice, de serverapplicatie moet bijvoorbeeld ook een directory controleren op xml bestanden.

Ik zoek een uitgangspunt om mee van start te gaan. Ik heb wel eerder webapplicaties gemaakt met tomcat, struts, hibernate etc. maar een (threaded?) serverapplicatie is nog nieuw voor me.

Ik denk aan componenten, nl het volgende:
- een serverapplicatie framework
- een xml/database mapping framework (geen xml database)
- een framework voor webservice communicatie (of een aparte communicatieserver)

De oplossingen zoek ik in gangbare opensource projecten zoals apache software. De volgende uitgangspunten lijken me wel wat, naar aanleiding van een eerder project met apache james mailserver:
- Loom micro kernel (in opvolging van avalon) (http://loom.codehaus.org/)
- Keel meta framework (http://www.keelframework.org/)
- apache axis webservice platform (http://ws.apache.org/)

- verder zoek ik dus nog iets om de verkregen xml gegevens in de database op te slaan, de xml komt in verschillende formaten binnen en moet naar een éénvormige database structuur gemapt worden. Als tussenstap is validatie van de xml gewenst.

--------------

1. Is de oplossingsrichting logisch? Het moet nl. ook redelijk snel te realiseren zijn, maar ik wil geen platform-/besturingsysteem afhankelijke scripting gebruiken. Ik heb ook gedacht om ant hiervoor in te zetten (custom ant tasks).

2. Zijn er andere java frameworks die zich hier bij uitstek goed voor lenen, of heb ik de juiste al gevonden? Het gaat me vooral om het startpunt, later zullen waarschijnlijk meer componenten worden gebruikt.

3. Het xml naar database verhaal heb ik nog niet concreet, maar validatie van de gegevens structuur en mapping files zullen gewenst zijn. Wie kan me een goede suggestie doen? (xmlbeans/hibernate?)

_{* ik hoop dat het een duidelijk verhaal is, ik sta alleen in dit project en kan wel wat input gebruiken van de lokale professionals hier concreter heb ik het nog niet, ik ben nog aan het zoeken}

[ Voor 5% gewijzigd door TweakV op 15-10-2005 00:03 ]

[momania]

Als 'serverapplicatieframework' zou ik in jouw geval toch naar Spring kijken bijvoorbeeld. Dat is in princiepe een framework waar je zelf je invulling aan kan geven door verschillende componenten (als hibernate etc) te koppelen.

Validatie van xml is simpel: gebruik xsd's
Gebruik daarna de Digester om je xml om te zetten naar bijvoorbeeld Hibernate domain classes en sla ze op.

---

Ik weet niet wat voor RDBMS je gaat gebruiken, maar misschien kan je naar de optie kijken om je query results in xml terug te laten geven en deze via xslt naar html te transformeren. Als je toch een globale structuur hebt voor al je data is het zonde om daar veel servlet acties voor te moeten schrijven terwijl je dat misschien ook met een paar xslt's af kan

[Alarmnummer]

TweakV schreef op vrijdag 14 oktober 2005 @ 22:49:
Ik wil periodiek webservices aanroepen en de verkregen gegevens uit de xml response opslaan in een database. Hierbij denk ik aan het bouwen van een serverapplicatie met java. In een later stadium moet het mogelijk zijn om de serverapplicatie uit te bouwen met een web-interface waarmee door middel van formulieren gegevens worden ingevoerd voor andere xml requests. Daarnaast kan de xml response via verschillende kanalen binnenkomen, niet enkel via de webservice, de serverapplicatie moet bijvoorbeeld ook een directory controleren op xml bestanden.

-JaxRpc voor importeren van webservice interfaces.
-Quartz voor het schedulen.
-Spring om alles aan elkaar vast te lijmen (onmisbaar imho).

Ik zoek een uitgangspunt om mee van start te gaan. Ik heb wel eerder webapplicaties gemaakt met tomcat, struts, hibernate etc. maar een (threaded?) serverapplicatie is nog nieuw voor me.

Dat lost Quartz allemaal voor je op.
http://www.opensymphony.com/quartz

Je kunt als je wilt de threadpool eigenschappen instellen van Quartz: prioriteiten, thread counts etc.

1. Is de oplossingsrichting logisch? Het moet nl. ook redelijk snel te realiseren zijn, maar ik wil geen platform-/besturingsysteem afhankelijke scripting gebruiken. Ik heb ook gedacht om ant hiervoor in te zetten (custom ant tasks).

Als je weet hoe het moet, dan heb je in 30 minuten het skelet opgezet. Op het Spring forum staat een hele goeie handleiding hoe je peridiek bepaalde functionaliteit uit kunt voeren (mbv Quartz bv) en er staat ook een uitstekende handleiding hoe je remote interfaces kunt importeren mbv JAX RPC

handleidingen:
http://www.springframewor...ce/remoting.html#d0e12591
http://www.springframewor.../scheduling.html#d0e15427

Ik snap alleen niet hoe ANT in in dit plaatje past. Ik gebruik ANT om te builden, niet om software mee te draaien (ik heb het meestal draaien in een servlet container zoals Tomcat)

2. Zijn er andere java frameworks die zich hier bij uitstek goed voor lenen, of heb ik de juiste al gevonden? Het gaat me vooral om het startpunt, later zullen waarschijnlijk meer componenten worden gebruikt.

Spring is een beetje een vreemd eend in de bijt. Op zichzelf kan het niet zo veel, maar het faciliteerd veel andere diensten (zoals exporteren van een remote interface mbv XFire). Spring is je lijm/configuratie omgeving, en Quartz/XFire/Axis/JAX RPC zijn concrete bouwstenen daarbinnen.

3. Het xml naar database verhaal heb ik nog niet concreet, maar validatie van de gegevens structuur en mapping files zullen gewenst zijn. Wie kan me een goede suggestie doen? (xmlbeans/hibernate?)

Is het niet handiger om die terug te plaatsen naar een normaal db model? (Ik weet niet precies wat voor data je daarin hebt).

_{* ik hoop dat het een duidelijk verhaal is, ik sta alleen in dit project en kan wel wat input gebruiken van de lokale professionals hier concreter heb ik het nog niet, ik ben nog aan het zoeken}

Het verhaal is helder. Ik zou zeggen: kijk naar de tools. De documentatie van Spring is in principe erg helder maar het wel voornamelijk een reference manual en de big picture erachter die wordt er niet in beschreven (Spring Pro/Professional Java Development with the Spring Framework zijn goeie boeken).

Misschien dat dat op dit moment de grootste drempel is, maar als je Spring onder de knie hebt ga je op een hele andere manier naar JEE applicaties kijken. Veel meer controle, veel meer reuse, veel minder werk en een veel schoner ontwerp. Veel randproblematiek laat zich meestal al oplossen met Spring configuraties en dat scheelt echt een enorme lading werk.

De documentatie van de 'componenten' zoals Quartz/JAX RPC die kun je gerust even links laten liggen. Meestal is de documentatie van Spring al voldoende.

[edit]
Ff een kladje in elkaar gezet.

XML:

<!-- de webservice-->
<bean id="remoteFooService" class="org.springframework.remoting.jaxrpc.JaxRpcPortProxyFactoryBean">
    <property name="serviceInterface"
              value="example.RemoteFooService"/>
        
    <property name="wsdlDocumentUrl"
              value="http://localhost:8080/account/services/fooService?WSDL"/>
           
    <property name="namespaceUri">
              value="http://localhost:8080/account/services/fooService"/>
        
   <property name="serviceName">
             value="FooService"/>
        
    <property name="portName"
              value="FooPort"/>      
                          
</bean>

<!-- jouw object dat gebruik maakt van de webservice-->
<bean id="bar"
      class="Bar">  
    <constructor-arg ref="remoteFooService"/>
</bean>

<!-- de taak (het aanroepen van bar.run()) -->
<bean id="barTrigger"
        class="org.springframework.scheduling.quartz.CronTriggerBean">

    <property name="jobDetail">
        <bean class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">

            <property name="concurrent" value="false"/>
            <property name="targetObject" ref="bar"/>
            <property name="targetMethod" value="run"/>
        </bean>
    </property>

    <property name="cronExpression" value="0 0/1 * * * ?"/>
</bean>
            
<!-- de scheduler voor de taken -->
<bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
  <property name="triggers">
    <list>
      <ref bean="barTrigger"/>      
    </list>
  </property>
</bean>

Java code:

Java:

class Bar{
    RemoteFooService _fooService;
    
    Bar(RemoteFooService fooService){
        _fooService = fooService;
    }
    
    void run(){
        String someData = _fooService.someMethod();
        ..do something with someData
    }
}

Je moet alleen nog even de Java code genereren op basis van die WSDL (dus die RemoteFooService en alle meuk die daarbij hoort:exceptions, argumenten, return values).

[ Voor 106% gewijzigd door Alarmnummer op 15-10-2005 07:20 ]

[TweakV]

Enorm bedankt voor de moeite die jullie hebben genomen om ('s nachts) te antwoorden, deze reactie's zijn precies waar ik op had gehoopt.

momania schreef op zaterdag 15 oktober 2005 @ 01:01:
Als 'serverapplicatieframework' zou ik in jouw geval toch naar Spring kijken bijvoorbeeld. Dat is in princiepe een framework waar je zelf je invulling aan kan geven door verschillende componenten (als hibernate etc) te koppelen.

Kom ik straks op terug...

Validatie van xml is simpel: gebruik xsd's
Gebruik daarna de Digester om je xml om te zetten naar bijvoorbeeld Hibernate domain classes en sla ze op.

Dat valideren begrijp ik
Maar je hebt het xml-naar-database verhaal direct concreter voor me gemaakt, die digester was ik niet direct opgekomen. Ik heb even gekeken en het leent zich er uitstekend voor, met de digester-rules kunnen alle verschillende xml responses goed naar één domain class 'gemapt' worden. De rest spreekt voor zich.

Ik weet niet wat voor RDBMS je gaat gebruiken, maar misschien kan je naar de optie kijken om je query results in xml terug te laten geven en deze via xslt naar html te transformeren. Als je toch een globale structuur hebt voor al je data is het zonde om daar veel servlet acties voor te moeten schrijven terwijl je dat misschien ook met een paar xslt's af kan

Ik weet ook nog niet welk RDBMS, maar wellicht de 'volwassen' geworden MySQL 5.0, ik vind die toch wel erg makkelijk om mee te werken. Er zijn meer potentiële (en robuustere) rdbms's daar moet ik nog even naar kijken. In principe 'hoeft'* dat met hibernate niet veel uit te maken (*hehe, je moest eens weten hoeveel tijd ik er toch mee kwijt ben geweest). Als alle gegevens netjes in een database worden opgeslagen, kan er een willekeurige webinterface voor worden gebouwd (php asp jsp whatever) met of zonder gebruik van xml/xsl transformatie (dat is voor later belang).

Alarmnummer schreef op zaterdag 15 oktober 2005 @ 06:35:

-JaxRpc voor importeren van webservice interfaces.
-Quartz voor het schedulen.
-Spring om alles aan elkaar vast te lijmen (onmisbaar imho).

Alarmnummer, geweldige post, (+3 inzichtvol, zonder anderen teniettedoen natuurlijk ), hier kan ik direct mee aan de slag.

JAX-RPC: Het is Jax-Rpc vs Apache Axis denk ik, met Jax-Rpc heb je direct een onderdeel uit de j2ee 1.4 standaard te pakken, dat verdient wellicht de voorkeur. Edit: ik moet nog bekijken welke van deze twee het best past.

Quartz: Exact wat ik nodig heb, ik had er nog nooit van gehoord en was er waarschijnlijk ook niet snel opgekomen. Ik was al bang dat ik er zelf wat voor moest schrijven, wat naief hè... Ik wou de applicatie zeker niet afhankelijk maken van het besturingssysteem, en Quartz vervangt de linux cronjobs of windows scheduler perfect.

Spring: Zo te horen is spring precies waar ik naar op zoek ben, ik was er al eerder mee in aanraking gekomen maar ik had het alleen geassocieerd met webapplicaties (verkeerd beeld ervan). Je voorbeelden laten in principe al het tegendeel zien. Met je voorbeelden heb je ook direct al laten zien hoe snel het eigenlijk te realiseren is, daarom doe ik ook even vooronderzoek om een goed uitgangspunt te vinden. Ik wil me niet bemoeien met randproblematiek en wil het wiel zeker niet opnieuw uitvinden, en je verwijzing naar goede boeken is dan ook zeer welkom.

Ik snap alleen niet hoe ANT in in dit plaatje past. Ik gebruik ANT om te builden, niet om software mee te draaien (ik heb het meestal draaien in een servlet container zoals Tomcat)

Forget it. Het past ook niet in het plaatje, het zou een alternatief zijn. Ant is natuurlijk veel meer dan een build tool, je zou het als vervanging kunnen gebruiken voor batch/shell scripting om snel een werkende applicatie te bouwen met eigen geschreven ant tasks. Je kunt op die manier snel verschillende componenten aangrijpen, maar het is geen nette oplossing vind ik. Daar wil ik ook liever geen discussie over opstarten, maar een korte reactie is welkom als je het niet kunt laten.

Is het niet handiger om die terug te plaatsen naar een normaal db model? (Ik weet niet precies wat voor data je daarin hebt).

Dat is ook de bedoeling, met de oplossing die momania heeft aangedragen (digester en hibernate). Het gaat om productaanbod.

Je moet alleen nog even de Java code genereren op basis van die WSDL (dus die RemoteFooService en alle meuk die daarbij hoort:exceptions, argumenten, return values).

Alarmnummer bedankt voor het kladje. Het genereren zal ik nog even naar kijken, is wel wenselijk omdat ik meerdere webservices zal gaan aanspreken. Wellicht is het mogelijk om runtime te genereren a.d.h.v. een configuratie bestand? Dan is het gelijk general purpose, maar je moet natuurlijk ook niet teveel willen he. Zoals gezegd, ik zal er nog wel even naar kijken.

Ik ga me verder verdiepen in Spring, het is een logische stap volgend op de kennis en ervaring die ik nu heb. De voorbeelden en links kan ik goed gebruiken en jullie inbreng heeft het voor mij veel concreter gemaakt, ik weet nu welke weg ik zal inslaan. Ik heb nu bijna alle bouwstenen bijeen, het één en ander moet nu snel te realiseren zijn. Wellicht dat ik nog andere vraagstukken tegenkom, dan horen jullie het wel.

_{* wat ben ik blij dat ik hier heb gepost, één nachtje en je kunt direct verder, geweldig...}

[ Voor 115% gewijzigd door TweakV op 15-10-2005 12:01 ]

[Alarmnummer]

[b][message=24388723,noline]TweakV schreef op zaterdag 15 oktober 2005 @ 09:33
Alarmnummer, geweldige post, (+3 inzichtvol, zonder anderen teniettedoen natuurlijk ), hier kan ik direct mee aan de slag.

Mooi zo.

JAX-RPC: Het is Jax-Rpc vs Apache Axis denk ik, met Jax-Rpc heb je direct een onderdeel uit de j2ee 1.4 standaard te pakken, dat verdient wellicht de voorkeur.

Over het algemeen heb ik juist het tegenovergestelde gevoel. Sun heeft iets gemaakt? Dan zal het vast wel lomp, log en naar zijn.

Alarmnummer bedankt voor het kladje. Het genereren zal ik nog even naar kijken, is wel wenselijk omdat ik meerdere webservices zal gaan aanspreken. Wellicht is het mogelijk om runtime te genereren a.d.h.v. een configuratie bestand?

Dat is niet mogelijk. Die FooRemoteService is dus gegenereerd op basis van de WSDL. Daar staan alle methodes in van de webservice en ook alle data die erin gaat, eruit komt, en alle exceptions. Dus die moet je compiletime al aanmaken (anders zou jouw Bar object bv niet kunnen compileren). Ik zou het in een ANT task zetten en dan aanroepen met

ant importwebservices compile
en als je geen zin hebt dat de hele tijd die webservices worden gedownload:
ant compile.

JAXRPC zorgt voor de serialisatie en de deserialisatie van: argumenten, return waarden, exceptions.

Als je er trouwens goed naar kijkt, dan zie je dat als je die remote interface hebt, je helemaal niet meer afhankelijk bent van Webservices. Jouw Bar object praat met een of andere remote interface, maar dat daar een webservice implementatie achter zit is niet interessant. Er zou net zo goed een RMI implementatie kunnen zijn. En dat is nou precies het idee achter Spring en remoting. Doordat het geen onderdeel meer is van de core kan je het super eenvoudig wisselen (is is een configuratie detail geworden).

vb:

code:

<bean id="remoteFooService" class="org.springframework.remoting.rmi.RmiProxyFactoryBean">
    <property name="serviceUrl" value="rmi://HOST:1199/AccountService"/>
    <property name="serviceInterface" value="example.RemoteFooService"/>
</bean>

Hier heb je een RMI (client) versie van dezelfde remote interface.

_{* wat ben ik blij dat ik hier heb gepost, één nachtje en je kunt direct verder, geweldig...}

Mooi zo.

[ Voor 27% gewijzigd door Alarmnummer op 15-10-2005 11:03 ]

[TweakV]

Alarmnummer schreef op zaterdag 15 oktober 2005 @ 10:55:

Over het algemeen heb ik juist het tegenovergestelde gevoel. Sun heeft iets gemaakt? Dan zal het vast wel lomp, log en naar zijn.

Ben ik wel benieuwd waarom je Jax-Rpc hebt genoemd ipv Axis? Laat maar, beetje kort door de bocht. Voor zover ik weet bieden zowel Axis als Jax-Rpc de functionaliteit die ik nodig heb, waarom ik voor het één of ander zou kiezen moet ik nog bekijken.

JAXRPC zorgt voor de serialisatie en de deserialisatie van: argumenten, return waarden, exceptions. [...etc]

Dus het gebruik van de commons digester is overbodig bij het aanroepen van een service, dat wordt al waargenomen door JAXRPC/Axis. Ik was te moeilijk aan het denken. Ik heb me wel enigzins verdiept in SOA, maar ik moet het nog praktiseren.

[ Voor 21% gewijzigd door TweakV op 15-10-2005 12:08 ]

[Alarmnummer]

TweakV schreef op zaterdag 15 oktober 2005 @ 11:30:
[...]

Ben ik wel benieuwd waarom je Jax-Rpc hebt genoemd ipv Axis? Laat maar, beetje kort door de bocht. Voor zover ik weet bieden zowel Axis als Jax-Rpc de functionaliteit die ik nodig heb, waarom ik voor het één of ander zou kiezen moet ik nog bekijken.

Er stond een voorbeeld van de JAXRPC versie

Dus het gebruik van de commons digester is overbodig bij het aanroepen van een service, dat wordt al waargenomen door JAXRPC/Axis.

Ik was te moeilijk aan het denken.

Je bent niet te moeilijk aan het denken. Je ziet bepaalde problemen (in dit geval xml serialisatie en deserialisatie) en dan heb je automatisch ideeen over welke componenten die problemen kunnen oplossen. Een vrij normale manier van denken.

Ik heb me wel enigzins verdiept in SOA, maar ik moet het nog praktiseren.

Daar ben ik de laatste tijd ook veel over aan het lezen.

[Alarmnummer]

En al begonnen met het bouwen?

[Eelke Spaak]

Even over JAX-RPC: ik heb dagen lang geprobeerd een (nogal ingewikkelde) verzameling webservices aan te spreken via JAX-RPC, totdat ik tot de ontdekking kwam dat het simpelweg geen custom SOAP headers ondersteunt . Pas in de nieuwe (nog in ontwikkeling) versie wordt dit vrij makkelijk mogelijk gemaakt.

Toen ben ik maar overgestapt op Apache Axis: werkt als een trein. Binnen twee uurtjes had ik het werkend binnen JBoss, maar standalone is het net zo makkelijk (waarschijnlijk nog makkelijker) te gebruiken.

[Alarmnummer]

Eelke Spaak schreef op maandag 17 oktober 2005 @ 11:21:
Even over JAX-RPC: ik heb dagen lang geprobeerd een (nogal ingewikkelde) verzameling webservices aan te spreken via JAX-RPC, totdat ik tot de ontdekking kwam dat het simpelweg geen custom SOAP headers ondersteunt . Pas in de nieuwe (nog in ontwikkeling) versie wordt dit vrij makkelijk mogelijk gemaakt.

Toen ben ik maar overgestapt op Apache Axis: werkt als een trein. Binnen twee uurtjes had ik het werkend binnen JBoss, maar standalone is het net zo makkelijk (waarschijnlijk nog makkelijker) te gebruiken.

Misschien kun je ook even kijken naar http://xfire.codehaus.org/

[Alarmnummer]

*kickt dit topic nog een keer*

Ben je al begonnen met bouwen? Wat zijn je ervaringen tot zover?

[TweakV]

Hee Alarmnummer, sorry dat ik er nog niet op was teruggekomen... telkens uitgesteld. Zeker m'n reply in dat andere topic gezien he. Afin, ik had al vrij snel een beginnetje gemaakt met spring, quartz en de nodige classes gegenereerd met wsdl2java. Op dat punt had ik snel wat meer kennis nodig van webservices... want ik kreeg het gevoel in het diepe beland te zijn. Ik heb er twee boeken bij gekocht voor belachelijke spotprijsjes, 'J2EE and beyond' en 'Axis, Next generation Java SOAP' om wat meer theorie op te doen... en daarna ben ik er eigenlijk niet meer aan toegekomen vanwege andere werkzaamheden. Ook nu ik wat meer heb gelezen denk ik nog steeds dezelfde weg te volgen, dus ik hou je op de hoogte okay... hoop er snel mee verder te kunnen gaan.

[ Voor 3% gewijzigd door TweakV op 08-11-2005 11:37 ]

[Alarmnummer]

TweakV schreef op dinsdag 08 november 2005 @ 11:35:
Hee Alarmnummer, sorry dat ik er nog niet op was teruggekomen... telkens uitgesteld. Zeker m'n reply in dat andere topic gezien he.

Precies.

Afin, ik had al vrij snel een beginnetje gemaakt met spring, quartz en de nodige classes gegenereerd met wsdl2java. Op dat punt had ik snel wat meer kennis nodig van webservices... want ik kreeg het gevoel in het diepe beland te zijn.

Yep. Zeker als je de zaken van Sun gaat gebruiken. Met Axis valt het trouwens wel vrij eenvoudig te doen.

Ik heb er twee boeken bij gekocht voor belachelijke spotprijsjes, 'J2EE and beyond' en 'Axis, Next generation Java SOAP' om wat meer theorie op te doen... en daarna ben ik er eigenlijk niet meer aan toegekomen vanwege andere werkzaamheden. Ook nu ik wat meer heb gelezen denk ik nog steeds dezelfde weg te volgen, dus ik hou je op de hoogte okay... hoop er snel mee verder te kunnen gaan.

Spring komt binnenkort met een nieuw onderdeel: Spring webservices. Inhoudelijk weet ik er nog niets vanaf.