debian packages: debuild buildt niet maar wel met de hand

[Boudewijn]

Hoi


Ik ben voor een klant OpenCA aan het packagen; dat is een certificate authority.
Prima, niets mis mee, de toolkit die erbij zit is netjes gepackaged en ik ben nu met de server zelf.

Punt is alleen dat ik de package met de hand kan make'n maar niet met debian/rules build of debuild.
Dat is raar.

Goed, ik heb de volgende rules file:

code:

#!/usr/bin/make -f
# -*- makefile -*-
# Sample debian/rules that uses debhelper.
#
# This file was originally written by Joey Hess and Craig Small.
# As a special exception, when this file is copied by dh-make into a
# dh-make output file, you may use that output file without restriction.
# This special exception was added by Craig Small in version 0.37 of dh-make.
#
# Modified to make a template file for a multi-binary package with separated
# build-arch and build-indep targets  by Bill Allombert 2001

# Uncomment this to turn on verbose mode.
#export DH_VERBOSE=1

# This has to be exported to make some magic below work.
export DH_OPTIONS


%:
    dh $@ 



override_dh_auto_configure:
    dh_auto_configure -- --prefix=/opt/openca-1.1.0 --with-ca-organization="klantX" --with-httpd-fs-prefix=/var/www  --with-httpd-main-dir=pki --with-db-name=openca_db --with-db-host=localhost --with-db-user=openca --with-db-password=openca --with-db-type=mysql --with-service-mail-account="[e-mail]" --with-openca-user=www-data --with-openca-group=www-data

Als ik die configure met de hand draai, en daarna make werkt het prima. (heb het net getest, ervoor en erna een make clean).

Als ik echter debian/rules build doe:

code:

Installation Details:
=====================

OpenCA Server:
* OpenCA prefix .................: /opt/openca-1.1.0
* Build prefix ..................: 
* OpenCA User ...................: www-data
* OpenCA Group ..................: www-data
* OpenCA Tools prefix ...........: 

Web Server:
* httpd User ....................: www-data
* httpd Group ...................: www-data
* httpd prefix ..................: /var/www
* htdocs prefix .................: /var/www/html/pki
* cgi prefix ....................: /var/www/cgi-bin/pki
* htdocs URL prefix .............: /pki
* cgi URL prefix ................: /cgi-bin/pki

Other:
* OpenSSL Prefix ................: /usr
* OpenSSL Libs ..................: -Wl,-rpath,/usr/lib -L/usr/lib -L/usr -lcrypto -lssl

Done.

Komt netjes voor schieten in de output, prima.

En vervolgens:

code:

Build::External PERL modules

make[7]: Entering directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/modules'
Building (openca::ac) ... ERROR::Can not build module
make[7]: *** [openca-ac] Error 1
make[7]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/modules'

make[6]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/modules'
make[5]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/modules'
make[5]: Entering directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
make[6]: Entering directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'

Build::External PERL modules

make[7]: Entering directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
Building (Authen::SASL::213) ... ERROR::Can not build module
make[7]: *** [Authen-SASL-2.13] Error 1
make[7]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
make[6]: *** [modules] Error 1
make[6]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
make[5]: *** [__install_dir] Error 2
make[5]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
make[4]: *** [ext-modules] Error 2
make[4]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src'
make[3]: *** [__install_dir] Error 2
make[3]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src'
make[2]: *** [src] Error 2
make[2]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1'
make[1]: *** [__install_dir] Error 2
make[1]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1'
dh_auto_build: make -j1 returned exit code 2
make: *** [build] Error 2

Hierboven staan geen errors.

Het punt is dati k niet weet wat debuild (?) anders doet of aan variabelen zet dan ik zelf. Googlen op de error bood weinig soelaas; openca is een niet heel veel gebruikt pakket.

Weet iemand in welke richting ik moet zoeken? Dit is het eerste serieuze packaging werk dat ik doe . (ja het is onderdeel van een groter project ) .

De -B optie gebruik ik trouwens omdat debian/rules build meldt dat het target al up to date is anders... wat mij dus niet lijkt te kloppen. Een debian/rules clean helpt dan ook niet.


Het alternatief is dat puppet deze prut gaat compileren op de target machines; maar daar word je natuurlijk ook niet blij van .

[ Voor 4% gewijzigd door Boudewijn op 27-03-2012 17:05 ]

[Kees]

Weet je zeker of alle environment variablen goed staan? (PATH etc)

[ Voor 14% gewijzigd door Kees op 27-03-2012 18:23 ]

[Boudewijn]

Nou ik zat daar ook aan te denken, maar debuild verandert je path:

As environment variables can affect the building of a package, often unintentionally, debuild sanitises the environment by removing all environment variables except for TERM, HOME, LOGNAME, GNUPGHOME, PGPPASS, PGPPATH, FAKEROOTKEY, DEB_* and the locale variables LANG and LC_*. TERM is set to `dumb' if it is unset, and PATH is set to "/usr/sbin:/usr/bin:/sbin:/bin:/usr/bin/X11".

Alleen ik gebruik debhelper (dh) in mijn makefile: vraag is dan wel of die debhelper (die ik in de makefile aanroep) ook dit doet met PATH; de manpage geeft daar geen aanwijzing voor.
Of gebruikt debhelper debuild?


edit:

Hmmz: ik gebruik welliswaar -B waarmee ik dus een make forceer.
Heb dit dus even aan mijn makefile toegevoegd maar dat biedt ook geen soelaas (dat is de PATH uit mijnshell ):

code:

PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games
export PATH

[ Voor 17% gewijzigd door Boudewijn op 27-03-2012 20:00 ]

[Boudewijn]

Hmmz als ik met de hand configure:

code:

Installation Details:
=====================

OpenCA Server:
* OpenCA prefix .................: /opt/openca-1.1.0
* Build prefix ..................: 
* OpenCA User ...................: www-data
* OpenCA Group ..................: www-data
* OpenCA Tools prefix ...........: 

Web Server:
* httpd User ....................: www-data
* httpd Group ...................: www-data
* httpd prefix ..................: /var/www
* htdocs prefix .................: /var/www/html/pki
* cgi prefix ....................: /var/www/cgi-bin/pki
* htdocs URL prefix .............: /pki
* cgi URL prefix ................: /cgi-bin/pki

Other:
* OpenSSL Prefix ................: /usr
* OpenSSL Libs ..................: -Wl,-rpath,/usr/lib -L/usr/lib -L/usr -lcrypto -lssl

Okay.

Als ik met de hand aftrap: debian/rules override_dh_auto_configure
met in de makefile als target:

code:

override_dh_auto_configure:
    dh_auto_configure -- --prefix=/opt/openca-1.1.0 --with-ca-organization="klantX" --with-httpd-fs-prefix=/var/www  --with-httpd-main-dir=pki --with-db-name=openca_db --with-db-host=localhost --with-db-user=openca --with-db-password=openca --with-db-type=mysql --with-service-mail-account="[e-mail]" --with-openca-user=www-data --with-openca-group=www-data

code:

Installation Details:
=====================

OpenCA Server:
* OpenCA prefix .................: /opt/openca-1.1.0
* Build prefix ..................: 
* OpenCA User ...................: www-data
* OpenCA Group ..................: www-data
* OpenCA Tools prefix ...........: 

Web Server:
* httpd User ....................: www-data
* httpd Group ...................: www-data
* httpd prefix ..................: /var/www
* htdocs prefix .................: /var/www/html/pki
* cgi prefix ....................: /var/www/cgi-bin/pki
* htdocs URL prefix .............: /pki
* cgi URL prefix ................: /cgi-bin/pki

Other:
* OpenSSL Prefix ................: /usr
* OpenSSL Libs ..................: -Wl,-rpath,/usr/lib -L/usr/lib -L/usr -lcrypto -lssl

Het lijkt me dat de makefile exact hetzelfde zou moeten doen als ik met de hand... maar toch niet.

Weet iemand in welke richting ik moet zoeken?

Nog grappiger...

Als ik dh_auto_build met de hand draai werkt het ook gewoon... maar via debian/rules dus niet. Ik begin telkens meer een truc idd met een environment variabele in die makefile te verwachten.

[ Voor 5% gewijzigd door Boudewijn op 28-03-2012 13:18 ]

[Boudewijn]

Niemand een idee?

[CAPSLOCK2000]

woest idee: wat voor shell is /bin/sh, toevallig iets anders dan bash (dash ofzo)?

[Boudewijn]

Shit dat is het, het is dash sinds squeeze.

Hmmz.... dan gaan we eens kijken hoe we dat netjes kunnen fixen, hetzij in de makefile hetzij /bin/sh 'fixen'.
dat laatste gaan we na een vm-snapshot eens proberen .

[ Voor 37% gewijzigd door Boudewijn op 29-03-2012 18:37 ]

[Boudewijn]

Hmmz dat hielp een stukje maar ook niet heel veel...

code:

Build::External PERL modules

make[7]: Entering directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/modules'
Building (openca::ac) ... ERROR::Can not build module
make[7]: *** [openca-ac] Error 1
make[7]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/modules'

make[6]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/modules'
make[5]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/modules'
make[5]: Entering directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
make[6]: Entering directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'

Build::External PERL modules

make[7]: Entering directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
Building (Authen::SASL::213) ... ERROR::Can not build module
make[7]: *** [Authen-SASL-2.13] Error 1
make[7]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
make[6]: *** [modules] Error 1
make[6]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
make[5]: *** [__install_dir] Error 2
make[5]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src/ext-modules'
make[4]: *** [ext-modules] Error 2
make[4]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src'
make[3]: *** [__install_dir] Error 2
make[3]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1/src'
make[2]: *** [src] Error 2
make[2]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1'
make[1]: *** [__install_dir] Error 2
make[1]: Leaving directory `/home/boudewijn/SVN/klantX/openca/openca-packages/openca-base-1.1.1'
dh_auto_build: make -j1 returned exit code 2
make: *** [build] Error 2

En met het handje.

code:

boudewijn@hostname:~/SVN/klantX/openca/openca-packages/openca-base-1.1.1$ make

Build::External PERL modules

Building (openca::ac) ... Ok.
Building (openca::configuration) ... Ok.
Building (openca::crl) ... Ok.
<et cetera>

Ik kan wel in de code gaan kijken maar dat is niet heel googlebaar.... maar ik denk dan ook dat het aan de debian-build environment ligt in plaats van aan de source code. Reden: waarom zou het anders door mij met de hand gecompileerd kunnen worden?
Hiermee reduceer ik (correct me if I'm wrong) het probleem tot: hoe kan ik mijn makefile een precieze cloon van mijn standaard shell maken?

Nou laten we de environment variables eens overzetten...

code:

#!/usr/bin/make -f
# -*- makefile -*-


# Uncomment this to turn on verbose mode.
#export DH_VERBOSE=1

# This has to be exported to make some magic below work.
export DH_OPTIONS

PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games
export PATH


TERM=xterm
SHELL=/bin/bash
USER=boudewijn
LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arj=01;31:*.taz=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lz=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.rar=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.axa=00;36:*.oga=00;36:*.spx=00;36:*.xspf=00;36:
MAIL=/var/mail/boudewijn
PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games
LANG=en_US.UTF-8
SHLVL=1
HOME=/home/boudewijn
LANGUAGE=en_US:en
LOGNAME=boudewijn



export TERM
export SHELL
export USER
export LS_COLORS
export MAIL
export PATH
export LANG
export SHLVL
export HOME
export LANGUAGE
export LOGNAME





%:
    dh $@ 



override_dh_auto_configure:
    dh_auto_configure -- --prefix=/opt/openca-1.1.0 --with-ca-organization="klantX" --with-httpd-fs-prefix=/var/www  --with-httpd-main-dir=pki --with-db-name=openca_db --with-db-host=localhost --with-db-user=openca --with-db-password=openca --with-db-type=mysql --with-service-mail-account="[e-mail]" --with-openca-user=www-data --with-openca-group=www-data

ja dingen als LS_COLORS enzo is niet heel zinnig, ik weet. Dit is echt alles uit env, behalve wat heel tijdelijke informatie zoals $SSH_CONNECTION.


Dit helpt echter ook niet. Nog meer ideeen?


Hmmz met de hand maken kan natuurlijk ook nog wel eea aan magic doen, maar waarom wordt die magic dan niet overgenomen als ik het via de debian scripts doe.
In de root-dir van de sources vind ik een makefile.

code:

# file: src/Makefile
#
# � 2001-2004 OpenCA Group
# $Revision: 1.9 $

TOP = .
include $(TOP)/Makefile.global-vars

SNAP    = SNAP-$(TODAY)
VER = $(VERSION)
C_DIR   = `$(ECHO) "$(PWD)" | $(SED) "s|/.*/||g"`
G_DIR   = `$(ECHO) "$(PWD)"`

SUBDIRS = \
    src \
    docs

#---- variable settings above, rules below ----

.PHONY: default info help ca ext test install-ca install-common install-ext install-ldap install-node install-offline install-pub install-ra install-doc clean clean.local distclean install-modules

default::   $(SUBDIRS)

Aha. We hebben dus een makefile die een dieper gelegen makefile gebruikt, en die gebruikt daarna weer een andere makefile.
Relevant deel uit d
ie laatste:

code:

# file: src/modules/Makefile
#
# � 2001 OpenCA Group

TOP = ../..
include $(TOP)/Makefile.global-vars

MODULES.pm.openca   = \
    openca-ac       \
    openca-configuration    \
    openca-crl      \
    openca-crypto       \
    openca-dbi      \
    openca-ldap     \
    openca-log      \
    openca-openssl      \
    openca-pkcs7        \
    openca-req      \
    openca-session      \
    openca-statemachine \
    openca-tools        \
    openca-tristatecgi  \
    openca-ui-html      \
    openca-x509     \
    openca-xml-cache    \
    openca-user

MODULES = \
    $(MODULES.pm.openca)

MODULE  = dummy

#---- variable settings above, rules below ----

# .PHONY:   modules test install install-common install-scep clean distclean
.PHONY: modules test install install-common clean distclean

default: modules

modules::
    @echo ; \
    echo "Build::External PERL modules" ; \
    echo ; \
    $(MAKE) $(MODULES); \
    echo

$(MODULES)::
    @o=`echo $@ | sed -e "s|-[0-9].*||g" | sed "s|-|::|g"` ; \
    if [ -d "$@" ]; then \
        if [ -z "$(OPENSSL_PREFIX)" ] ; then \
            SSL_PREFIX=`type -path openssl | sed -e "s|/openssl||" | sed -e "s|/bin||" ` ; \
        else \
            SSL_PREFIX="$(OPENSSL_PREFIX)" ; \
        fi ; \
        echo -n "Building ($$o) ... " ; \
        cd $@ && CC="$(CC)" CPP="$(CPP)" LD="$(LD)" \
            OPENSSL_PREFIX="$$SSL_PREFIX" \
            PERLREQ="$(PERLREQ)" PERL5LIB="$(PERL5LIB)" \
            PERL_MM_USE_DEFAULT=1 $(PERL) Makefile.PL $$SSLOPTS \
                $(PERL_MAKEFILE_OPTS) $$EXTRAOPTS \
                 2>log.err >log; \
        $(MAKE) 2>/dev/null >/dev/null; \
        if [ $$? -gt 0 ] ; then \
            echo "ERROR::Can not build module" ; \
            exit 1; \
        else \
            echo "Ok." ; \
        fi ; \
    fi

Ik zie dan ook dat hij een zwik globale variabelen laadt.... deze set variabalen heb ik neergezet op http://pastebin.com/7me7jzAi. Eens kijken of ik dat ook in mijn debian/rules kan doen...


dh build werkt trouwens ook goed, dat is het gare.

[ Voor 20% gewijzigd door Boudewijn op 29-03-2012 21:47 ]

[Thc_Nbl]

ik zou zeggen, hoe is je spaans.. maar deze site doet wat jij wilt.

http://jpertuz.wordpress.com/pki-con-openssl/

[Boudewijn]

Het installeren van OpenCA is het probleem niet; ik heb een werkende setup.
Punt is dat ik OpenCA wil distribueren voor een project, en dat dan ook maar meteen middels puppet.

Puppet vind ik heel lelijk in combinatie met een compileer-script... en daarom wil ik graag een debian package maken. Daar zit de clue in.

[Boudewijn]

Alhoewel ik een buildscript heb gebouwd (dat door puppet wordt gerund): alsnog een schop want het intrigeert me.