FreeBSD configure argumenten aangeven bij buildworld

[begintmeta]

Is het op een nette manier mogelijk om het openssh-pakket van FreeBSD (in /usr/src/crypto/openssh/) te bouwen met als configuratieargument --with-ssl-engine om de hardwarekoppelingen aan te zetten?

Ik heb al gegoogled en het man-systeem gebruikt maar ben niets echt nuttigs tegengekomen (wel het gebruiken van een openssh uit het ports systeem natuurlijk, maar dat had ik zelf ook al bedacht). Ook heb ik even gezocht naar een runtimeoptie voor sshd om de hardware-engines aan te zetten, maar dat is vzihg niet mogelijk (itt tot bij openssl).

Kan iemand me verder op weg helpen? Ik wil graag zo min mogelijk gebruik maken van ports en ook zou het fijn zijn om geen veranderingen in de sourcetree te hoeven maken.

[DiedX]

Ik zou niet weten hoe, maar ik ben ook geen FreeBSD guru. Wat heb je tegen de ports?

[begintmeta]

Op zich heb ik niets tegen ports, vind het wel een mooi systeem (net als FreeBSD als compleet OS). Maar het is toch weer een extra download, extra eenheid die je in de gaten moet houden mbt patches en dergelijke en ik zou het gewoon wat eleganter vinden als je dat soort opties bijvoorbeeld in /etc/src.conf zou kunnen aangeven.

[_eXistenZ_]

Wat jij zoekt is wat Portage kan. Is alleen geen FreeBSD... Om bepaalde configuratieopties te krijgen zal je in ieder geval toch zelf moeten compileren.

[ Voor 44% gewijzigd door _eXistenZ_ op 10-03-2008 21:46 ]

[begintmeta]

In portage kan het natuurlijk, net zo als in ports of met dedoor mezelf van openssh.org gedownloade source. Maar dat FreeBSD een 'compleet OS' is (itt tot b.v. Gentoo/Linux), is (onder andere) een van de voordelen in mijn ogen.

Het is geen probleem het compileren van openssh in FreeBSDs make buildworld uit te zetten en dan OpenSSH uit de ports (of als ze bij Gentoo/FreeBSD hun best doen portage) te pakken, of eventueel zelf wat bestanden in de sourcetree van FreeBSD aan te passen, maar ik hoop dat een FreeBSD-guru mij op een voor mij nog onzichbare wat elegantere weg kan wijzen.

[_eXistenZ_]

begintmeta schreef op maandag 10 maart 2008 @ 22:06:
Het is geen probleem het compileren van openssh in FreeBSDs make buildworld uit te zetten en dan OpenSSH uit de ports (of als ze bij Gentoo/FreeBSD hun best doen portage)

Huh? Ze gebruiken helemaal geen portage bij FreeBSD maar FreshPorts, das gewoon ports... Was et maar zo'n feest.

[ Voor 3% gewijzigd door _eXistenZ_ op 11-03-2008 16:14 ]

[begintmeta]

't begint nu wel behoorlijk offtopic te raken, maar ik dacht altijd dat ze bij Gentoo/FreeBSD portage gebruiken (met een niet bepaald complete portage packagetree/klein aantal goed werkende ebuilds). Maar Gentoo/FreeBSD heeft me nooit echt geïnteresseerd, dan zou ik altijd gaan voor Gentoo/Linux. Wat FreshPorts ermee te maken heeft weet ik trouwens niet, ik dacht altijd dat dat gewoon een website is waar veranderingen in de portstree van FreeBSD worden weergegeven.

Ik wil dus graag FreeBSD gebruiken, met zo min mogelijk ports.

Ik hoop nog steeds dat iemand me wat tips kan geven voor het gebruiken van configuratieopties bij een make buildworld in /usr/src.

[GrooV]

Gewoon ports gebruiken, en override base enablen. Verdiep je eens wat meer in ports en dan kom je erachter dat het een heel fijn systeem is.

Gebruik je nu FreeBSD of gentoo?

[ Voor 11% gewijzigd door GrooV op 11-03-2008 16:48 ]

[_eXistenZ_]

Hij gebruikt FreeBSD Ik gaf enkel aan dat Portage dat zo mooi kan, maar opzich kan FreshPorts het ook, hoewel ik dit een minder mooi systeem vind.

[ Voor 73% gewijzigd door _eXistenZ_ op 11-03-2008 16:56 ]

[begintmeta]

Even voor de duidelijkheid:

Ik gebruik dus FreeBSD (tenminste, gebruik wel meer, maar in dit topic gaat het om FreeBSD) (opmerkingen over Gentoo, Gentoo/Linux of Gentoo/FreeBSD zijn offtopic ), ken FreeBSD ook redelijk goed, de mogelijkheid OpenSSH uit de portstree te gebruiken is me ook al (bijna een decennium) bekend (zie ook de OP). Ik hoopte echter op een mogelijkheid configuratieopties bij een build makeworld op te geven.

Ik had zelf, zoals ik al in de OP had geschreven, geen elegante mogelijkheid gevonden, misschien is dat ook omdat die er niet is. Een idee voor een uitbreiding van /etc/src.conf misschien?

_eXistenZ_, met FreshPorts bedoel je denk ik de FreeBSD ports-omgeving? Ik vind zelf niet echt een wezenlijk groot verschil tussen portage en ports. Ports in combinatie met FreeBSD vind ik wel een beetje overzichtelijker dan Gentoo/Linux met portage. Gentoo/Linux is qua userland gedecentaliseerder terwijl portage weer wat centraler te configuren is (of kan zijn, je hebt al snel de behoefte ebuildspecifieke aanpassingen te maken). FreeBSD heeft een centraal 'bijgehouden' userland (waar ik openssh dus ook graag binnen wil houden), terwijl de ports wat decentraler geconfigureerd moeten worden.

[ Voor 31% gewijzigd door begintmeta op 11-03-2008 17:04 ]

[begintmeta]

Even snel de source&aanverwanten doorgekeken. Het blijkt dat openssh al standaard met de optie with-ssl-engine wordt geconfigureerd. Dus bedacht ik dat ik openssl wel kan configureren standaard gebruikt te maken van de cryptohardware. In /etc/ssl/openssl.cnf dus even de benodigde parameters gezet. bij het uitvoeren van openssl speed -evp aes-128-cbc was inderdaad verschil in snelheid voor en na de configuratie te merken, maar in een simpele openssl speed maakte het niet uit. Ook was de scp snelheid niet anders voor of na de aanpassing van openssl.cnf.

Voor de volledigheid even de aanpassing van openssl.cnf:

code:

># X.509v3 extensions in its main [= default] section.)
>
# First enable padlock engine by default:
openssl_conf = openssl_def

[openssl_def]
engines = openssl_engines

[openssl_engines]
cryptodev = cryptodev_engine

[cryptodev_engine]
default_algorithms = ALL

>[ new_oids ]
>
> # We can add new OIDs in here for use by 'ca' and 'req'.

Ik zal nog even wat verder in de documentatie van openssl/openssh zoeken naar een 'oplossing' (maar hoop natuurlijk dat hier een openssl/ssh-guru is die mij werk kan besparen). Ik heb ook het vermoeden dat dit fenomeen niet FreeBSD-specifiek is.

[SvMp]

Wellicht kun je proberen "with-ssl-engine="YES" in /etc/make.conf te zetten. Ik weet niet of het werkt, maar make.conf wordt meegenomen bij buildworld.

[begintmeta]

Had al uitgevonden dat het al default wordt gemaakt met with-ssl-engines, dus het probleem uit de OP was achteraf een wat minder probleem. Alleen blijkt het nu lastig de hardwaregesteunde cryptoengine standaard te laten gebruiken, maar het kan wel (zie ook de andere post).

Waar het op neerkomt: op een nette manier vanuit de standaard release source hardwarecrypto laten gebruiken. Probeerde ook al te kijken of OpenBSD dat met meer gemak doet, maar kwam ander probleem tegen...

[ Voor 8% gewijzigd door begintmeta op 15-03-2008 21:09 ]

[axis]

Misschien kunnen deze threads je helpen?
http://lists.freebsd.org/...rs/2006-April/000167.html
dit document kan ook interessant zijn misschien: http://www.usenix.org/eve...crypto/leffler_crypto.pdf
En meer van zulks: http://www.google.com/sea...nssl+speed+crypto+problem

Heb er verder ook niet veel kaas van gegeten, maar goed.. misschien geeft dit weer net iets andere resultaten die je weer verder helpen.

[begintmeta]

Dank voor de links, met name die laatste, die zoektermen had ik in die combinatie nog niet gebruikt (al was het meerendeel van de links wel al bezocht). Maar helaas niet echt verder gekomen.

Het OpenBSD-boot probleempje is inmiddels opgelost, en ik heb gemerkt dat ook OpenBSD niet standaard openssl speed versneld, maar wel standaard een deeltest (openssl speed -evp aes-128-cbc). FreeBSD is overigens wel wat sneller (had bij FreeBSD wel CPU en kerneloptimaliseringen gebruikt). Ondanks dat is scp >2x zo snel op OpenBSD, daar wordt de hardwarematige cryptoengine dus wel standaard gebruikt (vermoed ik).

Ik zal eens kijken wat de verschillen zijn in configuratiebestanden tussen Free- en OpenBSD. 't lijkt me dat in FreeBSD wel mogelijk zou moeten zijn wat in OpenBSD kan.

[ Voor 12% gewijzigd door begintmeta op 16-03-2008 19:49 ]

[Klaus_1250]

Wel crypto-hardware gebruik je?
En gaan scp tranfers van host a naar b 2 keer zo snel gaan op OpenBSD als FreeBSD?

[ Voor 16% gewijzigd door Klaus_1250 op 16-03-2008 20:04 ]

[begintmeta]

Ja inderdaad, 2x zo snelle scp transfers (8MB/s ipv 4MB/s, dat komt ook ongeveer overeen met wat anderen op het i-net hebben opgemerkt). Gebruik de cryptohardware van de VIA C7, dus geen exotische kaarten. Heb een beetje het vermoeden dat FreeBSDs scp misschien geen gebruik maakt van een library die niet let op configuratieopties in openssl.cnf.

[ Voor 48% gewijzigd door begintmeta op 16-03-2008 20:06 ]

[Klaus_1250]

Ah, ok. Ik vroeg me al af welke hardware je gebruikte, echt veel ondersteunde SSL-hardware accelerators zijn er niet op FreeBSD.

Maar, weet je zeker dat de hardware de bottleneck is? Uit je post kan ik het niet opmaken, maar als ik het zo lees gebruik je niet dit: http://www.psc.edu/networking/projects/hpn-ssh/
Welke versie van FreeBSD trouwens, 7?

PS: Misschien heb je hier nog wat aan: http://lists.freebsd.org/.../2006-October/029484.html en http://www.freebsd.org/cg...D+6.3-RELEASE&format=html

[ Voor 24% gewijzigd door Klaus_1250 op 16-03-2008 20:23 ]

[begintmeta]

FreeBSD 7 gebruik ik inderdaad. Dat linkje over High Performance Enabled SSH is wel interessant, zal er eens goed naar kijken, en naar wat Free- en OpenBSD standaard doen mbt buffers enz. Die thread op de mailinglist had ik al gevonden (alleen die scp speedup heb ik niet op kunnen merken), evenals de manpage van padlock.

Wat wel opvalt is natuurlijk het performanceverschil tussen OpenBSD en FreeBSD, terwijl ik zou verwachten dat FreeBSD sneller zou moeten kunnen zijn (ook de openssl benchmark werkt sneller ope FreeBSD). Ik heb eigenlijk het vermoeden dat het simpel op te lossen zal blijken...

[Straphka]

Als je portupgrade installeert kan je bij de MAKE_ARGS in /usr/local/etc/pkgtools.conf (zo uit mijn hoofd) de build-parameters opgeven die gebruikt worden als je iets installeerd mbv portupgrade. Het voordeel hiervan is dat als je je pakketjes wilt upgraden middels portupgrade hij deze parameters ook gewoon meneemt met de recompile.

[begintmeta]

Klopt, dat is inderdaad handig voor het configureren van ports, alleen gaat dat niet op voor heb bouwen van de sources.

Ik begrijp ook nog niet helemaal waarom openssl speed geen gebruik maakt van een engine zoals die in het configuratiebestand is opgenomen en van voordeel is bij de betreffende algoritmen en openssl speed -evp aes-128-cbc waarbij dan wel weer van de padlock-engine van de C7 gebruik wordt gemaakt. Er waren inderdaad enkele posts de vinden op het i-net waarin werd gesteld dat het gaat om het gebruik van libssl ipv openssl. De kernel zou (voor bijvoorbeeld ipsec) wel gebruik moeten maken van hardware-engines, zal dat ook eens testen...

[ Voor 9% gewijzigd door begintmeta op 26-03-2008 17:46 ]