Sja, het nadeel van willen weten waar je bezoekers zoal kijken en het hebben van advertenties. En ga nou niet daar ook weer van alles bij bekritiseren, we hebben nou eenmaal gekozen voor Google Analytics en zitten min of meer vast aan Doubleclick... dus een groot deel van die cookies hebben we daardoor relatief weinig invloed op. En ja, imho is Google Analytics ook overdreven scheutig met de data die ze in cookies schrijven.
Ik zou altijd proberen (als je echt wil gaan optimaliseren) om zo'n HTTP-request binnen de MTU te houden. Meerdere frames moeten worden gesynced en dat is per definitie altijd langzamer, zeker over het relatief trage internet.
Zolang de MTU 1500 is lukt dat vrijwel altijd wel. Met een MTU van 576, die sommige gebruikers hebben, is het sowieso een stuk lastiger en een paar honderd bytes aan cookies kan dan net de grens zijn.
1) Mijn eerste doel zou zijn om de cookies echt te gaan beperken tot het strikt noodzakelijke.
Doen we allang, voor zover we er dus invloed op hebben

Hier ligt dus nog een optimalisatie bij de browsers, afaik hebben veel browsers een soft reload en een hard/forced reload (vaak dmv modifier key, Ctrl+F5 in IE bijv.).
Bij een soft reload gaan ze vragen of resources veranderd zijn... En dus moeten ze een request doen en dus cookies meesturen. Bij een hard reload halen ze gewoon alles opnieuw op en doen ze dus voor alles een request

Ik zie symptoombestreiding ontstaan, en vervolgens een oplossing die imo niet optimaal is.
Het symptoom is dat browsers voor elke request cookies meesturen als het naar een bepaald domein is. Aangezien we toch efficientere static webservers wilden kunnen inzetten, hebben we dat gecombineerd met een cookie-free domain. Zo'n gekke keus is dat toch niet? Die 15 euro per jaar aan dns-kosten is ook niet bepaald een serieuze kostenpost voor ons en het heeft, vziw, verder geen nadelen.
2) Als het zo is dat je je cookie-informatie niet kan verkleinen, en er een cookie free domein tegenaan moet gooien dan zie ik nog steeds niet de meerwaarde van een aparte webserver, andere webserver. Ik zou lekker in Apache aan de vhost het cookie free domain hangen en in de HTML het onderscheid maken. Op die manier hou je 1 applicatiedomein/webdir.
Apache is sloom, lomp, etc. Lighttpd is veel efficienter met statische bestanden. Overigens verwar jij losse servers met losse applicatiedomeinen etc... Ze werken gewoon vanuit dezelfde directory en de varnishes gebruiken gewoon de Apache's als backend.
Sterker nog, we kunnen gewoon de loadbalancer zo configureren dat die ip's weer naar de apache's wijzigen en dan gaat het ook gewoon goed

Alleen zijn we dan dus de winst van caches lokaal op de servers en de veel efficientere webservers voor statisch werk kwijt.
3) Als er weinig verschil aanwezig is tussen de verschillende webservers, en voor public plaatjes in principe geen php-verwerking nodig is, dan zie ik nogmaals geen nut van een compleet losse webserver, hiermee maak je een systeem alleen maar nodeloos complex en storingsgevoelig. Als het zo is dat plaatjes nu altijd via een php-script worden aangeleverd dan is het denk ik zaak om dat eerst eens static op een webserver te zetten.
De losse server is net zo handig als geen losse server... Jij lijkt te denken dat we er vreselijk veel moeite voor hebben moeten doen om dit zo te implementeren. Maar de 'static' servers leveren gewoon de boel uit dezelfde webroot vanuit dezelfde fysieke machines. Alleen dan met efficientere code.
Later bedachten we idd dat het niet zo handig is om de nfs-server steeds te benaderen met die php-geselecteerde afbeeldingen die in de content staan (het is weinig meer dan file_exists en readfile als de goede maat afbeelding al bestaat)... Dus daar hebben we toen een reverse proxy bij gezocht.
Voordeel van deze situatie is dat we de reverse proxy en de static content servers dedicated in kunnen zetten en ze zo dus gescheiden configuraties houden. Dat houdt het dus juist eenvoudiger

Liever zie ik deze caching in een proxy gebeuren met idioot veel ram.
Och, met een 5GB disk-cache zitten ze standaard op een gebruik van nog geen 4GB en hebben ze een hit-ratio van ruim 99%. Dus zoveel ram hebben ze niet nodig hoor, onze webservers hebben overigens aardig wat ram, juist mede vanwege deze reden, waardoor we daar voorlopig geen dedicated machines voor in hoeven te zetten