[Ubuntu Server] Routing probleem

[UltraSub]

Ik heb een groot probleem waar ik niet meer uitkom. Ik hoop dan ook dat jullie me verder kunnen helpen.

Al jaren maak ik gebruik van Debian als router/firewall/you name it. Het is zeg maar de core van mijn netwerk.
Omdat ik performance problemen had, heb ik gisteren na een hoop onderzoek ESX geinstalleerd, en daar een Ubuntu server op geinstalleerd als guest. De betreffende guest is geconfigureerd met een nic met direct access naar Ziggo, en een nic met LAN access. Dit werkt ook allemaal. De server krijgt een ip van Ziggo middels DHCP, en LAN werkt ook. Ik kan vervolgens vanaf de Ubuntu bak pingen naar externe adressen, en naar de interne adressen. Surfen werkt dus, evenals alle andersoortige verbindingen. Vanaf de clients op het LAN kan ik de Ubuntu ook pingen.
Daarna heb ik mijn firewall die gebruik maakt van iptables gedraait, en ik dacht klaar te zijn. Niets was minder waar. IP forwarding staat aan, en masquerading ook. Dus NAT zou moeten werken. Als ik dan op de clients probeer een externe connectie te maken, werkt dat niet, en begint een voor mij op dit moment wazig verhaal.

Een ping naar bijvoorbeeld google.nl vanaf de client werkt. Krijg ook normale response. Een traceroute laat zien dat er <1 ms een reactie van de gateway komt, dan een timeout, en daarna bereik ik na een aantal hops gewoon google.nl. Clients die echter gebruik proberen te maken van de gateway, krijgen nul op request. Pingen werkt, traceroutes doen raar, maar komen er uiteindelijk ook, maar verder is er geen access. Het lijkt wel alsof de boel geblocked wordt of zo.
Daarop heb ik een nieuwe ubuntu van scratch ingericht, zo kaal mogelijk. Krijg ik exact hetzelfde verhaal. Tutorials op internet komen op hetzelfde neer. Als ik de paar iptables commando's uitvoer die nodig zijn om een machine NAT te laten doen en als gateway te laten functioneren, werkt het niet.

Daarop heb ik FreeSCO gevirtualiseerd, en dezelfde nics gegeven. Boom, werkt out of the box. Als ik nu in mijn netwerk de Freesco aanwijs als default gateway, kan ik surfen en werken alle externe connecties. Het zit dus niet in de ESX configuratie, waar ik het eerst heb gezocht.
Ik zie iets over het hoofd, maar weet niet wat!

Uit een tutorial heb ik de basis gebruikt om natting aan de gang te krijgen, ik meende dat er iets in mijn eigen firewall script mis ging (maar die doet feitelijk precies het zelfde).

Standaard iptables:
iptables -F
iptables -X
iptables -t nat -F
iptables -t nat -X
iptables -t mangle -F
iptables -t mangle -X
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT

Forwarding staat aan:
echo 1 > /proc/sys/net/ipv4/ip_forward

Masquerading:
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

Bind9 op de ubuntu werkt goed, is getest met nslookups.
/etc/resolv.conf:
search mijndomein.nl
nameserver 192.168.0.1

Ik kom er niet meer uit jongens. Ik heb de server hard nodig, het is nu allemaal houtjes touwtjes werk, en ik heb eigenlijk geen tijd meer om hier heel veel tijd in te blijven steken. Of ik moet terug naar mijn oude configuratie, maar dat zie ik eigenlijk ook niet zitten, omdat daar ook weer veel tijd in zal gaan zitten. En ik ben nu al zo ver... Dit irritante, in principe kleine, probleempje nekt me nu.
Wat is er in godsnaam verkeerd in mijn setup......



/edit
Hier mijn volledige firewall, misschien zien jullie iets wat ik mis:

code:

#------------------------------------------------------------------------------------------------------------
#if [ $# -eq <aantal> ]

# turn on IP forwarding   
# echo "1" > /proc/sys/net/ipv4/ip_forward
/sbin/sysctl -w net.ipv4.ip_forward=1 1> /dev/null 2>&1
     
# Disable IP spoofing attacks.
#
# This drops traffic addressed for one network though it is being received on a
# different interface.
#
for file in /proc/sys/net/ipv4/conf/*/rp_filter; do echo "2" > $file ; done
    
# Use dynamic address hacking
echo "1" > /proc/sys/net/ipv4/ip_dynaddr
     
# Enable TCP SYN Cookie protection:
#
echo "1" > /proc/sys/net/ipv4/tcp_syncookies

# Disable ICMP broadcast echo protection
echo "1" > /proc/sys/net/ipv4/icmp_echo_ignore_broadcasts

# Enable bad error message protection
echo "1" > /proc/sys/net/ipv4/icmp_ignore_bogus_error_responses

# Disable ICMP Re-directs
for file in /proc/sys/net/ipv4/conf/*/accept_redirects; do echo "0" > $file ; done

# Ensure that source-routed packets are dropped
#   - If you are running IPROUTE2, this will need to be DISABLED
for file in /proc/sys/net/ipv4/conf/*/accept_source_route; do echo "0" > $file ; done

# Log spoofed, source-routed, and redirect packets
# for file in /proc/sys/net/ipv4/conf/*/log_martians; do echo "1" > $file ; done

# Load some modules
modprobe ip_tables
modprobe ip_queue
modprobe iptable_filter
modprobe iptable_mangle
modprobe iptable_nat
#modprobe ipt_limit
modprobe ipt_LOG
modprobe ipt_MASQUERADE
#modprobe ipt_MIRROR
modprobe ipt_multiport
modprobe ipt_REDIRECT
modprobe ipt_REJECT
modprobe ipt_state
modprobe ipt_unclean
modprobe ip_nat_ftp
modprobe ip_conntrack
modprobe ip_conntrack_ftp

#------------------------------------------------------------------------------------------------------------
# Set variables                                                                       
#------------------------------------------------------------------------------------------------------------
#clear 
echo -- START FIREWALL SETTINGS --
LOOPBACK_IF="lo"
EXTERNAL_IF="eth0"
INTERNAL_IF="eth1"
WORKSTATION="192.168.0.3"
EXCHANGE="192.168.0.3"
DATALOGGER="192.168.0.25"
BLACKLISTFILE="/etc/admin/blacklist"
EXTERNAL_IP=`ifconfig $EXTERNAL_IF | grep "inet addr" | awk {'print $2'} | cut -f 2 -d ":"`
INTERNAL_IP=`ifconfig $INTERNAL_IF | grep "inet addr" | awk {'print $2'} | cut -f 2 -d ":"`
echo "EXTERNAL IP address retrieved: $EXTERNAL_IP " 
echo "INTERNAL IP address retrieved: $INTERNAL_IP " 
echo "Default workstation set to: $WORKSTATION "

#------------------------------------------------------------------------------------------------------------
# Flush all old rules                                                                 
#------------------------------------------------------------------------------------------------------------
iptables -F
iptables -t nat -F
iptables -t mangle -F
echo "All old rules now flushed... "

#------------------------------------------------------------------------------------------------------------
# Enable IP masquerading                                                              
#------------------------------------------------------------------------------------------------------------
iptables -t nat -A POSTROUTING -o $EXTERNAL_IF -j MASQUERADE
echo 1 > /proc/sys/net/ipv4/ip_forward
echo "IP Masquerading now enabled... "

#------------------------------------------------------------------------------------------------------------
# Allow existing and related connections in                     
#------------------------------------------------------------------------------------------------------------
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A INPUT -m state --state NEW -i $INTERNAL_IF -j ACCEPT
echo "Now accepting all connections that already exist and are related... "

#------------------------------------------------------------------------------------------------------------
# Allow all connections through loopback                         
#------------------------------------------------------------------------------------------------------------
iptables -A INPUT -m state --state NEW -i $LOOPBACK_IF -j ACCEPT
echo "Now accepting all connections through the loopback interface... "

#------------------------------------------------------------------------------------------------------------
# Allow pings from the big bad outside world                         
#------------------------------------------------------------------------------------------------------------
iptables -A INPUT -p icmp --icmp-type 8 -m state --state NEW,ESTABLISHED,RELATED -i $EXTERNAL_IF -j ACCEPT
echo "Attempted pings from outside will be accepted... "

#------------------------------------------------------------------------------------------------------------
# We changed SSHd port in SSHd conf, now log if someone tried to connect to default port
#------------------------------------------------------------------------------------------------------------
iptables -t filter -A INPUT -m state --state NEW -p tcp --dport 22 -j LOG --log-prefix "FW -> OLD SSH: "
echo "Attempted connections made to default port (22) will be logged... "

#------------------------------------------------------------------------------------------------------------
# Accept SSH
#------------------------------------------------------------------------------------------------------------
iptables -t filter -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport [i]xxxx[/i] -j LOG --log-prefix "FW -> SSH
: "
iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport [i]xxxx[/i] -j ACCEPT
echo "Attempted connections made to SSH2 (45023) will be accepted now... "

#------------------------------------------------------------------------------------------------------------
# Enable VM-Ware console from outside if parm is vwmare
#------------------------------------------------------------------------------------------------------------
if [ "$1" = "vmware" ]
then
    iptables -t filter -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 8333 -j LOG --log-prefix "FW -> VM: "
    iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 8333 -j ACCEPT    
    iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 903 -j ACCEPT 
    iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 902 -j ACCEPT 
    iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 901 -j ACCEPT 
    echo "Attempted connections made to VM-Ware local console will be accepted now, as asked for in parms... "
fi

#------------------------------------------------------------------------------------------------------------
# Enable SABnzbd web access from outside, if parm is sabnzbd
#------------------------------------------------------------------------------------------------------------
if [ "$1" = "sabnzbd" ]
then
    iptables -t filter -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 8080 -j LOG --log-prefix "FW -> SABnzbd: "
    iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 8080 -j ACCEPT    
    echo "Attempted connections made to SABnzbd will be accepted now, as asked for in parms... "
fi

#------------------------------------------------------------------------------------------------------------
# Check if Apache needs to be logged
#------------------------------------------------------------------------------------------------------------
if [ "$1" = "logapache" ]
then
    iptables -t filter -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 80 -j LOG --log-prefix "FW -> Apache: "
    iptables -t filter -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 443 -j LOG --log-prefix "FW -> ApacheSSL: "
    echo "Now logging Apache and ApacheSSL"
fi

#------------------------------------------------------------------------------------------------------------
# Accept FTP  (but always log)
#------------------------------------------------------------------------------------------------------------
iptables -t filter -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 21 -j LOG --log-prefix "FW -> FTP: " 
iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 21 -j ACCEPT
echo "Accepting FTP at 21... "
# Accept PASV ports
iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 4000:4009 -j ACCEPT
echo "Accepting PASV FTP at 4000:4009... "

#------------------------------------------------------------------------------------------------------------
# Accept Apache and Apache SSL
#------------------------------------------------------------------------------------------------------------
iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 80 -j ACCEPT
#iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 443 -j ACCEPT
echo "Accepting Apache/Apache SSL traffic... "

#------------------------------------------------------------------------------------------------------------
# Accept webmin traffic when 'webmin' is parm, but still log it
#------------------------------------------------------------------------------------------------------------
if [ "$1" = "webmin" ]
then
    iptables -t filter -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 10000 -j LOG --log-prefix "FW -> Webmin: "
    iptables -A INPUT -m state --state NEW -i $EXTERNAL_IF --protocol tcp --dport 10000 -j ACCEPT
    echo "Now accepting Webmin... "
fi

#------------------------------------------------------------------------------------------------------------
# Drop outbound packets to ip's listed in file 
#------------------------------------------------------------------------------------------------------------
echo "Blocking outbound packets to blacklisted IP's" 
for BLACKLISTED in `grep -v ^# $BLACKLISTFILE | awk '{print $1}'`; do 
    echo "Blocking outbound packets to $BLACKLISTED" 
    iptables -t filter -I FORWARD -s $BLACKLISTED -j LOG --log-prefix "FW -> BLACKLISTED: "
    iptables -I FORWARD -s $BLACKLISTED -j REJECT 
done 
echo "Blocking outbound packets to blacklisted IP's [Done]" 

#------------------------------------------------------------------------------------------------------------
# Accept VPN tunneling over tun devices
#------------------------------------------------------------------------------------------------------------
# First we need to open a port on the firewall, or else we wouldn't be able to connect at all
iptables -A INPUT -p tcp --dport 45500 -j ACCEPT
echo "Opened port 45500 for accepting VPN traffic... "  

# Now we can tell the FW to leave all tunneled packets alone, so they can travel freely over tun devices
iptables -A INPUT -i tun+ -j ACCEPT
iptables -A FORWARD -i tun+ -j ACCEPT
iptables -A INPUT -i tap+ -j ACCEPT
iptables -A FORWARD -i tap+ -j ACCEPT
echo "Accepting VPN tunneling now... " 

#------------------------------------------------------------------------------------------------------------
# Drop everything and log                                                       
#------------------------------------------------------------------------------------------------------------
iptables -P INPUT DROP
#if [ "$1" = "log" ]
#then
    iptables -t filter -A INPUT -j LOG -d $EXTERNAL_IP --log-prefix "FW -> DROPPED: "
    echo "Logging dropped..."
#fi
iptables -t filter -A FORWARD -i $EXTERNAL_IF -o $EXTERNAL_IF -j LOG --log-prefix "FW -> REJECTED: "
iptables -A FORWARD -i $EXTERNAL_IF -o $EXTERNAL_IF -j REJECT
echo "Logging rejections... "

#------------------------------------------------------------------------------------------------------------
#------------------------------------------------------------------------------------------------------------
# Port forwarding section                                                       
#------------------------------------------------------------------------------------------------------------
#------------------------------------------------------------------------------------------------------------

#------------------------------------------------------------------------------------------------------------
# Force surfing the net through Squid proxy...
# Exclude 192.168.0.5 from surfing the proxy. It is the only one which bypasses it in the network.
#------------------------------------------------------------------------------------------------------------
#iptables -t nat -A PREROUTING -i eth0 -p tcp ! --source 192.168.0.5 ! -d 192.168.0.0/24 --dport 80 -j REDIRECT --to-port 3128
#iptables -t nat -A PREROUTING -i eth0 -p tcp ! --source 192.168.0.5 ! -d 192.168.0.0/24 --dport 443 -j REDIRECT --to-port 3128
#echo "Surfing the net prerouted to Squid proxy (3128)"

#------------------------------------------------------------------------------------------------------------
# Make Remote Desktop possible...
#------------------------------------------------------------------------------------------------------------
if [ "$1" = "rdp" ]
then
    iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 3389 -j LOG --log-prefix "FW -> RD: "          
    iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 3389 -j DNAT --to $WORKSTATION:3389
    echo "Port for Remote Desktop at $WORKSTATION (4899) now forwarded..."
fi

#------------------------------------------------------------------------------------------------------------
# Port forward webcam...
#------------------------------------------------------------------------------------------------------------
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 8030 -j LOG --log-prefix "FW -> DATALOGGER: "          
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 8030 -j DNAT --to $DATALOGGER:80
echo "Port for datalogger at $DATALOGGER (8030 -> 80) now forwarded..."

#------------------------------------------------------------------------------------------------------------
# Port forward WSUS...
#------------------------------------------------------------------------------------------------------------
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 8530 -j LOG --log-prefix "FW -> WSUS: "          
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 8530 -j DNAT --to $WORKSTATION:8530
echo "Port for WSUS at $WORKSTATION (8530) now forwarded..."

#------------------------------------------------------------------------------------------------------------
# Port forward Exchange...
#------------------------------------------------------------------------------------------------------------
#iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 443 -j LOG --log-prefix "FW -> EXCHANGE: "          
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 443 -j DNAT --to $EXCHANGE:443
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 666 -j DNAT --to $EXCHANGE:666
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p udp --dport 666 -j DNAT --to $EXCHANGE:666
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 5678 -j DNAT --to $EXCHANGE:5678
iptables -t nat -A PREROUTING -d $EXTERNAL_IP -p tcp --dport 5679 -j DNAT --to $EXCHANGE:5679
echo "Port for Exchange ActiveSync (SSL) at $EXCHANGE (443) now forwarded..."
echo "Port for No-IP MailReflector (666) forwarded to $EXCHANGE (666)..."
echo "Port for Exchange ActiveSync (Sync Info) at $EXCHANGE (5678) now forwarded..."
echo "Port for Exchange ActiveSync (Heartbeat) at $EXCHANGE (5679) now forwarded..."

#------------------------------------------------------------------------------------------------------------
# Done with firewalling   
#------------------------------------------------------------------------------------------------------------
echo "Firewalling done! "

/edit 2
Nou ja zeg. Volgens mij ligt het niet aan de natting/firewalling.
Draai ik geen iptables met masq, dan kan ik niet eens Google pingen. Op zich wel logisch, want je komt niet buiten, en er kan niks terug naar binnen. Draai ik de firewalling, dan werken traceroutes en pings. Alleen zeggen alle browsers: Found site (dus dns lookup werkt), waiting for site to respond. Dus er komt niks terug.
Het lijkt wel alsof er iets in Ubuntu zit wat dit soort dingen blocked. Ik ken Ubuntu verder niet, dus ik ben nu een Debian iso aan het downloaden, doe daar een basis install van. Draai dezelfde firewall, en als het dan niet werkt ben ik echt baffled...

/edit 3
Het is dus iets in Ubuntu. Beats me wat het zou moeten zijn.
Verse kale Debian geinstalleerd, bind9 er op, netwerk geconfigged, firewall van hierboven gedraaid, en alles werkt. Is exact dezelfde setup qua network settings als ik heb gebruikt bij beide Ubuntu installs.
Zeer zeer vreemd. Naja, dan maar geen Ubuntu. Blijven we lekker op Debian. Hoef ik ook geen avatar te wijzigen

Als iemand weet waardoor dit veroorzaakt wordt, vertel het me. Ik kom er iig niet meer uit.

[ Voor 87% gewijzigd door UltraSub op 10-04-2009 11:47 . Reden: firewall toegevoegd ]

[_JGC_]

Ik had vorige week hetzelfde: OpenBSD vervangen door Debian, en NAT werkte voor geen meter meer. Pingen werkte, traceroute werkte, DNS werkte, maar een pagina opvragen lukte niet. Kleine pagina's opvragen lukte dan weer wel. Alles via een squid proxy op de firewall routeren werkte ook...
Vervolgens met ping en verschillende pakketgroottes aan het testen geweest: bleek dat de MTU op de externe interface op 576 stond (danku UPC). Ik heb deze met ifconfig naar 1500 gezet en toen was het probleem opgelost.
Met die OpenBSD machine is dit probleem nooit voorgekomen omdat ik daar een scrub regel in de firewall had staan die sowieso alles wat in en uitgaat herschrijft.

[lammert]

Heb je al de route tabel bekeken? ( netstat -r )

[UltraSub]

_JGC_ schreef op vrijdag 10 april 2009 @ 21:48:
Ik had vorige week hetzelfde: OpenBSD vervangen door Debian, en NAT werkte voor geen meter meer. Pingen werkte, traceroute werkte, DNS werkte, maar een pagina opvragen lukte niet. Kleine pagina's opvragen lukte dan weer wel. Alles via een squid proxy op de firewall routeren werkte ook...
Vervolgens met ping en verschillende pakketgroottes aan het testen geweest: bleek dat de MTU op de externe interface op 576 stond (danku UPC). Ik heb deze met ifconfig naar 1500 gezet en toen was het probleem opgelost.
Met die OpenBSD machine is dit probleem nooit voorgekomen omdat ik daar een scrub regel in de firewall had staan die sowieso alles wat in en uitgaat herschrijft.

Hmm... Als ik alles stabiel heb, en weer tijd over, boot ik nog eens een Ubuntu, en ga ik dit proberen. Bedankt voor de tip.

lammert schreef op zaterdag 11 april 2009 @ 01:05:
Heb je al de route tabel bekeken? ( netstat -r )

Yup, stond goed. En gelijk aan wat nu op de Debian draait.

[ISaFeeliN]

Wordt er niets door je fw tegengehouden? (/var/log/kern.log volgens mij). Heb je wel eens wat met tcpdump bekeken?

Het is trouwens een onwijs lang verhaal. Wat is nu de kern van je probleem? NAT werkt niet (dus alleen hosts op je LAN hebben geen internet via je NAT ubuntu server?)

[UltraSub]

ISaFeeliN schreef op zaterdag 11 april 2009 @ 10:28:
Wordt er niets door je fw tegengehouden? (/var/log/kern.log volgens mij). Heb je wel eens wat met tcpdump bekeken?

Het is trouwens een onwijs lang verhaal. Wat is nu de kern van je probleem? NAT werkt niet (dus alleen hosts op je LAN hebben geen internet via je NAT ubuntu server?)

Nope, firewall is bekeken. En zoals ik al zei, exact dezelfde firewall loopt nu op een debian bak, en daar werkt alles meteen perfect. Ik vermoed dat er iets op Ubuntu server "hardened" is. Bij het installeren van bind zag ik AppArmor mee komen als prereq.
Maar goed, ik kan er niet wakker meer van liggen. Dag Ubuntu, welcome back Debian
Geeft maar weer aan dat het niet goed is om een distro te hebben waar een hoop crap mee wordt geinstalleerd, zelfs in de meest basic vorm.

Kijk, tcpdump zie ik vanalles langs komen, maar netwerktechnisch ben ik geen wonder. Ik begrijp precies wat iptables doet, en daarom weet ik ook zeker dat daar het probleem niet zat. Op frame niveau packets bekijken snap ik niet meer. Gaat mij een brug te ver. Maar dat er iets in Ubuntu zat wat de boel tegen hield is een feit.

[deadinspace]

Waarom ben je eigenlijk begonnen met die Ubuntu/whatever op ESX setup?