[Python/Django] Socket error / broken pipe 32 tijdens buffer

[Anoniem: 298590]

Ik heb een vreemde issue met een Django Project.. Als ik een mp4 file open in een embedded JW (longtail) player gaat alles goed echter wanneer ik een *.mov (quicktime) file probeer in te laden krijg ik een socket error...

code:

Traceback (most recent call last):
  File "/Library/Python/2.6/site-packages/django/core/servers/basehttp.py", line 281, in run
    self.finish_response()
  File "/Library/Python/2.6/site-packages/django/core/servers/basehttp.py", line 321, in finish_response
    self.write(data)
  File "/Library/Python/2.6/site-packages/django/core/servers/basehttp.py", line 417, in write
    self._write(data)
  File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/socket.py", line 297, in write
    self.flush()
  File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/socket.py", line 284, in flush
    self._sock.sendall(buffer)
error: [Errno 32] Broken pipe

Volgens longtailvideo.com moet de codec H264 zijn met AAC (is het geval), path staat ook goed, en de error in de browser (maakt niet uit welke) is "Access denied/failed to open file blaat"

Is er iets speciaals dat ik moet weten met het bufferen van MOV files in python ?

[Nvidiot]

Je kunt proberen de multi-threaded server te draaien. De standaard debug/test server is single threaded en heeft af en toe wat van dit soort wazige issues.

Eventueel kun je het geheel natuurlijk ook onder Apache gaan draaien ipv de built-in debug/test server.

[Anoniem: 298590]

Nvidiot schreef op dinsdag 15 maart 2011 @ 11:49:
Je kunt proberen de multi-threaded server te draaien. De standaard debug/test server is single threaded en heeft af en toe wat van dit soort wazige issues.

Eventueel kun je het geheel natuurlijk ook onder Apache gaan draaien ipv de built-in debug/test server.

Ik heb deze exacte issue ook op een live testserver configuratie (apache, mod_python) dus ik denk/vrees dat het in python/browser handler zit pff

[ValHallASW]

Anoniem: 298590 schreef op dinsdag 15 maart 2011 @ 11:29:

code:

Traceback (most recent call last):
  File "/Library/Python/2.6/site-packages/django/core/servers/basehttp.py", line 281, in run
    self.finish_response()
  File "/Library/Python/2.6/site-packages/django/core/servers/basehttp.py", line 321, in finish_response
    self.write(data)
  File "/Library/Python/2.6/site-packages/django/core/servers/basehttp.py", line 417, in write
    self._write(data)
  File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/socket.py", line 297, in write
    self.flush()
  File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/socket.py", line 284, in flush
    self._sock.sendall(buffer)
error: [Errno 32] Broken pipe

Zoals ook gewoon in de manual staat: "Django itself doesn’t serve static (media) files, such as images, style sheets, or video." En zoals ze in de tutorial opmerken: "We're in the business of making Web frameworks, not Web servers."

Iaw: static files moeten helemaal niet door django heengaan. Die laat je gewoon direct serveren door je webserver.

[ Voor 4% gewijzigd door ValHallASW op 15-03-2011 13:00 ]

[Anoniem: 298590]

ok dus je kan sommige bestands formaten niet testen in de static/dev omgeving.. thanks

[WouZz]

Anoniem: 298590 schreef op dinsdag 15 maart 2011 @ 13:24:
ok dus je kan sommige bestands formaten niet testen in de static/dev omgeving.. thanks

Of gewoon lokaal een Apache/mod_wsgi / whatever draaien

[D4V3]

Je serveert je media via je server, dat gaat hem niet worden inderdaad, ook niet goed voor je performance dus haal dat regeltje maar weer uit die urls.py

Overigens is mod_python depricated, even overstappen naar mod_wsgi voor een makkelijkere configuratie en minder geheugenverbruik

Edit:

Hier een voorbeeld apache configuratiebestandje om je op weg te helpen:

code:

<VirtualHost *:80>
    ServerAdmin [e-mail]
    ServerName www.jedjangoapp.com
    DocumentRoot /Users/jij/djangoapp

    LogLevel warn
    LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
    CustomLog /var/www/logs/access-jeapp-log combined
    ErrorLog /var/www/logs/error-jeapp-log

    Alias /media/ /Users/jij/jeapp/media/
    <Directory /Users/jij/jeapp/media>
        Order deny,allow
        Allow from all
    </Directory>

    WSGIDaemonProcess jeapp processes=2 threads=4
    WSGIProcessGroup jeapp

    WSGIScriptAlias / /Users/jij/jeapp/conf/jewsgi.wsgi
    <Directory /Users/jij/jeapp/conf>
        Order deny,allow
        Allow from all
    </Directory>

</VirtualHost>

Bijbehorende WSGI bestand:

code:

import os, sys, site

extra_path = [os.path.join(os.path.dirname(__file__), '..'),]
for p in extra_path:
    site.addsitedir(p)

site.addsitedir('/Library/python2.6/site-packages')
sys.path.insert(0,'/Users/jij/jeapp')
sys.path.insert(0,'/Users/jij')

os.environ['DJANGO_SETTINGS_MODULE'] = 'settings'

import django.core.handlers.wsgi

application = django.core.handlers.wsgi.WSGIHandler()

[ Voor 69% gewijzigd door D4V3 op 15-03-2011 20:27 ]

[Anoniem: 298590]

@D4V3 many thanks!

Virtual envs ben ik mee bezig nu, djangohosting.ch ziet er erg mooi uit (en stukken goedkoper dan een vps)... Aangezien deployen een vrij nieuw terrein voor me is en er nogal wat wegen naar Rome zijn vroeg ik mij af of ik naast mod_wsgi bij het gebruik van lighthttpd nog ergens op moet letten bij het serven van static files?

[ Voor 0% gewijzigd door Anoniem: 298590 op 16-03-2011 12:39 . Reden: *djangohosting.ch ]

[D4V3]

Nee, niet echt. Er zit weinig magisch aan statische bestanden. Het is slim om je statische bestanden direct te laten serveren door een lighthttpd of nginx, het enige waar je dan op moet letten is dat je het niet via Django laat lopen met de media directory in je urls.py met een serve_static want dan schiet je er nog niet veel mee op. Ik ben niet bekend met de lighthttpd configuratie maar je moet er naast de wsgi handler/proxy pass dus ook een entry in zetten voor de media, bijv. /media/ die direct de bestanden serveert.

Met djangohosting.ch heb ik ook geen ervaring. Ik werk zelf meestal met VPS-en van Linode of XLS hosting. In het verleden heb ik ook veel met Webfaction gedaan, leuk voor hobby projectjes maar de verbinding is langzaam en het geheugen is beperkt. XLS bied ze al aan vanaf 10,95 per maand. Bijkomend voordeel van een VPS is dat je hem volledig naar wens in kan richten en er ook zo veel applicaties op kan draaien als je geheugen toelaat.

Deployment doet iedereen anders binnen de Django community volgens mij. Bekende methodes zijn het gebruik van buildout (erg compleet, maar omslachtig om in te richten), fabric deployment files (best cool) maar zelf ben ik er te lui voor en is het bij de meeste projecten met 1 webserver vrij overbodig. Als ik iets ga deployen dan richt ik het gewoon in op de desbetreffende server, voer ik handmatig wat commandotjes uit (git pull / touch conf.wsgi) en het werkt ook prima, plus dat ik hiermee het gevoel heb meer controle te hebben over het proces en zullen eventuele problemen sneller opvallen.

[Anoniem: 298590]

@D4V3 thanks again erg leuk om te zien dat er toch al wat django bekenden op tweakers zitten.. ben zelf best fanaat aan het worden..

Djangohosting.ch of djangoeurope.com is echt heel erg de moeite waard om een keer te bekijken, vanaf 4 euro per maand heb je een je eigen omgeving waar je zoveel virt envs in kan proppen als je wil, keuze debian of ubuntu.. razend snelle server en je kan zelf modulair geheugen/threads bij kopen.. en hun backoffice IS natuurlijk een django app.. werkt tot nu toe feilloos..

Ik ben nu even aan het kijken hoe je modules (vb South) installeert, maar je mag gewoon builden/compilen in je eigen envs

Op mijn eigen vps zal ik mod_python om kitten naar wsgi en jou settings eens proberen werkend te krijgen iig thanks again !

[Anoniem: 298590]

Alles draait over de apache server nu, maar *.mov blijft hij weigeren

'Video not found or access denied'
/media/videos/ietsblaat.mov

Path staat goed, filmpje doet t wel gewoon op http://example.com/media/videos/ietsblaat.mov (zonder jw player 'omhulsel')

mp4 files vreet ie wel gewoon nog steeds...

- jw player ondersteunt volgens de site gewoon mov files..
- rechten staan ook goed

Ok getest in locale mac osx server in een kaal html-tje met jw player.. daar krijg ik dezelfde fout.. 100% een JW player probleem dus.. wordt vervolgt

[ Voor 28% gewijzigd door Anoniem: 298590 op 16-03-2011 19:55 . Reden: Gepinpoint op JW player.. geen django related issue ]

[WouZz]

Gebruik je dezelfde hostname voor de player en de content? Anders heb je misschien een crossdomain.xml nodig.

[Anoniem: 298590]

WouZz schreef op woensdag 16 maart 2011 @ 19:51:
Gebruik je dezelfde hostname voor de player en de content? Anders heb je misschien een crossdomain.xml nodig.

Jep staat op de server en ook local (met het filmpje dan ook local) same issue.. echt heeeel wazig dit en nogmaals *.flv en *.mp4 werken.. en heb verscheidene mov files geprobeerd zonder succes.. ga maar eens in mn JW build graven

[ Voor 13% gewijzigd door Anoniem: 298590 op 16-03-2011 19:57 ]

[WouZz]

Pak ook even een FireBug of Chrome HTTP logger erbij om te zien wat de JW player allemaal nog meer opvraagt.

[Anoniem: 298590]

Al gedaan hij vind die file gewoon krijgt ook een antwoord terug..

Supported File Formats
Flash Playback Video Formats: H.264 (.mp4, .mov, .f4v), FLV (.flv), 3GPP (.3gp, .3g2), YouTube
Sound Formats: AAC (.aac, .m4a), MP3 (.mp3)
Image Formats: JPEG (.jpg), PNG (.png), GIF (.gif)
HTML5 Playback H.264 / MP4, VP8 / WebM, Ogg Theora
XML Playlists (Flash-only) ASX, ATOM with Media extensions, iRSS (RSS feeds with iTunes extensions), mRSS (RSS feeds with Media extensions), XSPF, SMIL

Bovenstaande van longtailvideo.com.. Moet ik concluderen dat het aan mijn embedding methode ligt ? Lekker dat ze dat niet even toelichten dan bij de helpdesk

[Anoniem: 298590]

http://www.longtailvideo....player/13/embedding-flash

Alles geprobeerd, tig verschillende mov files nog steeds File not found/Access denied.. staat helemaal niets verkeerd andere filetype werken gewoon.. wat een brak product

last resort.. jwplayer support gemaild.. ben benieuwd

[ Voor 11% gewijzigd door Anoniem: 298590 op 16-03-2011 21:08 ]

[WouZz]

Anoniem: 298590 schreef op woensdag 16 maart 2011 @ 20:38:
wat een brak product

haha.. welkom in de wondere wereld van video codecs. Ik moet je zeggen dat het mij eerder meeviel hoeveel er wél ondersteund wordt door JW player. Als je echt alle input formaten wilt ondersteunen ontkom je er haast niet aan om server-side te transcoderen naar enkele breed geaccepteerde formaten, zoals bijvoorbeeld FLV. Maar ook dan heb je helaas nog user-agent detectie nodig voor iOS devices.

[Anoniem: 298590]

Ik zou zeggen, de klant moet maar converteren naar mp4 of flv de player is hun keuze geweest

@all many thanks voor de help ben een stuk wijzer weer

[Anoniem: 298590]

Ok ik heb nog eens goed gekeken naar firebug en iets raars ontdekt..

Een mp4 file laad in firebug tijdens het bufferen door 1.1MB, 1.2MB, etc etc tot ie hem binnen heeft..

Een mov daarentegen 'hangt' steeds na een paar KB.. nu heb ik gelezen dat dit te maken kan hebben met gzip compressie (dit moet uit staan?) of mime-type registratie van mov.. Ik heb geen Gzip middleware in django staan en volgens mij is mov gewoon standaard registered mime-type

Beide ben ik niet in thuis, ik ga googlen maar misschien zegt iemand hier 'Oh ja dan moet je dit doen'.. of het is niets en dit issue blijft bestaan

goedenavond!

code:

Antwoordheadersbron bekijken
Server  nginx/0.8.34
Date    Wed, 16 Mar 2011 21:32:07 GMT
Content-Type    video/quicktime
Connection  keep-alive
Accept-Ranges   bytes
Etag    "48947932"
Last-Modified   Wed, 16 Mar 2011 17:59:12 GMT
Content-Range   bytes 46243-23801619/23801620
Content-Length  23755377

Verzoekheadersbron bekijken
Host
User-Agent  Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; nl; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3
Accept  text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language nl,en-us;q=0.7,en;q=0.3
Accept-Encoding gzip,deflate
Accept-Charset  ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive  115
Connection  keep-alive
Range   bytes=46243-
If-Range    "48947932"

Last Modified   Wed Mar 16 2011 22:32:06 GMT+0100 (CET)
Last Fetched    Wed Mar 16 2011 22:32:06 GMT+0100 (CET)
Expires Wed Mar 16 2011 22:53:23 GMT+0100 (CET)
Data Size   58971
Fetch Count 6
Device  disk

lighttpd.conf:

code:

var.basedir = env.HOME + "/lighttpd"
                               
############ Options you really have to take care of ####################

## modules to load
# mod_access, mod_accesslog and mod_alias are loaded by default
# all other module should only be loaded if neccesary
# - saves some time
# - saves memory

server.modules              = (   
            "mod_access",
            "mod_alias",
            "mod_accesslog",
            "mod_extforward",
            "mod_rewrite",
            "mod_fastcgi",
            "mod_redirect",
#           "mod_proxy",
#           "mod_evhost",
#           "mod_compress",
#           "mod_usertrack", 
#           "mod_rrdtool",
#           "mod_webdav",
#           "mod_expire",
#           "mod_flv_streaming",
#           "mod_evasive"
 )

## a static document-root, for virtual-hosting take look at the
## server.virtual-* options
server.document-root       = env.HOME + "/public_html"

## where to send error-messages to
server.errorlog            = basedir+"/error.log"

## files to check for if .../ is requested
index-file.names           = ( "index.php", "index.html",
                               "index.htm", "default.htm" )

## Use the "Content-Type" extended attribute to obtain mime type if possible
# mimetype.use-xattr = "enable"
   
#### accesslog module
accesslog.filename         = basedir+"/access.log"

## deny access the file-extensions
#
# ~    is for backupfiles from vi, emacs, joe, ...
# .inc is often used for code includes which should in general not be part
#      of the document-root
url.access-deny            = ( "~", ".inc" )



######### Options that are good to be but not neccesary to be changed #######

## bind to port (default: 80)
include "port.conf"

## bind to localhost only (default: all interfaces)
server.bind                = "127.0.0.1"

## error-handler for status 404
#server.error-handler-404  = "/error-handler.html"
#server.error-handler-404  = "/error-handler.php"

## to help the rc.scripts
server.pid-file            = basedir+"/lighttpd.pid"

##
## Format: <errorfile-prefix><status>.html
## -> ..../status-404.html for 'File not found'
#server.errorfile-prefix    = "/var/www/"

## virtual directory listings
dir-listing.encoding        = "utf-8"
#server.dir-listing          = "enable"

server.tag = "lighttpd"

#### external configuration files
## mimetype mapping
include_shell "/usr/share/lighttpd/create-mime.assign.pl"

extforward.forwarder = (
   "127.0.0.1" => "trust",
)

include "django.conf"

[ Voor 176% gewijzigd door Anoniem: 298590 op 17-03-2011 10:46 ]

[D4V3]

Je headers geven nginx terug en je kijkt naar de configuratie voor lighthttpd? Ik zou eens naar je nginx config kijken. Ik heb qua django overigens de beste ervaring met nginx en apache, soms met varnish er nog tussen voor caching.

[Anoniem: 298590]

Erhm op de django host waar ik nu aan het testen ben met quicktime files draait een lighttpd media server op een nginx server, anyway van longtailvideo krijg ik maar een advies.. MIME types bekijken

Het kan niet in nginx zitten lijkt me want ik heb dit ook op mn lokale mac server (apache) en ook op mn VPS centos.. mov files geven altijd die error.. te wazig

Misschien moet ik eens naar modules gaan kijken voor video conversie als het er echt in moet

[ Voor 58% gewijzigd door Anoniem: 298590 op 18-03-2011 13:38 ]

[Anoniem: 298590]

Ok ik kom er gewoon niet uit ik kan alleen nog maar bedenken een windows server te testen en anders jw player de schuld te geven..

Antwoord van jwplayer (voorgelegd aan djangohosting, tegenstrijdig antwoord, see below)
Make sure your server has MOV set up as a MIME-TYPE and that GZIP COMPRESSION is Disabled.
Firebug says that the mov is 5.1 K, that is not right.

Regards Ethan Feldman
longtailvideo.com


Antwoord van djangohosting.ch (het is geen path error dus hier kom ik niet verder mee)
---
I checked this out. The movie http://bananaz.sites.djan...ia/videos/nachtwakers.mov works for me. The MIME-type is correct, but there is no gzip compression.

telnet bananaz.sites.djangohosting.ch 80
Trying 78.46.120.231...
Connected to bananaz.sites.djangohosting.ch.
Escape character is '^]'.
HEAD /media/videos/nachtwakers.mov HTTP/1.1
HOST: bananaz.sites.djangohosting.ch

HTTP/1.1 200 OK
Server: nginx/0.8.34
Date: Fri, 18 Mar 2011 11:45:33 GMT
Content-Type: video/quicktime
Connection: keep-alive
Accept-Ranges: bytes
ETag: "48947932"
Last-Modified: Wed, 16 Mar 2011 17:59:12 GMT
Content-Length: 23801620

http://bananaz.sites.djangohosting.ch/director/1/project/2/
On this page I get the error: Video not found or access denied: /media/videos/nachtwakers.mov

Try with the full path: /home/intelliadmin/bananaz/media/videos/nachtwakers.mov

--
Best regards,
Pascal Bader
djangohosting.ch

[D4V3]

Zal wel iets geks met je JWPlayer zijn;
Als ik dit op de plek van je player neerzet werkt het prima:

code:

   <!-- Begin VideoJS -->
  <div class="video-js-box">
    <!-- Using the Video for Everybody Embed Code http://camendesign.com/code/video_for_everybody -->
    <video class="video-js" width="640" height="264" controls preload poster="http://video-js.zencoder.com/oceans-clip.png">
      <source src="http://bananaz.sites.djangohosting.ch/media/videos/nachtwakers.mov" type='video/mp4; codecs="avc1.42E01E, mp4a.40.2"' />
      <!-- Flash Fallback. Use any flash video player here. Make sure to keep the vjs-flash-fallback class. -->
      <object id="flash_fallback_1" class="vjs-flash-fallback" width="640" height="264" type="application/x-shockwave-flash" 
        data="http://releases.flowplayer.org/swf/flowplayer-3.2.1.swf">
        <param name="movie" value="http://releases.flowplayer.org/swf/flowplayer-3.2.1.swf" />
        <param name="allowfullscreen" value="true" />
        <param name="flashvars" 
          value='config={"playlist":["http://video-js.zencoder.com/oceans-clip.png", {"url": "http://bananaz.sites.djangohosting.ch/media/videos/nachtwakers.mov","autoPlay":false,"autoBuffering":true}]}' />
        <!-- Image Fallback. Typically the same as the poster image. -->
        <img src="http://video-js.zencoder.com/oceans-clip.png" width="640" height="264" alt="Poster Image" 
          title="No video playback capabilities." />
      </object>
    </video>
    <!-- Download links provided for devices that can't play video in the browser. -->
    <p class="vjs-no-video"><strong>Download Video:</strong>
      <a href="http://bananaz.sites.djangohosting.ch/media/videos/nachtwakers.mov">MP4</a>,
      <!-- Support VideoJS by keeping this link. -->
      <a href="http://videojs.com">HTML5 Video Player</a> by VideoJS
    </p>
  </div>
  <!-- End VideoJS -->

Ik zou het dus in de player zoeken Misschien een issue met je license, dat je license alleen werkt met movies van een bepaald domein?

[Anoniem: 298590]

Thanks again D4V3 ik ga er nogmaals in duiken..

FIXED.. encoding issue, PCM mov encoding pakt hij wel.. MOV AAC niet, jw player site meld van wel maar goed..

[ Voor 59% gewijzigd door Anoniem: 298590 op 19-03-2011 14:03 . Reden: fixed ]