[JAVA] vreemd audio-capture probleem

[chronozphere]

Hey,

Ik ben tegen een raar probleem aangelopen tijdens het ontwikkelen van mijn opname tooltje. Ik wil een simpel tooltje maken waarmee ik geluid kan opnemen en de opname kan pauzeren en hervatten. Dit doe ik door tijdens het opstarten TargetDataLine.open(...) aan te roepen. Pas als ik de opname wil starten roep ik TargetDataLine.start() aan. Dit heeft tot gevolg dat de interne buffer van TargetDataLine volstroomt met data die je m.b.v een aparte Capture-Thread uitleest en wegschrijft.

Het vreemde is dat op Ubuntu 10.4, de buffer van TargetDataLine al volloopt na de open(..) call. Ik heb om te debuggen, om de 250ms, de state van de targetDataLine geprint samen met de hoeveelheid data die in de buffer zit. Hier is de opname dus nog niet begonnen. De calls: isRunning(), isActive() en available().

sRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 11570
isRunning() false isActive() false available: 11570
isRunning() false isActive() false available: 11570
isRunning() false isActive() false available: 23140
isRunning() false isActive() false available: 23140
isRunning() false isActive() false available: 23140
isRunning() false isActive() false available: 34710
etc..

Je ziet dus dat de buffer al volstroomt terwijl dat nog niet zou moeten gebeuren. In windows 7 krijg ik de volgende uitvoer:

isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0
isRunning() false isActive() false available: 0

Zo hoort het natuurlijk.

Heb een workaround gevonden, namelijk het starten en stoppen van de TargetDataLine direct na de Open(..) call. Dus:

code:

      //Get everything set up for capture
      audioFormat = getAudioFormat();
      DataLine.Info dataLineInfo =  new DataLine.Info(TargetDataLine.class, audioFormat);
      captureDataLine = (TargetDataLine) AudioSystem.getLine(dataLineInfo);
      captureDataLine.open(audioFormat);

      //Workaround!
      captureDataLine.start();
      captureDataLine.stop();

En mijn volledige source:

[mods] Heb source even opgeschoond. [/mods]

code:

import javax.swing.*;
import java.awt.*;
import java.awt.event.*;
import java.util.*;
import java.io.*;
import javax.sound.sampled.*;

public class CutFrame extends JFrame {

  private boolean capturing = false;
  private boolean finishCapturing = false;

  //When audio is captured it is written to this stream
  ByteArrayOutputStream capturedAudioData;

  //The two data lines to the mixer used for capturing and playback respectively
  TargetDataLine captureDataLine;

  //Audio format used for both capture and playback
  AudioFormat audioFormat;
  
  public CutFrame() {
    //Create buttons and enable some of them
    final JButton startBtn    = new JButton("Start");
    
    //Add event handlers for buttons
    startBtn.addActionListener( new ActionListener(){
        public void actionPerformed( ActionEvent e){
          startBtn.setEnabled(false);

          //Starts capturing audio data
          System.out.printf("START CAPTURE!!\n");
          captureDataLine.start();
          capturing = true;
        }
      } );

    getContentPane().add(startBtn);
    getContentPane().setLayout( new FlowLayout() );

    //Starts the audio capture thread
    startCaptureThread();

    //Set remaining UI attributes
    setTitle("Recording audio");
    setDefaultCloseOperation( EXIT_ON_CLOSE);
    setSize(400, 70);
    setVisible(true);
  }

  //This method captures audio input
  // from a microphone and saves it in
  // a ByteArrayOutputStream object.
  private void startCaptureThread(){
    try{
      //Get everything set up for capture
      audioFormat = getAudioFormat();
      DataLine.Info dataLineInfo =  new DataLine.Info(TargetDataLine.class, audioFormat);
      captureDataLine = (TargetDataLine) AudioSystem.getLine(dataLineInfo);
      captureDataLine.open(audioFormat);

      //Solution HERE!!! 
      //captureDataLine.start();
      //captureDataLine.stop();
      //Solution HERE!!! 

      capturing       = false;
      finishCapturing = false;

      //Create and start capture thread
      Thread captureThread = new Thread( new CaptureThread());
      captureThread.start();
    } catch (Exception e) {
      System.out.println(e);
      System.exit(0);
    }
  }

  //The audio capturing thread
  class CaptureThread extends Thread{

    public void run(){

      //Create new audio data stream to write to
      capturedAudioData   = new ByteArrayOutputStream();

      //Create temporary buffer
      byte tempBuffer[] = new byte[1000]; 

      try
      {
        //Read data until capture is stopped  
        while(!finishCapturing)
        {
          //Are we capturing audio??
          if (capturing) 
          {
            //Fetch data from captureDataLine and store it into capturedAudioData
            int cnt = captureDataLine.read( tempBuffer, 0, tempBuffer.length);
            if(cnt > 0)
            {
              capturedAudioData.write(tempBuffer, 0, cnt);
            }  
          }

          //Wait some time 
          sleep(250);

          //Print status
          System.out.printf("isRunning() %b isActive() %b available: %d \n", 
                            captureDataLine.isRunning(), 
                            captureDataLine.isActive(),
                            captureDataLine.available());
        }

        //Close capture line
        captureDataLine.stop();
        captureDataLine.flush();
        captureDataLine.close();
      } catch (Exception e) {
        System.out.println(e);
        System.exit(0);
      }
    }

  }


  //Specify audio format here!
  private AudioFormat getAudioFormat(){
    float sampleRate = 8000.0F;   //can be 8000,11025,16000,22050,44100
    int sampleSizeInBits = 16;    //can be 8 or 16
    int channels = 1;             //can be 1 or 2
    boolean signed = true;
    boolean bigEndian = false;
    return new AudioFormat(sampleRate, sampleSizeInBits, channels, signed, bigEndian);
  }

  public static void main(String[] argv) {
    new CutFrame();
  }

}

Heb het gevoel dat ik hier een bug in de java-implementatie van linux heb ontdekt. Klopt dat?
Kan iemand hier nog iets zinnigs over zeggen?

En niet onbelangrijk: waar kan ik deze bug het beste reporten?

Bedankt.

[ Voor 218% gewijzigd door chronozphere op 27-02-2011 14:00 ]

[Herko_ter_Horst]

Waarom zou het vollopen van de buffer een bug zijn?

En je zegt "de java-implementatie van linux". Bedoel je daarmee GNU Classpath o.i.d.? In dat geval: http://www.gnu.org/software/classpath/bugs.html

Of bedoel je "gewoon" de Linux versie van de Sun Oracle JRE? In dat geval: http://bugs.sun.com/ (had je zelf ook wel kunnen vinden).

[chronozphere]

Omdat het vollopen van die buffer voor ongewenst gedrag zorgt. Als ik start() aanroep verwacht ik namelijk dat hij op DAT moment begint met opnemen. Als de buffer alvast vol zit met data van de tijd daarvoor dan word die data ook meegenomen en duurt de opname langer dan de bedoeling is.

Ook de eerste line in de documentatie van Start() zegt wat mij betreft genoeg:

Allows a line to engage in data I/O

Dus het lijkt me niet de bedoeling dat dit al gebeurd na Open().

Je zou zeggen, flush() dan even voordat je start() aanroept. Dat heb ik ook geprobeerd, maar flush lijkt niets uit te halen. Als ik available(), flush() en daarna nog eens available() aanroep krijg ik exact hetzelfde aantal bytes terug. Misschien dat ik hier een denkfout maak, maar het lijkt ofals flush niet doet wat hij zou moeten doen.

Allemaal erg vreemd.

[Woy]

Ik heb de complete lap code weg gehaald, we zien hier graag alleen relevante stukken code. Dus probeer het stuk wat de problemen veroorzaakt te isoleren, daardoor is het voor andere mensen makkelijker om er doorheen de lezen, en op die manier ook makkelijker om jou te helpen.

[chronozphere]

Heb ongeveer 50% van de code weggesmeten. Hoop dat het nu wat duidelijker is.

[chronozphere]

Heb dit uiteindelijk opgelost door even naar de Sun JRE om te schakelen. Bleek dat OpenJDK niet goed met PulseAudio overweg kon.

Heb de volgende aanwijzingen gevolgt (niet vergeten om dit ook voor javac te doen!):

http://blog.mypapit.net/2007/10/how-to-switch-between-different-java-jvm-in-ubuntu-and-debian-gnu-linux.html