[Antlr] Parser blijft fouten geven

[HawVer]

Ik ben een applicatie aan het maken voor mijn opleiding. Dat moet een parser worden voor een bepaalde kennisdatabase. Deze code heb ik gebruikt om mijn parser te testen. Voor de volledigheid dit is een stukje code die een fuzzy logic set beschrijft:

code:

KB
UNIVERSE flux
    SET little 0 0 0 8 SETEND
    SET normal 0 8 8 16 SETEND
    SET much 8 16 16 16 SETEND
UNIVERSEEND
KBEND

Het bestand lees ik in door met java een bestand door te laten browsen naar een file en vervolgens als inputstream te sturen naar de lexer. Maar het wil ik niet werken. Ik blijf steeds dezelfde error krijgen:

code:

line 1:1: expecting "KB", found 'K'

Ik vermoede eerst dat het aan het inlezen ligt. Maar als ik token voor token af laat drukken op hetscherm laat hij de volledige inhoud van het bestand op het scherm zien.
Misschien is het wel een heel simpel probleem maar met behulp van de documentatie op Antlr en google kan ik er maar niet uitkomen.

Dit is de BNF code

code:

class BNFparser extends Parser;

knowledgeBase
    :   "KB"
        universeList  
        "KBEND"
    ;
    
universeList
    : universe (universe)*
    ;

universe
    :   "UNIVERSE"
        universeName
        setList
        "UNIVERSEEND"
    ;
    
setList
    :   set (set)*
    ;

set
    : "SET" 
        setName
        x1
        x2
        x3
        x4
        "SETEND"
        
    ;

universeName
    :   name
    ;
    
setName
    :   name
    ;
    
x1
    :   n:DIGIT
    { System.out.println("x1: "+n.getText()+"/n"); }
    ;
x2
    :   n:DIGIT
    { System.out.println("x2: "+n.getText()+"/n"); }
    ;
x3
    :   n:DIGIT
    { System.out.println("x3: "+n.getText()+"/n"); }
    ;
x4  
    :   n:DIGIT
    { System.out.println("x4: "+n.getText()+"/n"); }
    ;
    
name 
    :   LETTER
        ( LETTER 
        | DIGIT )
    ;
    

class BNFlexer extends Lexer;

LETTER
    :   ('a'..'z'|'A'..'Z')
    ;

DIGIT
    :   ('0'..'9')
    ;

Ik vermoed dat ik een fout maak in de structuur van mijn bestand. Op zich een heel simpele structuur! Wie kan mij verder helpen?

[Alarmnummer]

Het is al een hele tijd geleden dat ik iets met ANTLR heb gedaan. Maar mijn gok is dat je KB een token moet maken.

[HawVer]

Alarmnummer schreef op dinsdag 11 januari 2005 @ 20:23:
Het is al een hele tijd geleden dat ik iets met ANTLR heb gedaan. Maar mijn gok is dat je KB een token moet maken.

Dus in principe zou dit het oplossen?

code:

knowledgeBase
    :   KBPREFIX
        universeList  
        KBPOSTFIX
    ;

en

code:

KBPREFIX: "KB";

Bedoel je dat met er een token van maken?

[marcusk]

Je moet een 'testLiterals' optie toevoegen bij LETTER:

code:

LETTER
    options { testLiterals = true; }
    :    ('a'..'z'|'A'..'Z')
    ;

Dan kijkt ie eerst of de token bestaat als keyword.

[HawVer]

Heeft het misschien wat te maken met het feit dat ik een bestand in lees? Want als ik het cut'n past voorbeeld van de antlr download gaat het ook fout.. Waar moet ik rekening mee houden als ik een bestand probeer te parsen?

[Alarmnummer]

HawVer schreef op dinsdag 11 januari 2005 @ 22:22:
Heeft het misschien wat te maken met het feit dat ik een bestand in lees? Want als ik het cut'n past voorbeeld van de antlr download gaat het ook fout.. Waar moet ik rekening mee houden als ik een bestand probeer te parsen?

Ik geloof dat er op zijn site wel een goeie tutorial te vinden is. Ik heb in het verleden het een en ander met ANTLR gedaan en heb me altijd kunnen redden met de documentatie.

[marcusk]

Mijn suggestie heeft niet geholpen?

Ik zie nu iets anders wat volgens mij niet helemaal goed is. Je hebt:

code:

name 
    :    LETTER
        ( LETTER 
        | DIGIT )
    ;

LETTER
    :    ('a'..'z'|'A'..'Z')
    ;

Een name kan dan maximaal 2 chars lang zijn: LETTER LETTER of LETTER DIGIT. Logischer is:

code:

NAME
    options { testLiterals = true; }
    :    ('a'..'z'|'A'..'Z') ('a'..'z'|'A'..'Z'|'0'..'9')*
    ;

(Uit m'n hoofd)

[HawVer]

Goed ik heb de fout opgelost. Waar het nou precies aan lag weet ik niet. Ik heb een heel aantal extra verwijzingen eruit gehaald die in principe dubbelop waren. Daarna heb ik een aantal nondeterminism warnings eruit gesloopt door flink wat aan de naamgeving te doen. Bijvoorbeeld KB kan ook voorkomen in KBEND. Daarna zat ik met een volgend probleem.. Een token van een naam wordt nooit ergens mee afgesloten. Met andere woorden hij leest de rest van de code leest ie in al zou het de naam van univserse zijn. Dus toen heb ik overal apart de spatie gedefinieerd. Met de commandline input werkt ie in ieder geval helemaal nu hopen dat hij het doet als ik hem als bestand in lees.

Nu kom ik op dit resultaat uit:

code:

class BNFparser extends Parser;

knowledgeBase
    :   "KBSTART" WH
        universe (universe)*  
        "KBEND" WH
    ;
    
universe
    :   
      "UNIVERSESTART" WH
        DIGNAM (DIGNAM)* WH
        set (set)*
      "UNIVERSEEND" WH
    ;
    
set
    : "SETSTART" WH
        DIGNAM (DIGNAM)* WH
        x1 WH
        x2 WH
        x3 WH
        x4 WH
        "SETEND" WH
        
    ;
    
x1
    : n:DIGIT 
    { System.out.println("x1: "+n.getText()+"/n"); }
    ;
x2
    :   n:DIGIT 
    { System.out.println("x2: "+n.getText()+"/n"); }
    ;
x3
    :   n:DIGIT 
    { System.out.println("x3: "+n.getText()+"/n"); }
    ;
x4  
    :   n:DIGIT
    { System.out.println("x4: "+n.getText()+"/n"); }
    ;
    

class BNFlexer extends Lexer;
options {

  testLiterals=false;    // don't automatically test for literals
  k=10;                   // two characters of lookahead
  
}

DIGNAM
    options { testLiterals = true; }
    :    ('a'..'z'|'A'..'Z') ('a'..'z'|'A'..'Z'|'0'..'9')*
    ;

DIGIT
    :   ('0'..'9')
    ;

WH
    :   ' '
    ;

WS
  : ( '\t'
    | '\f'

    // handle newlines
    | ( "\r\n"  // Evil DOS
      | '\r'    // Macintosh
      | '\n'    // Unix (the right way)
      )
      { newline(); }
    )
    { $setType(Token.SKIP); }
  ;