Category

Development Platform
Home > SourceCode/Document > Compiler program > View Code
lexer.g
Package: antlr-2_7_0.zip　[view]
Upload User: afrynkmhm
Upload Date: 2007-01-06
Package Size: 1262k
Code Size: 1k
Category:

Compiler program

Development Platform:

Others

lexer.g：Code Content
  1. /*
  2.  * Make sure to run antlr.Tool on the lexer.g file first!
  3.  */
  4. options {
  5. mangleLiteralPrefix = "TK_";
  6. language="Cpp";
  7. }
  9. class TinyCLexer extends Lexer;
  10. options {
  11. k=2;
  12. exportVocab=TinyC;
  13. charVocabulary = '3'..'377';
  14. }
  16. tokens {
  17. "int"; "char"; "if"; "else"; "while";
  18. }
  20. WS_ : (' '
  21. | 't'
  22. | 'n' {newline();}
  23. | 'r')
  24. { _ttype = antlr::Token::SKIP; }
  25. ;
  28. SL_COMMENT : 
  29. "//" 
  30. (~'n')* 'n'
  31. { _ttype = antlr::Token::SKIP; newline(); }
  32. ;
  34. ML_COMMENT
  35. : "/*"
  36. ( { LA(2)!='/' }? '*'
  37. | 'n' { newline(); }
  38. | ~('*'|'n')
  39. )*
  40. "*/"
  41. { $setType(antlr::Token::SKIP); }
  42. ;
  45. LPAREN
  46. options {
  47. paraphrase="'('";
  48. }
  49. : '('
  50. ;
  52. RPAREN
  53. options {
  54. paraphrase="')'";
  55. }
  56. : ')'
  57. ;
  59. LCURLY: '{'
  60. ;
  62. RCURLY: '}'
  63. ;
  65. STAR: '*'
  66. ;
  68. PLUS: '+'
  69. ;
  71. ASSIGN
  72. : '='
  73. ;
  75. SEMI: ';'
  76. ;
  78. COMMA
  79. : ','
  80. ;
  82. CHAR_LITERAL
  83. : ''' (ESC|~''') '''
  84. ;
  86. STRING_LITERAL
  87. : '"' (ESC|~'"')* '"'
  88. ;
  90. protected
  91. ESC : '\'
  92. ( 'n'
  93. | 'r'
  94. | 't'
  95. | 'b'
  96. | 'f'
  97. | '"'
  98. | '''
  99. | '\'
  100. | '0'..'3'
  101. (
  102. options {
  103. warnWhenFollowAmbig = false;
  104. }
  105. : DIGIT
  106. (
  107. options {
  108. warnWhenFollowAmbig = false;
  109. }
  110. : DIGIT
  111. )?
  112. )?
  113. | '4'..'7'
  114. (
  115. options {
  116. warnWhenFollowAmbig = false;
  117. }
  118. : DIGIT
  119. )?
  120. )
  121. ;
  123. protected
  124. DIGIT
  125. : '0'..'9'
  126. ;
  128. INT : (DIGIT)+
  129. ;
  131. ID
  132. options {
  133. testLiterals = true;
  134. paraphrase = "an identifier";
  135. }
  136. : ('a'..'z'|'A'..'Z'|'_') ('a'..'z'|'A'..'Z'|'_'|'0'..'9')*
  137. ;