Category

Development Platform
Home > SourceCode/Document > Windows Develop > View Code
token.h
Package: win2ksrc.rar　[view]
Upload User: caisha3
Upload Date: 2013-09-21
Package Size: 208739k
Code Size: 31k
Category:

Windows Develop

Development Platform:

Visual C++

token.h：Code Content
  1. /* Copied from ..htmeditoken.h and changed name from ITokenizer to ITokGen 
  2. and itoken.h to token.h just to avoid name confusion in future. */
  4. /*
  6.     File: Token.h
  8.     Copyright (c) 1997-1999 Microsoft Corporation.  All Rights Reserved.
  10.     Abstract:
  11. ITokenizer interface and its types
  13. */
  14. #if !defined __INC_TOKEN_H__
  15. #define __INC_TOKEN_H__
  17. typedef int TOKEN;
  18. // A text token block indicates the token, and its starting and ending
  19. // indexes in the line of source just lexed.
  20. // Note that for any N > 0, rgtxtb[N].ibTokMin >= rgtxtb[N-1].ibTokMac.
  21. // if it is such that rgtxtb[N].ibTokMin > rgtxtb[N-1].ibTokMac, then
  22. // the intervening unclassified characters are treated as white space tokens.
  24. typedef struct _tagTXTB { // Text token class block
  25. TOKEN   tok;
  26. TOKEN   tokClass;
  27. UINT    ibTokMin;               // token length given by ibTokMac - ibTokMin
  28. UINT    ibTokMac;               // given in bytes
  29. } TXTB;
  31. // ********* defines specific to TRIEDIT begin here
  34. enum ObjectTypes
  35.     {
  36.     OT_NONE = 0,
  37. OT_ACTIVEXCONTROL = 0x1,
  38. OT_DESIGNTIMECONTROL = 0x2,
  39. OT_INPUT = 0x4,
  40. OT_TABLE = 0x8,
  41. OT_APPLET = 0x10,
  42. OT_INVISIBLE = 0x8000,
  43. OT_VISIBLEITEMS = 0x4fff,
  44. OT_ALLITEMS = 0xffff
  45.     };
  47. enum ParserStates
  48. {
  49. PS_HTML,
  50. PS_SIMPLETAG, // simple tag that cannot have </ nested within it
  51. PS_OBJECT,
  52. PS_METADATASTART,
  53. PS_METADATABODY,
  54. PS_METADATAEND
  56. };
  58. enum ObjectParserStates
  59. {
  60. OPS_NONE,
  61. OPS_CLASSID
  62. };
  64. enum TagStates
  65. {
  66. TS_NONE,    // in tag, looking for the end tag
  67. TS_FOUNDTAGCLOSE, // found > closing the start element
  68. TS_FOUNDTAGEND // found </ next token should be end tag token
  69. };
  71. enum DesignControlStates
  72. {
  73. DTCS_NONE,  // just found METADATA
  74. DTCS_TYPE, // found TYPE attribute
  75. DTCS_DTCTYPE, // found DesignerControl attribute value
  76. DTCS_ENDSPAN  // found endspan
  77. };
  78. enum FilterMode
  79. { modeNone, modeInput, modeOutput };
  81. #define cbHeader 0x8000 // initial buffer size to save all contents before/after <BODY> tag
  82. #define MAX_BLOCKS 20 // max # of blocks that hold the replaced data 
  83. #define MAX_TOKIDLEN 32 // max length of a token identifier
  86. struct TOKSTRUCT // holds elements of token array generated  from the document
  87. {
  88. TXTB token;
  89. BOOL fStart;
  90. UINT ichStart;
  91. UINT iNextprev;
  92. UINT iNextPrevAlternate;
  93. INT tagID;
  94. };
  96. struct TOKSTACK
  97. {
  98. UINT iMatch;
  99. INT tagID;
  100. UINT ichStart; // start char position of this token in the input buffer
  101. TXTB token; // used in special cases (<%, %>) where tagID is -1
  102. };
  105. // ********* defines specific to TRIEDIT end here
  106. interface ITokenGen : public IUnknown
  107. {
  108. public:
  109. // Gets then next token given the text
  110. // pszText: stream of text - UNICODE only!!!!
  111. // cbText: count of bytes in pszText
  112. // pcbCur: current byte position in pszText.
  113. // set to 0 for start of pszText
  114. // pLXS: should be 0, on initial call
  115. // pToken: TXTB structure which contains the token info
  116. // returns:
  117. // NOERROR if found the next token
  118. // S_FALSE if no more tokens
  119. // error if there was an error
  120. //
  121. virtual HRESULT STDMETHODCALLTYPE NextToken(
  122. /* [in]   */ LPCWSTR pszText,
  123. /* [in]   */ UINT  cbText,
  124. /* [in, out] */ UINT *pcbCur,
  125. /* [in, out] */ DWORD *pLXS,
  126. /* [out]   */ TXTB *pToken) = 0;
  129. // Tokenizes & Parses the input buffer
  130. // hOld: source buffer
  131. // phNew or pStmNew: filtered buffer (based on dwFlagsUsePstmNew)
  132. // pStmNew
  133. // dwFlags:filter flags
  134. // mode: input/output mode.
  135. // cbSizeIn: size of input buffer in bytes (if -1, assume NULL terminated buffer)
  136. // *pcbSizeOut:size of output buffer in bytes
  137. // pUnkTrident:trident's IUnknown
  138. // phgTokArray:Token Array (freed by the caller)
  139. // pcMaxToken:number of tokens in phgTokArray
  140. // phgDocRestore:stores document contents which are used for filtering
  141. // bstrBaseURL:used to convert URLs on a page into Relative URL (can be NULL)
  142. // dwReserved - must be 0 (added for future use)
  143. // returns:
  144. // S_OK if no errors
  145. // E_OUTOFMEMORY if any allocation failed
  146. // E_FILTERFRAMESET or E_FILTERSERVERSCRIPT for html files that cannot be filtered
  148. virtual HRESULT STDMETHODCALLTYPE hrTokenizeAndParse(
  149. /* [in] */ HGLOBAL hOld,
  150. /* [out] */ HGLOBAL *phNew,
  151. /* [in/out]*/ IStream *pStmNew,
  152. /* [in] */ DWORD dwFlags,
  153. /* [in] */ FilterMode mode,
  154. /* [in] */ int cbSizeIn,
  155. /* [out] */ UINT* pcbSizeOut,
  156. /* [in] */ IUnknown *pUnkTrident,
  157. /* [out] */ HGLOBAL *phgTokArray,
  158. /* [out] */ UINT *pcMaxToken,
  159. /* [in/out]*/ HGLOBAL *phgDocRestore,
  160. /*  [in]    */ BSTR bstrBaseURL,
  161. /* [in] */ DWORD dwReserved) = 0;
  163. };
  165. enum TOKCLS { // token classes
  166. tokclsError = 0,
  168. // all standard language keywords
  169. tokclsKeyWordMin = 1,
  171. // for block start/end that are keywords instead of operators...like
  172. // Pascal or BASIC for instance.
  173. tokclsKeyWordOpenBlock = 0xfe,
  174. tokclsKeyWordCloseBlock = 0xff,
  176. tokclsKeyWordMax = 0x100,
  178. // all language operators
  179. tokclsOpMin = 0x100,
  180. tokclsOpSpecOpenBlock = 0x1fe,
  181. tokclsOpSpecCloseBlock = 0x1ff,
  182. tokclsOpMax = 0x200,
  184. // special, hard coded operators that editor keys off of
  185. tokclsOpSpecMin = 0x200,
  186. tokclsOpSpecEOL = 0x200,
  187. tokclsOpSpecLineCmt = 0x201, // automatic skip to eol on this one
  188. tokclsOpSpecEOS = 0x202,
  189. tokclsOpSpecMax = 0x210,
  191. // all identifiers, give ~500 possibilities
  192. tokclsIdentMin = 0x210,
  193. tokclsIdentUser = 0x211,        // special idents (user keywords)
  194. tokclsIdentMax = 0x400,
  196. // all constants (numeric and string)
  197. tokclsConstMin = 0x400,
  198. tokclsConstInteger = 0x400,
  199. tokclsConstReal = 0x401,
  200. tokclsConstString = 0x402,
  201. tokclsStringPart = 0x402,               // partial string ("....)
  202. tokclsConstMax = 0x410,
  204. // comments
  205. tokclsCommentMin = 0x500,
  206. tokclsCommentPart = 0x500,      // partial comment (/* ...)
  207. tokclsCommentMax = 0x510,
  209. // language dependent token class(es) start at 0x800 to 0xfff
  210. tokclsUserMin = 0x800,
  211. tokclsUserLast = 0xfff,
  212. tokclsUserMax = 0x1000,
  214. // mask to ignore all the bits in a token[class] that the lexer can use
  215. // for private status.  they will be masked off and ignored by clients
  216. // of the lexer.  A good use of this feature is to encode the real token
  217. // type in the lexer private portion (area is ~tokclsMask) when including
  218. // meta-token types (such as MFC/Wizard user token types) so that other
  219. // clients of the lexer can keep that information.
  220. tokclsUserMask = ~(tokclsUserMin - 1),
  221. tokclsMask = tokclsUserLast,
  223. };
  226. // NOTE:
  227. // ========================================================================
  228. // PLEASE LET sridharc KNOW IF YOU PLAN TO ADD/REMOVE A TOKEN FROM
  229. // THE BELOW ENUM, SINCE HE IS DEPENDING UPON THIS ORDER FOR HIS TAG PROPERTY
  230. // EDITING.  THANKS.
  231. // ========================================================================
  232. typedef enum tagElementTokens
  233. {
  234. TokElem_Empty            = 0   ,  /* Empty     */
  235. TokElem_A  = 1 ,  /* A */
  236. TokElem_ADDRESS  = 2 ,  /* ADDRESS */
  237. TokElem_APPLET  = 3 ,  /* APPLET */
  238. TokElem_AREA  = 4 ,  /* AREA */
  239. TokElem_B  = 5 ,  /* B */
  240. TokElem_BASE  = 6 ,  /* BASE */
  241. TokElem_BASEFONT  = 7 ,  /* BASEFONT */
  242. TokElem_BGSOUND  = 8 ,  /* BGSOUND */
  243. TokElem_BIG  = 9 ,  /* BIG */
  244. TokElem_BLINK  = 10 ,  /* BLINK */
  245. TokElem_BLOCKQUOTE  = 11 ,  /* BLOCKQUOTE */
  246. TokElem_BODY  = 12 ,  /* BODY */
  247. TokElem_BR  = 13 ,  /* BR */
  248. TokElem_BUTTON  = 14 ,  /* BUTTON */
  249. TokElem_CAPTION  = 15 ,  /* CAPTION */
  250. TokElem_CENTER  = 16 ,  /* CENTER */
  251. TokElem_CITE  = 17 ,  /* CITE */
  252. TokElem_CODE  = 18 ,  /* CODE */
  253. TokElem_COL  = 19 ,  /* COL */
  254. TokElem_COLGROUP  = 20 ,  /* COLGROUP */
  255. TokElem_COMMENT  = 21 ,  /* COMMENT */
  256. TokElem_DD  = 22 ,  /* DD */
  257. TokElem_DFN  = 23 ,  /* DFN */
  258. TokElem_DIR  = 24 ,  /* DIR */
  259. TokElem_DIV  = 25 ,  /* DIV */
  260. TokElem_DL  = 26 ,  /* DL */
  261. TokElem_DT  = 27 ,  /* DT */
  262. TokElem_EM  = 28 ,  /* EM */
  263. TokElem_EMBED  = 29 ,  /* EMBED */
  264. TokElem_FIELDSET  = 30 ,  /* FIELDSET */
  265. TokElem_FONT  = 31 ,  /* FONT */
  266. TokElem_FORM  = 32 ,  /* FORM */
  267. TokElem_FRAME  = 33 ,  /* FRAME */
  268. TokElem_FRAMESET  = 34 ,  /* FRAMESET */
  269. TokElem_H1  = 35 ,  /* H1 */
  270. TokElem_H2  = 36 ,  /* H2 */
  271. TokElem_H3  = 37 ,  /* H3 */
  272. TokElem_H4  = 38 ,  /* H4 */
  273. TokElem_H5  = 39 ,  /* H5 */
  274. TokElem_H6  = 40 ,  /* H6 */
  275. TokElem_HEAD  = 41 ,  /* HEAD */
  276. TokElem_HR  = 42 ,  /* HR */
  277. TokElem_HTML  = 43 ,  /* HTML */
  278. TokElem_I  = 44 ,  /* I */
  279. TokElem_IFRAME  = 45 ,  /* IFRAME */
  280. TokElem_IMG  = 46 ,  /* IMG */
  281. TokElem_INPUT  = 47 ,  /* INPUT */
  282. TokElem_ISINDEX  = 48 ,  /* ISINDEX */
  283. TokElem_KBD  = 49 ,  /* KBD */
  284. TokElem_LABEL  = 50 ,  /* LABEL */
  285. TokElem_LEGEND  = 51 ,  /* LEGEND */
  286. TokElem_LI  = 52 ,  /* LI */
  287. TokElem_LINK  = 53 ,  /* LINK */
  288. TokElem_LISTING  = 54 ,  /* LISTING */
  289. TokElem_MAP  = 55 ,  /* MAP */
  290. TokElem_MARQUEE  = 56 ,  /* MARQUEE */
  291. TokElem_MENU  = 57 ,  /* MENU */
  292. TokElem_META  = 58 ,  /* META */
  293. TokElem_METADATA  = 59 ,  /* METADATA */
  294. TokElem_NOBR  = 60 ,  /* NOBR */
  295. TokElem_NOFRAMES  = 61 ,  /* NOFRAMES */
  296. TokElem_NOSCRIPT  = 62 ,  /* NOSCRIPT */
  297. TokElem_OBJECT  = 63 ,  /* OBJECT */
  298. TokElem_OL  = 64 ,  /* OL */
  299. TokElem_OPTION  = 65 ,  /* OPTION */
  300. TokElem_P  = 66 ,  /* P */
  301. TokElem_PARAM  = 67 ,  /* PARAM */
  302. TokElem_PLAINTEXT  = 68 ,  /* PLAINTEXT */
  303. TokElem_PRE  = 69 ,  /* PRE */
  304. TokElem_S  = 70 ,  /* S */
  305. TokElem_SAMP  = 71 ,  /* SAMP */
  306. TokElem_SCRIPT  = 72 ,  /* SCRIPT */
  307. TokElem_SELECT  = 73 ,  /* SELECT */
  308. TokElem_SMALL  = 74 ,  /* SMALL */
  309. TokElem_SPAN  = 75 ,  /* SPAN */
  310. TokElem_STRIKE  = 76 ,  /* STRIKE */
  311. TokElem_STRONG  = 77 ,  /* STRONG */
  312. TokElem_STYLE  = 78 ,  /* STYLE */
  313. TokElem_SUB  = 79 ,  /* SUB */
  314. TokElem_SUP  = 80 ,  /* SUP */
  315. TokElem_TABLE  = 81 ,  /* TABLE */
  316. TokElem_TBODY  = 82 ,  /* TBODY */
  317. TokElem_TD  = 83 ,  /* TD */
  318. TokElem_TEXTAREA  = 84 ,  /* TEXTAREA */
  319. TokElem_TFOOT  = 85 ,  /* TFOOT */
  320. TokElem_TH  = 86 ,  /* TH */
  321. TokElem_THEAD  = 87 ,  /* THEAD */
  322. TokElem_TITLE  = 88 ,  /* TITLE */
  323. TokElem_TR  = 89 ,  /* TR */
  324. TokElem_TT  = 90 ,  /* TT */
  325. TokElem_U  = 91 ,  /* U */
  326. TokElem_UL  = 92 ,  /* UL */
  327. TokElem_VAR  = 93 ,  /* VAR */
  328. TokElem_WBR  = 94 ,  /* WBR */
  329. TokElem_XMP  = 95   /* XMP */
  330. } ElementTokens;
  331. // NOTE:
  332. // ========================================================================
  333. // PLEASE LET sridharc KNOW IF YOU PLAN TO ADD/REMOVE A TOKEN FROM
  334. // THE ABOVE ENUM, SINCE HE IS DEPENDING UPON THIS ORDER FOR HIS TAG PROPERTY
  335. // ========================================================================
  337. typedef enum tagAttributeTokens
  338. {
  339. TokAttrib_Empty                         =0  ,   /*                      */
  340. TokAttrib_ACCESSKEY =1     ,// ACCESSKEY
  341. TokAttrib_ACTION =2     ,// ACTION
  342. TokAttrib_ALIGN =3     ,// ALIGN
  343. TokAttrib_ALINK =4     ,// ALINK
  344. TokAttrib_ALT =5     ,// ALT
  345. TokAttrib_APPNAME =6     ,// APPNAME
  346. TokAttrib_APPVERSION =7     ,// APPVERSION
  347. TokAttrib_BACKGROUND =8     ,// BACKGROUND
  348. TokAttrib_BACKGROUNDATTACHMENT =9     ,// BACKGROUNDATTACHMENT
  349. TokAttrib_BACKGROUNDCOLOR =10    ,// BACKGROUNDCOLOR
  350. TokAttrib_BACKGROUNDIMAGE =11    ,// BACKGROUNDIMAGE
  351. TokAttrib_BACKGROUNDPOSITION =12    ,// BACKGROUNDPOSITION
  352. TokAttrib_BACKGROUNDPOSITIONX =13    ,// BACKGROUNDPOSITIONX
  353. TokAttrib_BACKGROUNDPOSITIONY =14    ,// BACKGROUNDPOSITIONY
  354. TokAttrib_BACKGROUNDREPEAT =15    ,// BACKGROUNDREPEAT
  355. TokAttrib_BALANCE =16    ,// BALANCE
  356. TokAttrib_BEHAVIOR =17    ,// BEHAVIOR
  357. TokAttrib_BGCOLOR =18    ,// BGCOLOR
  358. TokAttrib_BGPROPERTIES =19    ,// BGPROPERTIES
  359. TokAttrib_BORDER =20    ,// BORDER
  360. TokAttrib_BORDERBOTTOM =21    ,// BORDERBOTTOM
  361. TokAttrib_BORDERBOTTOMCOLOR =22    ,// BORDERBOTTOMCOLOR
  362. TokAttrib_BORDERBOTTOMSTYLE =23    ,// BORDERBOTTOMSTYLE
  363. TokAttrib_BORDERBOTTOMWIDTH =24    ,// BORDERBOTTOMWIDTH
  364. TokAttrib_BORDERCOLOR =25    ,// BORDERCOLOR
  365. TokAttrib_BORDERCOLORDARK =26    ,// BORDERCOLORDARK
  366. TokAttrib_BORDERCOLORLIGHT =27    ,// BORDERCOLORLIGHT
  367. TokAttrib_BORDERLEFT =28    ,// BORDERLEFT
  368. TokAttrib_BORDERLEFTCOLOR =29    ,// BORDERLEFTCOLOR
  369. TokAttrib_BORDERLEFTSTYLE =30    ,// BORDERLEFTSTYLE
  370. TokAttrib_BORDERLEFTWIDTH =31    ,// BORDERLEFTWIDTH
  371. TokAttrib_BORDERRIGHT =32    ,// BORDERRIGHT
  372. TokAttrib_BORDERRIGHTCOLOR =33    ,// BORDERRIGHTCOLOR
  373. TokAttrib_BORDERRIGHTSTYLE =34    ,// BORDERRIGHTSTYLE
  374. TokAttrib_BORDERRIGHTWIDTH =35    ,// BORDERRIGHTWIDTH
  375. TokAttrib_BORDERSTYLE =36    ,// BORDERSTYLE
  376. TokAttrib_BORDERTOP =37    ,// BORDERTOP
  377. TokAttrib_BORDERTOPCOLOR =38    ,// BORDERTOPCOLOR
  378. TokAttrib_BORDERTOPSTYLE =39    ,// BORDERTOPSTYLE
  379. TokAttrib_BORDERTOPWIDTH =40    ,// BORDERTOPWIDTH
  380. TokAttrib_BORDERWIDTH =41    ,// BORDERWIDTH
  381. TokAttrib_BOTTOMMARGIN =42    ,// BOTTOMMARGIN
  382. TokAttrib_BREAKPOINT =43    ,// BREAKPOINT
  383. TokAttrib_BUFFERDEPTH =44    ,// BUFFERDEPTH
  384. TokAttrib_BUTTON =45    ,// BUTTON
  385. TokAttrib_CANCELBUBBLE =46    ,// CANCELBUBBLE
  386. TokAttrib_CELLPADDING =47    ,// CELLPADDING
  387. TokAttrib_CELLSPACING =48    ,// CELLSPACING
  388. TokAttrib_CENTER =49    ,// CENTER
  389. TokAttrib_CHARSET =50    ,// CHARSET
  390. TokAttrib_CHECKED =51    ,// CHECKED
  391. TokAttrib_CLASS =52    ,// CLASS
  392. TokAttrib_CLASSID =53    ,// CLASSID
  393. TokAttrib_CLASSNAME =54    ,// CLASSNAME
  394. TokAttrib_CLEAR =55    ,// CLEAR
  395. TokAttrib_CLIP =56    ,// CLIP
  396. TokAttrib_CODE =57    ,// CODE
  397. TokAttrib_CODEBASE =58    ,// CODEBASE
  398. TokAttrib_CODETYPE =59    ,// CODETYPE
  399. TokAttrib_COLOR =60    ,// COLOR
  400. TokAttrib_COLORDEPTH =61    ,// COLORDEPTH
  401. TokAttrib_COLS =62    ,// COLS
  402. TokAttrib_COLSPAN =63    ,// COLSPAN
  403. TokAttrib_COMPACT =64    ,// COMPACT
  404. TokAttrib_COMPLETE =65    ,// COMPLETE
  405. TokAttrib_CONTENT =66    ,// CONTENT
  406. TokAttrib_CONTROLS =67    ,// CONTROLS
  407. TokAttrib_COOKIE =68    ,// COOKIE
  408. TokAttrib_COOKIEENABLED =69    ,// COOKIEENABLED
  409. TokAttrib_COORDS =70    ,// COORDS
  410. TokAttrib_CSSTEXT =71    ,// CSSTEXT
  411. TokAttrib_CTRLKEY =72    ,// CTRLKEY
  412. TokAttrib_CURSOR =73    ,// CURSOR
  413. TokAttrib_DATA =74    ,// DATA
  414. TokAttrib_DECLARE =75    ,// DECLARE
  415. TokAttrib_DATAFLD =76    ,// DATAFLD
  416. TokAttrib_DATAFORMATAS =77    ,// DATAFORMATAS
  417. TokAttrib_DATAPAGESIZE =78    ,// DATAPAGESIZE
  418. TokAttrib_DATASRC =79    ,// DATASRC
  419. TokAttrib_DEFAULTCHECKED =80    ,// DEFAULTCHECKED
  420. TokAttrib_DEFAULTSELECTED =81    ,// DEFAULTSELECTED
  421. TokAttrib_DEFAULTSTATUS =82    ,// DEFAULTSTATUS
  422. TokAttrib_DEFAULTVALUE =83    ,// DEFAULTVALUE
  423. TokAttrib_DIALOGARGUMENTS =84    ,// DIALOGARGUMENTS
  424. TokAttrib_DIALOGHEIGHT =85    ,// DIALOGHEIGHT
  425. TokAttrib_DIALOGLEFT =86    ,// DIALOGLEFT
  426. TokAttrib_DIALOGTOP =87    ,// DIALOGTOP
  427. TokAttrib_DIALOGWIDTH =88    ,// DIALOGWIDTH
  428. TokAttrib_DIR =89    ,// DIR
  429. TokAttrib_DIRECTION =90    ,// DIRECTION
  430. TokAttrib_DISABLED =91    ,// DISABLED
  431. TokAttrib_DISPLAY =92    ,// DISPLAY
  432. TokAttrib_DOMAIN =93    ,// DOMAIN
  433. TokAttrib_DYNSRC =94    ,// DYNSRC
  434. TokAttrib_ENCODING =95    ,// ENCODING
  435. TokAttrib_ENCTYPE =96    ,// ENCTYPE
  436. TokAttrib_ENDSPAN =97    ,// ENDSPAN
  437. TokAttrib_ENDSPAN__ =98    ,// ENDSPAN--
  438. TokAttrib_EVENT =99    ,// EVENT
  439. TokAttrib_FACE =100   ,// FACE
  440. TokAttrib_FGCOLOR =101   ,// FGCOLOR
  441. TokAttrib_FILTER =102   ,// FILTER
  442. TokAttrib_FONT =103   ,// FONT
  443. TokAttrib_FONTFAMILY =104   ,// FONTFAMILY
  444. TokAttrib_FONTSIZE =105   ,// FONTSIZE
  445. TokAttrib_FONTSTYLE =106   ,// FONTSTYLE
  446. TokAttrib_FONTVARIANT =107   ,// FONTVARIANT
  447. TokAttrib_FONTWEIGHT =108   ,// FONTWEIGHT
  448. TokAttrib_FOR =109   ,// FOR
  449. TokAttrib_FORM =110   ,// FORM
  450. TokAttrib_FRAME =111   ,// FRAME
  451. TokAttrib_FRAMEBORDER =112   ,// FRAMEBORDER
  452. TokAttrib_FRAMESPACING =113   ,// FRAMESPACING
  453. TokAttrib_FROMELEMENT =114   ,// FROMELEMENT
  454. TokAttrib_HASH =115   ,// HASH
  455. TokAttrib_HEIGHT =116   ,// HEIGHT
  456. TokAttrib_HIDDEN =117   ,// HIDDEN
  457. TokAttrib_HOST =118   ,// HOST
  458. TokAttrib_HOSTNAME =119   ,// HOSTNAME
  459. TokAttrib_HREF =120   ,// HREF
  460. TokAttrib_HSPACE =121   ,// HSPACE
  461. TokAttrib_HTMLFOR =122   ,// HTMLFOR
  462. TokAttrib_HTMLTEXT =123   ,// HTMLTEXT
  463. TokAttrib_HTTPEQUIV =124   ,// HTTPEQUIV
  464. TokAttrib_HTTP_EQUIV =125   ,// HTTP-EQUIV
  465. TokAttrib_ID =126   ,// ID
  466. TokAttrib_IN =127   ,// IN
  467. TokAttrib_INDETERMINATE =128   ,// INDETERMINATE
  468. TokAttrib_INDEX =129   ,// INDEX
  469. TokAttrib_ISMAP =130   ,// ISMAP
  470. TokAttrib_LANG =131   ,// LANG
  471. TokAttrib_LANGUAGE =132   ,// LANGUAGE
  472. TokAttrib_LEFTMARGIN =133   ,// LEFTMARGIN
  473. TokAttrib_LENGTH =134   ,// LENGTH
  474. TokAttrib_LETTERSPACING =135   ,// LETTERSPACING
  475. TokAttrib_LINEHEIGHT =136   ,// LINEHEIGHT
  476. TokAttrib_LINK =137   ,// LINK
  477. TokAttrib_LINKCOLOR =138   ,// LINKCOLOR
  478. TokAttrib_LISTSTYLE =139   ,// LISTSTYLE
  479. TokAttrib_LISTSTYLEIMAGE =140   ,// LISTSTYLEIMAGE
  480. TokAttrib_LISTSTYLEPOSITION =141   ,// LISTSTYLEPOSITION
  481. TokAttrib_LISTSTYLETYPE =142   ,// LISTSTYLETYPE
  482. TokAttrib_LOCATION =143   ,// LOCATION
  483. TokAttrib_LOOP =144   ,// LOOP
  484. TokAttrib_LOWSRC =145   ,// LOWSRC
  485. TokAttrib_MAP =146   ,// MAP
  486. TokAttrib_MARGIN =147   ,// MARGIN
  487. TokAttrib_MARGINBOTTOM =148   ,// MARGINBOTTOM
  488. TokAttrib_MARGINHEIGHT =149   ,// MARGINHEIGHT
  489. TokAttrib_MARGINLEFT =150   ,// MARGINLEFT
  490. TokAttrib_MARGINRIGHT =151   ,// MARGINRIGHT
  491. TokAttrib_MARGINTOP =152   ,// MARGINTOP
  492. TokAttrib_MARGINWIDTH =153   ,// MARGINWIDTH
  493. TokAttrib_MAXLENGTH =154   ,// MAXLENGTH
  494. TokAttrib_METHOD =155   ,// METHOD
  495. TokAttrib_METHODS =156   ,// METHODS
  496. TokAttrib_MIMETYPES =157   ,// MIMETYPES
  497. TokAttrib_MULTIPLE =158   ,// MULTIPLE
  498. TokAttrib_NAME =159   ,// NAME
  499. TokAttrib_NOHREF =160   ,// NOHREF
  500. TokAttrib_NORESIZE =161   ,// NORESIZE
  501. TokAttrib_NOSHADE =162   ,// NOSHADE
  502. TokAttrib_NOWRAP =163   ,// NOWRAP
  503. TokAttrib_OBJECT =164   ,// OBJECT
  504. TokAttrib_OFFSCREENBUFFERING =165   ,// OFFSCREENBUFFERING
  505. TokAttrib_OFFSETHEIGHT =166   ,// OFFSETHEIGHT
  506. TokAttrib_OFFSETLEFT =167   ,// OFFSETLEFT
  507. TokAttrib_OFFSETPARENT =168   ,// OFFSETPARENT
  508. TokAttrib_OFFSETTOP =169   ,// OFFSETTOP
  509. TokAttrib_OFFSETWIDTH =170   ,// OFFSETWIDTH
  510. TokAttrib_OFFSETX =171   ,// OFFSETX
  511. TokAttrib_OFFSETY =172   ,// OFFSETY
  512. TokAttrib_ONABORT =173   ,// ONABORT
  513. TokAttrib_ONAFTERUPDATE =174   ,// ONAFTERUPDATE
  514. TokAttrib_ONBEFOREUNLOAD =175   ,// ONBEFOREUNLOAD
  515. TokAttrib_ONBEFOREUPDATE =176   ,// ONBEFOREUPDATE
  516. TokAttrib_ONBLUR =177   ,// ONBLUR
  517. TokAttrib_ONBOUNCE =178   ,// ONBOUNCE
  518. TokAttrib_ONCHANGE =179   ,// ONCHANGE
  519. TokAttrib_ONCLICK =180   ,// ONCLICK
  520. TokAttrib_ONDATAAVAILABLE =181   ,// ONDATAAVAILABLE
  521. TokAttrib_ONDATASETCHANGED =182   ,// ONDATASETCHANGED
  522. TokAttrib_ONDATASETCOMPLETE =183   ,// ONDATASETCOMPLETE
  523. TokAttrib_ONDBLCLICK =184   ,// ONDBLCLICK
  524. TokAttrib_ONDRAGSTART =185   ,// ONDRAGSTART
  525. TokAttrib_ONERROR =186   ,// ONERROR
  526. TokAttrib_ONERRORUPDATE =187   ,// ONERRORUPDATE
  527. TokAttrib_ONFILTERCHANGE =188   ,// ONFILTERCHANGE
  528. TokAttrib_ONFINISH =189   ,// ONFINISH
  529. TokAttrib_ONFOCUS =190   ,// ONFOCUS
  530. TokAttrib_ONHELP =191   ,// ONHELP
  531. TokAttrib_ONKEYDOWN =192   ,// ONKEYDOWN
  532. TokAttrib_ONKEYPRESS =193   ,// ONKEYPRESS
  533. TokAttrib_ONKEYUP =194   ,// ONKEYUP
  534. TokAttrib_ONLOAD =195   ,// ONLOAD
  535. TokAttrib_ONMOUSEOUT =196   ,// ONMOUSEOUT
  536. TokAttrib_ONMOUSEOVER =197   ,// ONMOUSEOVER
  537. TokAttrib_ONMOUSEUP =198   ,// ONMOUSEUP
  538. TokAttrib_ONREADYSTATECHANGE =199   ,// ONREADYSTATECHANGE
  539. TokAttrib_ONRESET =200   ,// ONRESET
  540. TokAttrib_ONRESIZE =201   ,// ONRESIZE
  541. TokAttrib_ONROWENTER =202   ,// ONROWENTER
  542. TokAttrib_ONROWEXIT =203   ,// ONROWEXIT
  543. TokAttrib_ONSCROLL =204   ,// ONSCROLL
  544. TokAttrib_ONSELECT =205   ,// ONSELECT
  545. TokAttrib_ONSELECTSTART =206   ,// ONSELECTSTART
  546. TokAttrib_ONSUBMIT =207   ,// ONSUBMIT
  547. TokAttrib_ONUNLOAD =208   ,// ONUNLOAD
  548. TokAttrib_OPENER =209   ,// OPENER
  549. TokAttrib_OUTERHTML =210   ,// OUTERHTML
  550. TokAttrib_OUTERTEXT =211   ,// OUTERTEXT
  551. TokAttrib_OUTLINE =212   ,// OUTLINE
  552. TokAttrib_OVERFLOW =213   ,// OVERFLOW
  553. TokAttrib_OWNINGELEMENT =214   ,// OWNINGELEMENT
  554. TokAttrib_PADDING =215   ,// PADDING
  555. TokAttrib_PADDINGBOTTOM =216   ,// PADDINGBOTTOM
  556. TokAttrib_PADDINGLEFT =217   ,// PADDINGLEFT
  557. TokAttrib_PADDINGRIGHT =218   ,// PADDINGRIGHT
  558. TokAttrib_PADDINGTOP =219   ,// PADDINGTOP
  559. TokAttrib_PAGEBREAKAFTER =220   ,// PAGEBREAKAFTER
  560. TokAttrib_PAGEBREAKBEFORE =221   ,// PAGEBREAKBEFORE
  561. TokAttrib_PALETTE =222   ,// PALETTE
  562. TokAttrib_PARENT =223   ,// PARENT
  563. TokAttrib_PARENTELEMENT =224   ,// PARENTELEMENT
  564. TokAttrib_PARENTSTYLESHEET =225   ,// PARENTSTYLESHEET
  565. TokAttrib_PARENTTEXTEDIT =226   ,// PARENTTEXTEDIT
  566. TokAttrib_PARENTWINDOW =227   ,// PARENTWINDOW
  567. TokAttrib_PATHNAME =228   ,// PATHNAME
  568. TokAttrib_PIXELHEIGHT =229   ,// PIXELHEIGHT
  569. TokAttrib_PIXELLEFT =230   ,// PIXELLEFT
  570. TokAttrib_PIXELTOP =231   ,// PIXELTOP
  571. TokAttrib_PIXELWIDTH =232   ,// PIXELWIDTH
  572. TokAttrib_PLUGINS =233   ,// PLUGINS
  573. TokAttrib_PLUGINSPAGE =234   ,// PLUGINSPAGE
  574. TokAttrib_PORT =235   ,// PORT
  575. TokAttrib_POSHEIGHT =236   ,// POSHEIGHT
  576. TokAttrib_POSITION =237   ,// POSITION
  577. TokAttrib_POSLEFT =238   ,// POSLEFT
  578. TokAttrib_POSTOP =239   ,// POSTOP
  579. TokAttrib_POSWIDTH =240   ,// POSWIDTH
  580. TokAttrib_PROMPT =241   ,// PROMPT
  581. TokAttrib_PROTOCOL =242   ,// PROTOCOL
  582. TokAttrib_READONLY =243   ,// READONLY
  583. TokAttrib_READYSTATE =244   ,// READYSTATE
  584. TokAttrib_REASON =245   ,// REASON
  585. TokAttrib_RECORDNUMBER =246   ,// RECORDNUMBER
  586. TokAttrib_RECORDSET =247   ,// RECORDSET
  587. TokAttrib_REF =248   ,// REF
  588. TokAttrib_REFERRER =249   ,// REFERRER
  589. TokAttrib_REL =250   ,// REL
  590. TokAttrib_RETURNVALUE =251   ,// RETURNVALUE
  591. TokAttrib_REV =252   ,// REV
  592. TokAttrib_RIGHTMARGIN =253   ,// RIGHTMARGIN
  593. TokAttrib_ROWS =254   ,// ROWS
  594. TokAttrib_ROWSPAN =255   ,// ROWSPAN
  595. TokAttrib_RULES =256   ,// RULES
  596. TokAttrib_RUNAT =257   ,// RUNAT
  597. TokAttrib_SCREENX =258   ,// SCREENX
  598. TokAttrib_SCREENY =259   ,// SCREENY
  599. TokAttrib_SCRIPTENGINE =260   ,// SCRIPTENGINE
  600. TokAttrib_SCROLL =261   ,// SCROLL
  601. TokAttrib_SCROLLAMOUNT =262   ,// SCROLLAMOUNT
  602. TokAttrib_SCROLLDELAY =263   ,// SCROLLDELAY
  603. TokAttrib_SCROLLHEIGHT =264   ,// SCROLLHEIGHT
  604. TokAttrib_SCROLLING =265   ,// SCROLLING
  605. TokAttrib_SCROLLLEFT =266   ,// SCROLLLEFT
  606. TokAttrib_SCROLLTOP =267   ,// SCROLLTOP
  607. TokAttrib_SCROLLWIDTH =268   ,// SCROLLWIDTH
  608. TokAttrib_SEARCH =269   ,// SEARCH
  609. TokAttrib_SELECTED =270   ,// SELECTED
  610. TokAttrib_SELECTEDINDEX =271   ,// SELECTEDINDEX
  611. TokAttrib_SELF =272   ,// SELF
  612. TokAttrib_SHAPE =273   ,// SHAPE
  613. TokAttrib_SHAPES =274   ,// SHAPES
  614. TokAttrib_SHIFTKEY =275   ,// SHIFTKEY
  615. TokAttrib_SIZE =276   ,// SIZE
  616. TokAttrib_SPAN =277   ,// SPAN
  617. TokAttrib_SOURCEINDEX =278   ,// SOURCEINDEX
  618. TokAttrib_SRC =279   ,// SRC
  619. TokAttrib_SRCELEMENT =280   ,// SRCELEMENT
  620. TokAttrib_SRCFILTER =281   ,// SRCFILTER
  621. TokAttrib_STANDBY =282   ,// STANDBY
  622. TokAttrib_START =283   ,// START
  623. TokAttrib_STARTSPAN =284   ,// STARTSPAN
  624. TokAttrib_STATUS =285   ,// STATUS
  625. TokAttrib_STYLE =286   ,// STYLE
  626. TokAttrib_STYLEFLOAT =287   ,// STYLEFLOAT
  627. TokAttrib_TABINDEX =288   ,// TABINDEX
  628. TokAttrib_TAGNAME =289   ,// TAGNAME
  629. TokAttrib_TARGET =290   ,// TARGET
  630. TokAttrib_TEXT =291   ,// TEXT
  631. TokAttrib_TEXTALIGN =292   ,// TEXTALIGN
  632. TokAttrib_TEXTDECORATION =293   ,// TEXTDECORATION
  633. TokAttrib_TEXTDECORATIONBLINK =294   ,// TEXTDECORATIONBLINK
  634. TokAttrib_TEXTDECORATIONLINETHROUGH =295   ,// TEXTDECORATIONLINETHROUGH
  635. TokAttrib_TEXTDECORATIONNONE =296   ,// TEXTDECORATIONNONE
  636. TokAttrib_TEXTDECORATIONOVERLINE =297   ,// TEXTDECORATIONOVERLINE
  637. TokAttrib_TEXTDECORATIONUNDERLINE =298   ,// TEXTDECORATIONUNDERLINE
  638. TokAttrib_TEXTINDENT =299   ,// TEXTINDENT
  639. TokAttrib_TEXTTRANSFORM =300   ,// TEXTTRANSFORM
  640. TokAttrib_TITLE =301   ,// TITLE
  641. TokAttrib_TOELEMENT =302   ,// TOELEMENT
  642. TokAttrib_TOP =303   ,// TOP
  643. TokAttrib_TOPMARGIN =304   ,// TOPMARGIN
  644. TokAttrib_TRUESPEED =305   ,// TRUESPEED
  645. TokAttrib_TYPE =306   ,// TYPE
  646. TokAttrib_UPDATEINTERVAL =307   ,// UPDATEINTERVAL
  647. TokAttrib_URL =308   ,// URL
  648. TokAttrib_URN =309   ,// URN
  649. TokAttrib_USEMAP =310   ,// USEMAP
  650. TokAttrib_USERAGENT =311   ,// USERAGENT
  651. TokAttrib_VALIGN =312   ,// VALIGN
  652. TokAttrib_VALUE =313   ,// VALUE
  653. TokAttrib_VERSION =314   ,// VERSION
  654. TokAttrib_VERTICALALIGN =315   ,// VERTICALALIGN
  655. TokAttrib_VIEWASTEXT =316   ,// VIEWASTEXT
  656. TokAttrib_VISIBILITY =317   ,// VISIBILITY
  657. TokAttrib_VLINK =318   ,// VLINK
  658. TokAttrib_VLINKCOLOR =319   ,// VLINKCOLOR
  659. TokAttrib_VOLUME =320   ,// VOLUME
  660. TokAttrib_VRML =321   ,// VRML
  661. TokAttrib_VSPACE =322   ,// VSPACE
  662. TokAttrib_WIDTH =323   ,// WIDTH
  663. TokAttrib_WRAP =324   ,// WRAP
  664. TokAttrib_X =325   ,// X
  665. TokAttrib_Y =326   ,// Y
  666. TokAttrib_ZINDEX =327   // ZINDEX
  668. } AttributeTokens;
  670. typedef enum tagTagTokens
  671. {
  672. TokTag_START  = 1, /* <   */
  673. TokTag_END  = 2, /* </  */
  674. TokTag_CLOSE  = 3, /* >   */
  675. TokTag_BANG = 4, /* <!  */
  676. TokTag_PI  = 5, /* <?  */
  677. TokTag_SSSOPEN = 6,  /* <%  */
  678. TokTag_SSSCLOSE = 7,  /* %>  */
  679. TokTag_SSSOPEN_TRIEDIT = 8,  /* <%  inside <script block>*/
  680. TokTag_SSSCLOSE_TRIEDIT = 9  /* %>  inside <script block>*/
  681. } TagTokens;
  683. enum HtmlToken
  684. {
  685.     tokUNKNOWN = tokclsError,
  686.     tokIDENTIFIER = tokclsIdentMin,     // identifier/plain text
  687.     tokNEWLINE = tokclsUserMin,
  688. //
  689. // colored HTML items
  690. //
  691.     tokElem,     // element name
  692.     tokAttr,     // attribute name
  693. tokValue,    // attribute value
  694. tokComment,  // comment
  695.     tokEntity,   // entity reference: e.g. "&nbsp;"
  696. tokTag,      // tag delimiter
  697. tokString,   // string
  698. tokSpace,    // whitespace and unrecognized text in a tag
  699. tokOp,       // operator
  700. tokSSS,      // server-side script <%...%>
  701. //
  702. // parsed HTML and SGML items - tokens folded with items above
  703. //
  704. tokName,     // NAMETOKEN
  705. tokNum,      // NUMTOKEN
  706. tokParEnt,   // parameter entity: e.g. "%name;"
  707. tokResName,  // reserved name
  708. //
  709. // operators - colors folded with tokOp above
  710. //
  711. tokOP_MIN,
  712. tokOpDash = tokOP_MIN,         // -
  713. tokOP_SINGLE,
  714. tokOpQuestion = tokOP_SINGLE,  // ?
  715. tokOpComma,                    // ,
  716. tokOpPipe,                     // |
  717. tokOpPlus,                     // +
  718. tokOpEqual,                    // =
  719. tokOpStar,                     // *
  720. tokOpAmp,                      // &
  721. tokOpCent,                     // %
  722. tokOpLP,                       // (
  723. tokOpRP,                       // )
  724. tokOpLB,                       // [
  725. tokOpRB,                       // ]
  726.     tokOP_MAX,                     // token op MAX
  728.     tokEOF
  729. };
  731. // the state of lexical analyser
  732. //
  733. // We're generally in one of two states:
  734. // 1.  scanning text
  735. // 2.  scanning tag info
  736. //
  737. // Within these states, the lexer can be in several substates.
  738. //
  739. // Text substates:
  740. //
  741. //      inText       HTML text content -- process markup
  742. //      inPLAINTEXT  after a <PLAINTEXT> tag - remainder of file is not HTML
  743. //      inCOMMENT    COMMENT content -- suppress all markup but </COMMENT>
  744. //               color text as comment
  745. //      inXMP        XMP content -- suppress all markup but </XMP>
  746. //      inLISTING    LISTING content -- suppress all markup but </LISTING>
  747. // inSCRIPT  SCRIPT content -- colorize with script engine
  748. //
  749. // Tag substates:
  750. //
  751. // inTag       inside a tag < ... >
  752. // inBangTag   inside an SGML MDO tag <! ... >
  753. // inPITag     inside an SGML Prcessing Instruction tag <? ... >
  754. // inHTXTag    inside an ODBC HTML Extension template tag <% ... %>
  755. // inEndTag    inside an end tag </name>
  756. // inAttribute expecting an attribute
  757. // inValue     expecting an attribute value (right of =)
  758. // inComment   inside a comment
  759. // inString        inside a " string, terminated by "
  760. // inStringA   inside a ' (Alternate) string, terminated by '
  761. //
  762. enum HtmlLexState
  763. {
  764. // tag types
  765. inTag        = 0x00000001, // <  ... >
  766. inBangTag    = 0x00000002, // <! ... >
  767. inPITag      = 0x00000004, // <? ... >
  768. inHTXTag     = 0x00000008, // <% ... %>
  769. inEndTag         = 0x00000010, // </ ... >
  771. // tag scanning states
  772. inAttribute  = 0x00000020,
  773. inValue      = 0x00000040,
  775. inComment    = 0x00000080,
  776. inString     = 0x00000100,
  777. inStringA    = 0x00000200,
  778. inScriptText = 0x00000400,
  779. inNestedQuoteinSSS= 0x00000800, // e.g. attr="<%if something Response.Write("X")%>"
  781. // text content model states
  782. inPLAINTEXT  = 0x00001000,
  783. inCOMMENT    = 0x00002000,
  784. inXMP        = 0x00004000,
  785. inLISTING    = 0x00008000,
  786. inSCRIPT  = 0x00010000,
  788. // sublanguages
  789. inVariant    = 0x00F00000, // mask for sublang index
  790. inHTML2      = 0x00000000,
  791. inIExplore2  = 0x00100000,
  792. inIExplore3  = 0x00200000,
  794. //  script languages
  795. inJavaScript = 0x01000000,
  796. inVBScript   = 0x02000000,
  797. inServerASP  = 0x04000000, // in triedit's special script (serverside->clientside conversion)
  799. };
  801. // masks for subsets of the state
  802. // These masks will not show up in the generated file
  803. // Just copy paste these into your file.
  804. #define INTAG (inTag|inBangTag|inPITag|inHTXTag|inEndTag)
  805. #define INSTRING (inString|inStringA)
  806. #define TAGMASK (INTAG|inAttribute|inValue|inComment|INSTRING)
  807. #define TEXTMASK (inPLAINTEXT|inCOMMENT|inXMP|inLISTING)
  808. #define STATEMASK (TAGMASK|TEXTMASK)
  810. #endif __INC_TOKEN_H__