Serhiy Storchaka | 8ac6581 | 2018-12-22 11:18:40 +0200 | [diff] [blame] | 1 | ENDMARKER |
2 | NAME | ||||
3 | NUMBER | ||||
4 | STRING | ||||
5 | NEWLINE | ||||
6 | INDENT | ||||
7 | DEDENT | ||||
8 | |||||
9 | LPAR '(' | ||||
10 | RPAR ')' | ||||
11 | LSQB '[' | ||||
12 | RSQB ']' | ||||
13 | COLON ':' | ||||
14 | COMMA ',' | ||||
15 | SEMI ';' | ||||
16 | PLUS '+' | ||||
17 | MINUS '-' | ||||
18 | STAR '*' | ||||
19 | SLASH '/' | ||||
20 | VBAR '|' | ||||
21 | AMPER '&' | ||||
22 | LESS '<' | ||||
23 | GREATER '>' | ||||
24 | EQUAL '=' | ||||
25 | DOT '.' | ||||
26 | PERCENT '%' | ||||
27 | LBRACE '{' | ||||
28 | RBRACE '}' | ||||
29 | EQEQUAL '==' | ||||
30 | NOTEQUAL '!=' | ||||
31 | LESSEQUAL '<=' | ||||
32 | GREATEREQUAL '>=' | ||||
33 | TILDE '~' | ||||
34 | CIRCUMFLEX '^' | ||||
35 | LEFTSHIFT '<<' | ||||
36 | RIGHTSHIFT '>>' | ||||
37 | DOUBLESTAR '**' | ||||
38 | PLUSEQUAL '+=' | ||||
39 | MINEQUAL '-=' | ||||
40 | STAREQUAL '*=' | ||||
41 | SLASHEQUAL '/=' | ||||
42 | PERCENTEQUAL '%=' | ||||
43 | AMPEREQUAL '&=' | ||||
44 | VBAREQUAL '|=' | ||||
45 | CIRCUMFLEXEQUAL '^=' | ||||
46 | LEFTSHIFTEQUAL '<<=' | ||||
47 | RIGHTSHIFTEQUAL '>>=' | ||||
48 | DOUBLESTAREQUAL '**=' | ||||
49 | DOUBLESLASH '//' | ||||
50 | DOUBLESLASHEQUAL '//=' | ||||
51 | AT '@' | ||||
52 | ATEQUAL '@=' | ||||
53 | RARROW '->' | ||||
54 | ELLIPSIS '...' | ||||
Emily Morehouse | 8f59ee0 | 2019-01-24 16:49:56 -0700 | [diff] [blame^] | 55 | COLONEQUAL ':=' |
Serhiy Storchaka | 8ac6581 | 2018-12-22 11:18:40 +0200 | [diff] [blame] | 56 | |
57 | OP | ||||
58 | ERRORTOKEN | ||||
59 | |||||
60 | # These aren't used by the C tokenizer but are needed for tokenize.py | ||||
61 | COMMENT | ||||
62 | NL | ||||
63 | ENCODING |