一般来说，计算机系的毕业生很容易编写出来一个词法分析器，能够将输入的文本解析为 Token 。但是业界已经有了成熟完善的方法和工具，Flex 就是其中的一个
Flex是一种用于生成词法分析器的工具，通过读取包含正则表达式和对应C代码的规则文件，自动生成可识别特定词法模式的C语言源代码。其输入文件由定义区、规则区、用户代码区组成，支持与语法分析器生成工具Bison协同工作。生成的词法分析器可应用于编译器开发、复杂系统建模、教学实验等领域，具有正则表达式语法兼容Lex、错误处理机制完善、自定义函数扩展灵活等技术特性。
Flex通过解析用户定义的正则表达式规则，生成C语言实现的词法分析器源码，可自动将输入文本分解为预定义的词法单元。生成的词法分析器包含默认入口函数，支持通过重定义宏实现自定义输入源。工具保持与Lex语法的高度兼容性，生成的代码可直接嵌入到C/C++工程项目中使用。
从上面也可以看到使用 Flex 的好处是：可以通过定义正则表达式规则来进行此法分析，方便编写C代码，此外生成的结果可以配合 Bison进行语法分析。之前提到过， ACPICA 提供的套件就是基于 Flex和Bison 编写的。
1.根据【参考1】配置环境
2.编写 lexer.l 代码如下：
%{
#include <stdio.h>
#include <stdlib.h>
// 手动定义Token类型（若无Bison）
#define NUMBER 256
#define ID 257
#define PLUS 258
int line_num = 1;
%}
DIGIT [0-9]
LETTER [a-zA-Z]
%%
{DIGIT}+ { printf("NUMBER: %s\n", yytext); return NUMBER; }
{LETTER}+ { printf("IDENTIFIER: %s\n", yytext); return ID; }
"+" { printf("PLUS\n"); return PLUS; }
"\n" { line_num++; }
[ \t] ; // 忽略空白字符
. { printf("Unknown char: %s\n", yytext); }
%%
int yywrap() { return 1; }
3.Visual C++ 2019 编写 flextest.c 文件（不是 .cpp）如下：
#include <stdio.h>
#pragma warning(disable:4996)
#include "lex.yy.c" // 包含Flex生成的代码
int main() {
yyin = fopen("input.txt", "rb");
if (!yyin) {
perror("Failed to open input file");
return 1;
}
while (yylex()) {
}
fclose(yyin);
return 0;
}
4.使用时，先运行 flex lexer.l 生成 lex.yy.c（如果需要 debug 可以使用 flex -d lexer.l）。
5.编译flextest.c，然后配合如下测试文件
123
abc
+
xyz 456
@
123123
1222
4dd
6.运行结果如下
可以看到输出了识别到的各种Token