让AI处理十几万行Excel、生成上百MB的SQL是否意味着模型必须读完全部内容并消耗同等规模的Token答案是否定的。关键在于模型负责思考和编排程序负责批量计算。01 | Token到底花在哪里Token可以简单理解为模型读取和生成文本时使用的计量单位。只有进入模型上下文的内容才会占用对应的Token。如果把完整Excel转换成文本再逐行发送给模型确实会产生巨大的Token开销还可能超过上下文限制。但在实际工程中大文件通常留在本地由Python等程序直接读取。模型只需要看到文件信息、少量样例、异常和汇总结果。因此一个145MB的SQL文件可以被生成出来却不需要让145MB文本全部经过模型。需要说明的是这里的145MB只是一个示例量级Token与字节数并非线性对应具体换算取决于文本编码、语言和分词方式应以实际模型的计量结果为准。下面这张图对比了全量塞给模型和本地程序处理两条路径中Token实际流经的位置本地程序处理低Token开销完整Excel本地程序读取文件信息/样例/异常/汇总模型上下文生成SQL文件全量塞给模型高Token开销完整Excel转成文本逐行发送模型上下文02 | 模型与程序如何分工这类任务可以分成判断和执行两部分。模型负责设计规则例如空单元格转换为NULL日期转换为Oracle的TIMESTAMP文本中的单引号需要转义字段长度要根据数据统计批量插入不能超过数据库限制。本地程序负责重复劳动逐行读取Excel、统计字段、转换单元格、写入SQL文件。相同的规则可以稳定执行十几万次而不需要模型逐个处理单元格。可以把模型理解成建筑师把程序理解成施工机械。建筑师不必亲手搬运每块砖但需要确定图纸、材料标准和验收规则。这种分工可以用下面的流程表示——模型只参与判断环节重复的执行环节完全交给程序模型设计规则空值转 NULL日期转 TIMESTAMP单引号转义字段长度按统计确定批量插入不超过数据库限制本地程序批量执行逐行读取/转换/写入SQL03 | 大文件仍然需要完整读取不消耗等量Token不等于不读取完整文件。为了保证结果可靠程序仍然可以流式扫描每一行。所谓流式是指读一部分、处理一部分不把整个工作簿一次性放进内存。需要注意的是流式读取通常不保留全部原始数据因此读取两遍意味着第二遍需要重新读取源文件或借助临时文件/中间结果而不是复用第一遍的内存数据。例如生成数据库初始化脚本时可以读取两遍第一遍统计表头、行数、字段类型和最大长度第二遍按照确定的规则生成SQL。两次行数不一致时立即报错。该方案假设两遍读取之间源文件未被修改若文件可能被并发写入应先做快照或校验和锁定避免统计结果与生成内容不一致。文件读取消耗的是本地CPU、内存和磁盘资源而不是模型Token。两遍读取的流程如下第二遍结束后会与第一遍的行数做一致性校验不一致一致源文件第一遍统计表头/行数/字段类型/最大长度第二遍按规则生成SQL两次行数是否一致立即报错并中止不输出SQL文件输出SQL文件04 | 如何保障生成结果准确准确性主要来自确定性规则和自动校验而不是依靠模型记住全部数据。为源文件计算SHA-256确认输入是否变化。全量统计数据类型和字段长度而不是只抽查前几行。对空值、数字、文本、日期分别采用固定转换规则。对日期与文本混用等异常采取保守策略避免擅自猜测。对比源数据行数和生成SQL中的写入行数。导入数据库后再核对各表实际行数。需要注意静态检查不能完全替代真实数据库验证。数据库版本、字符集、权限和表空间等问题只有在测试库实际执行后才能最终确认。这些校验点分布在从输入到入库的不同阶段可以按下面的顺序逐层把关源文件 SHA-256全量统计类型与字段长度固定转换规则处理空值/数字/文本/日期异常保守处理不擅自猜测对比源数据行数与SQL写入行数导入数据库后核对各表实际行数测试库实际执行验证05 | 这种模式适合哪些任务当工作同时满足数据量大、规则明确、重复度高时通常适合这种模式例如日志分析、代码批量修改、数据格式转换、报表生成和数据库迁移。但如果规则难以形式化、需要频繁人工判断或数据中存在大量非结构化异常则仍需模型或人工介入不能完全交给程序。真正高效的AI工程并不是把所有内容都塞给模型而是让模型生成可靠的处理工具再通过摘要、异常和校验结果掌握全局。这既节省Token也让过程更可重复、更容易审计。