Factorio学习环境
基于Factorio的LLM能力评估环境用游戏工厂测试大模型的规划与自动化能力
模型训练与部署研究工具 语言模型评估Factorio游戏长期规划程序合成资源优化开源项目
前往官网 →
产品亮点
开放式挑战，难度从基础自动化到复杂工厂逐级提升
两种评估协议：Lab-play含24个结构化任务，Open-play无预设终点
通过Python API提交程序并接收反馈
用生产得分和里程碑评估模型表现
开源项目，免费使用
你能用它做什么
- 研究人员评估Claude 3.5-Sonnet建设大型工厂的长期规划能力
- 开发者测试新语言模型处理复杂生产任务的编程能力
- 技术爱好者对比GPT-4o和Deepseek-v3在结构化任务中的表现
怎么用
- 1 准备能运行相关程序的环境，安装Python等必要工具
- 2 从项目开源渠道获取FLE的代码及相关文件
- 3 熟悉FLE提供的Python API，了解craft_item、place_entity等函数
- 4 根据需求选择Lab-play或Open-play评估协议
- 5 编写模型与环境交互的程序，设定目标和策略
- 6 运行程序，根据生产得分、里程碑和错误反馈分析模型性能
- 7 根据分析结果调整模型或程序，再次测试
适合谁使用
需要评估大模型规划与自动化能力的AI研究人员想测试新模型在复杂任务中表现的算法开发者关注模型局限性的学术团队和技术爱好者研究程序合成和资源优化方向的学生和学者
优点
- 开放式难度设计，能持续考验模型能力上限
- 结构化任务和开放式任务两种协议，适用不同研究目的
- 通过生产得分和里程碑量化模型表现
- 开源免费，研究社区可以直接使用和复现
局限
- 需要Python编程基础，上手有学习成本
- 依赖Factorio游戏环境，安装和配置相对复杂
- 测试过程消耗算力和时间，大规模评估成本不低
- 免费开源项目，后续维护和更新取决于社区
Factorio学习环境 是什么
Factorio学习环境（FLE）是一个基于《Factorio》游戏构建的开源框架，用来评估大语言模型在长期规划、程序合成和资源优化方面的能力。它把游戏里的工厂建设变成测试场景，模型需要通过Python API与环境交互，提交程序并接收反馈。项目免费使用，面向AI研究人员和开发者。
你能用它做什么
- 用Lab-play的24个结构化任务针对性评估模型特定能力
- 用Open-play让模型在无预设终点的情况下从零建设工厂
- 通过生产得分和达成的里程碑量化模型表现
- 观察模型在空间推理、错误恢复和长期规划上的不足
适合谁使用
- 需要测试大模型综合能力的AI研究人员
- 想评估新模型在复杂任务中表现的算法开发者
- 研究程序合成、资源优化方向的学术团队
- 关注不同模型能力差异的技术爱好者
需要留意什么
使用FLE需要Python基础和一定的环境配置能力，安装过程相对复杂。测试过程会消耗算力和时间，大规模评估对硬件有要求。项目是开源免费的，后续更新和维护依赖社区进展。此外，评估结果受模型能力、提示策略和程序实现等多方面影响，解读时需要结合具体实验设置来看。
常见问题
FLE需要买Factorio游戏吗？
项目基于《Factorio》构建，具体是否需要游戏本体及环境配置方式，建议查看项目开源页面的说明。
两种评估协议有什么区别？
Lab-play包含24个结构化任务，用于针对性评估特定能力；Open-play没有预设终点，让模型从无到有建设工厂，考察自主设定和实现目标的能力。
需要什么技术基础？
需要能运行Python环境，并了解基本的API调用方式，研究复杂任务时可能还需要调整模型交互逻辑。
为什么说它免费
官网写明的免费方式： 免费使用免费
免费额度、试用天数与功能范围由官网决定，随时可能调整，请以官网为准。
产品截图
截图归档自收录页面，仅供预览参考。
