【方正金工】不同大语言模型产品操作性能及进阶应用比较——ChatGPT应用探讨系列之三

方正曹春晓刘洋邓璐 2026-06-30 置信度: high

综合质量 4 /5

新颖性 4 /5

可复现性 3 /5

核心内容

本报告系统评测了6种大语言模型在量化金融常见任务中的表现，包括表格数据分析（计算收益率）、文本模仿生成点评、以及代码生成（Wind数据下载、动量策略回测、基金收益指标计算）。结果表明，GPT4在各项任务中表现最佳但存在交互频次限制，New Bing次之，两者在理解复杂数据结构和生成可执行Python代码方面具有明显优势。

经济逻辑

无直接经济逻辑，属大语言模型应用能力评测

超额收益逻辑

无

构造细节 [strategy]

数据输入

: (日频): (日频)

组合方式

无

绩效

GPT4与New Bing较高

代码生成正确率

GPT3.5、GPT4和New Bing较高

文本模仿成功率

基准: 无

回测期: 无

报告对比了GPT3.5、GPT4、文心一言、讯飞星火、Bard和New Bing在表格分析、文本模仿及代码生成（Wind API调用、动量策略、基金收益分析）方面的能力。结果表明，GPT4和New Bing在代码生成任务中表现最优，能够一次性生成正确可运行的代码；其他模型在不同任务中存在导入模块、读取数据或计算逻辑的错误。

收益归因

缺口: 报告未涉及收益归因分析，仅测试了各语言模型的代码生成能力及基本操作性能。

稳健性

子样本稳定性: 大模型存在随机性，每次生成答案可能不同

风格偏差: 测试主要针对代码生成与操作性能，未涵盖中文语境问答交互优势

由于大语言模型的随机性和版本迭代，测试结果存在时效性，且不同模型在不同任务上的表现可能随提示词改变而波动。

数据依赖

所需数据: A股日度行情数据、基金净值数据、Wind API接口权限

可复现性: easy

所需数据均为常规量化研究基础数据，获取难度低，结合报告中提供的Prompt描述可轻松复现代码生成测试。

新颖性评估 [综述]

对2023年主流大语言模型在金融量化代码生成场景的能力进行了早期横向对比评测，提供了具体的应用案例与Prompt参考。

不足与缺陷

评测为单次随机测试，样本量极小，缺乏统计学意义上的稳健性
模型版本更新极快，报告基于2023年5月的测试结果，结论时效性极差
未构建标准化的代码质量评价体系（如时间复杂度、空间复杂度、边界处理），仅以能否运行为准

可复用元素

提供了针对金融场景的高质量Prompt模板，可直接用于生成数据下载与策略回测脚手架代码
指出了各模型在处理特定库（如WindPy）和复杂数据结构时常见的易错点

启发

可将大模型代码生成能力集成入量化研究平台，实现通过自然语言快速生成因子计算与回测代码
提供详尽的数据结构和计算逻辑描述是提高大模型代码生成正确率的关键

改进方向

构建基于大模型反馈的自动化因子挖掘与回测系统。利用相似逻辑，将自然语言描述的因子逻辑交由大模型生成计算代码，放入回测引擎运行，将报错信息和回测指标反馈给大模型进行迭代修正，形成自动化闭环。

基于: 报告中利用大模型生成动量策略代码的逻辑预期收益: 大幅降低因子研发的人力成本，将研究员从底层代码编写中解放，专注于因子逻辑的构思与描述，提升整体研发效率。

复现计划

1. 准备A股日度行情.feather和nav.xlsx测试数据；2. 使用报告中提供的Prompt模板，向GPT4及New Bing请求生成对应Python代码；3. 在本地配置WindPy、pandas等环境，运行生成的代码；4. 检查代码是否正确计算月涨跌幅分10组及输出下月收益均值，验证基金收益指标（年化收益率、波动率、最大回撤、夏普）的准确性。