【东吴金工于明明团队】深度学习系列之四：从人工写因子到AI写因子：LLM-MCTS驱动的可解释因子迭代框架
方法：深度学习、强化学习 · 研究类型：AI·机器学习、技术面(量价) · 频率：分钟 · 资产：A股
对比详情 综合质量 4 /5
新颖性 4 /5
可复现性 3 /5
分类
AI·机器学习技术面(量价) 分钟 A股 深度学习强化学习
采用DDQN强化学习模型对A股ETF及个股进行10分钟频择时，样本外平均胜率约53%，显著跑赢基准。
关键结论
样本外期间(2023/01/01~2025/05/31)在4个标的中胜率51.6%-54.8%，累计超额收益10.9%-64.9%。
核心要点
- 采用Double Deep Q-Network (DDQN)模型进行价格择时
- 输入10分钟频量价数据，输出买卖、持有、空仓信号
- 遵循T+1交易规则，且每日仅执行首个触发的买卖信号
- 样本外测试在4个标的中均获正向超额收益
核心内容
本文作为强化学习系列首篇，系统介绍了状态、动作、环境、状态转移、奖励、回报等RL基本概念，并提出基于DDQN模型的10分钟频择时策略。策略通过与环境交互最大化累计奖励，克服了传统深度学习仅关注固定窗口预测的局限。在实证中，模型每10分钟输出信号，执行T+1规则，在沪深300、中证500、中证1000 ETF及个股上均取得显著超额收益。
经济逻辑
传统深度学习侧重单期预测，易陷入短视；强化学习通过最大化累计回报，直接优化长期投资目标。在高频量价数据中，市场微观结构蕴含非线性规律，DDQN通过强大的非线性拟合能力学习复杂市场状态下的最优交易动作，从而捕获中短期趋势获取超额收益。
超额收益逻辑
利用强化学习直接优化累计收益的特性，在10分钟频的高信噪比量价数据中学习最优交易动作，避免了传统监督学习的单步预测偏差，通过精准择时低买高卖获取超额收益。
构造细节 [strategy]
数据输入
: (10分钟)
组合方式
单一标的择时，无组合构建
绩效
52.8%, 53.3%, 54.8%, 51.6%
胜率
10.9%, 35.5%, 64.9%, 37.8%
超额收益
基准: 沪深300ETF、中证500ETF、中证1000ETF及个股
回测期: 2023/01/01~2025/05/31
以DDQN模型为核心，采用10分钟频量价数据对4个标的进行择时，样本外期间平均胜率约为51.6%-54.8%，累计收益分别跑赢基准10.9%、35.5%、64.9%和37.8%。
收益归因
缺口: 研报未对超额收益来源进行归因分析
稳健性
子样本稳定性: 在沪深300、中证500、中证1000及个股四种不同风格和流动性标的中均取得正超额且胜率超50%，显示出一定的跨标的稳定性。
风格偏差: 偏向于趋势跟踪或波动捕捉，研报未做详细风格归因。
模型在多标的上表现一致，具备一定泛化能力，但面对极端市场环境的稳健性未做压力测试。
数据依赖
所需数据: 10分钟频量价数据
可复现性: medium
数据为常规量价，获取容易；但奖励函数具体公式、网络结构和超参数未披露，需自行摸索。
相关研究
传统深度学习(CNN/RNN) — 前序报告使用，侧重固定窗口预测，本文引入RL侧重长期累计收益优化，是其进阶。
Q-Learning — 本文介绍的基础算法，DDQN是其改进版，解决过估计问题。
新颖性评估 [新应用]
将DDQN算法应用于A股10分钟频择时，并结合T+1规则和每日单信号机制设计交易逻辑，是强化学习在量化投资择时中的具体落地应用。
不足与缺陷
- 奖励函数的具体设计未披露，这是RL成败关键
- 网络结构和超参数缺失，复现难度大
- 交易成本未明确，高频择时对成本极敏感
- 每日仅取首个信号的逻辑略主观，可能非最优
可复用元素
- DDQN模型框架用于择时的思路
- 10分钟频结合T+1规则的回测设计
- 将投资转化为状态-动作-奖励的范式
启发
- RL在量化中更应关注长期收益而非单步预测
- 高频数据结合RL可能提取出传统线性模型难以捕捉的微观结构特征
改进方向
引入PPO等策略梯度算法，并扩展为连续仓位管理，同时将订单簿微观结构数据加入状态特征。
基于: DDQN离散动作及纯量价数据 预期收益: 连续仓位调节可减少频繁切换带来的滑点损失，丰富特征可提升状态表征能力，预期获得更平滑的净值曲线。
复现计划
1. 准备标的10分钟频OHLCV数据；2. 定义状态(如归一化价格序列、技术指标)；3. 设计奖励(如对数收益率减去交易成本)；4. 搭建DDQN网络(如3层MLP+ReLU)；5. 训练模型；6. 编写回测引擎，严格实现T+1及每日首信号规则进行验证。
实体
强化学习 [method]深度学习 [method]DDQN [model]Q-Learning [method]安宁宁 [person]
LOCAL SIMILARITY
相似报告
【广发金融工程】2025年量化精选——AI量化及基本面量化系列专题报告
共同实体：强化学习、深度学习 · 方法：深度学习、强化学习 · 研究类型：AI·机器学习、技术面(量价) · 频率：分钟
对比详情