← 返回 Quant Digests · 站点首页

别把这篇 2021 *Applied Soft Computing* 论文只读成 RL demo：对 desk 更该先测的是「LSTM forecast prior × PPO inventory shell × Omega reward」BTC 单币 raw alpha

• 时间：2026-03-31 09:41 UTC
• 类型：2021 *Applied Soft Computing* 论文全文（arXiv 绿 OA 可读）+ 本地全文抽取 + Crossref/OpenAlex 元数据交叉
• 主题类型：raw alpha
• 基础 alpha：BTC 单币短窗 directional drift——用最近一段价格路径去预测下一 bar 的方向/幅度，再把这个 forecast 转成 long / short / hold 的离散持仓状态机
• 是否可独立复现：是
• 是否可直接落地完整策略（entry/exit/sizing/risk/cost）：是
• 主题标签：raw-alpha/single-asset/directional/lstm/ppo/omega-ratio/inventory-shell/high-frequency/hourly/btc/binance/15m/5m/3m/1m/paper/public-data/cost
• 证据类型：全文规则 + 参数级设定 + 对照组收益表 + 开源公共数据来源

1. 这次看了什么

这次看的是 Fengrui Liu, Yang Li, Baitong Li, Jiaxin Li, Huiyang Xie (2021) 的论文 _Bitcoin transaction strategy construction based on deep reinforcement learning_。如果只把它读成“又一篇用 RL 做 BTC 交易的论文”，那对当前 desk 价值很一般；但如果把它拆开看，它其实提供了一张现在素材池里还比较缺的卡：

> 不是只给一个 forecast，也不是只给一个 filter，而是把“单币方向预测”直接装进一个可执行的 inventory shell，连 reward、动作空间、交易成本、最小下单单位都写出来了。

这点和最近一批 digest 很不一样。最近我们积累得比较多的是：

• cross-sectional / relative-value / pairs / funding / options 这些 横截面或相对价值 raw alpha；
• 少量 event-driven / microstructure directional 卡；
• 但单币方向型 alpha 如何被包装成完整策略，反而没有那么多“规则写全”的来源。

而这篇论文的价值就在这里：它的 headline 是 PPO，但对 desk 更值得先偷的，不是“把 PPO 原封不动搬过来”，而是三件更朴素、也更容易转成 15m/5m/3m 实验的东西：

1. forecast prior：先承认 BTC 短窗里存在可学的 directional drift；
2. inventory shell：别每 bar 重新拍脑袋，而是让预测去驱动离散仓位切换；
3. Omega reward：别只看 raw PnL，让 agent 在奖励函数里同时感知收益与 downside。

2. 核心结论

• 一句话结论：这篇东西的 base alpha 很清楚——BTC 最近价格路径里存在可交易的短窗 directional drift；作者先比较多个静态预测器，确认 LSTM 最能抓住这个 drift，再让 PPO 把 forecast 映射成离散持仓动作，因此得到一个完整单币 raw alpha 策略。
• 论文使用的数据来自 CryptoDataDownload，共 30,984 条有效记录，覆盖 2017-08-17 04:00 到 2021-02-27 00:00。按记录数倒推，原始实验口径基本是 hourly BTC。
• 在静态预测层，作者比较了 SVM / MLP / LSTM / TCN / Transformer，测试集最优 MSE 为：
• LSTM: 0.0015
• Transformer: 0.0044
• SVM: 0.0084
• TCN: 0.01327
• MLP: 0.0251

对这篇论文来说，真正的 signal source 不是 PPO，而是“LSTM 确实比别的模型更能学到 next-step drift”。

• 在交易层，论文的 Proposed Framework（LSTM + PPO） 在测试集上的收益率是 341.28%，对照组分别为：
• Non-named strategy (i): 309.61%
• VMA oscillator: 302.12%
• Buy & Hold: 301.79%
• Golden Cross/Death Cross: 26.11%
• Improved Momentum: 8.17%
• 也就是说，论文最值得 desk 记住的不是“RL 很神”，而是：
• 只做 forecast 再生硬阈值化，并不是最优；
• 让 forecast 进入一个会考虑库存路径与风险偏好的动作壳子，结果更好。
• 论文还明确写了 friction 假设：
• 初始资金：$10,000
• 手续费：每次交易额的 0.25%
• 最大滑点率：2%
• 最小交易单位：0.125 BTC
• 动作空间：24 个离散动作（在 buy / sell / hold 三类上再离散仓位/数量）

对 short-cycle desk 来说，这些参数未必能直接照搬，但它们非常宝贵，因为它们把论文从“模型预测”变成了“完整策略说明书”。

3. 为什么和当前项目有关

这轮任务默认优先补 可独立复现且能直接落地成完整策略的 raw alpha。这篇东西值得入池，原因不是它最“新”，而是它刚好补上当前池子里一块相对薄的区域：

1. 它是 raw alpha，不是 filter。

base alpha 很清楚，就是 BTC 单币短窗 directional drift。

2. 它不是只有入场，没有出场。

论文把动作空间、reward、手续费、最小交易单位都写了，能直接拆成 entry/exit/sizing/risk/cost。

3. 它能服务于更快频的最小实验。

虽然原文是 hourly，但结构是 bar-based 的，且 state window 只有 10 个 time steps；把同样骨架压到 15m/5m 非常自然。

4. 它给了我们一个值得单独测试的“旁支想法”。

当前对 desk 更值钱的，未必是复现一遍 PPO 本身，而是问： > 把 directional forecast 装进“inventory shell + Omega reward”之后，是否比“预测值直接变信号”更稳？

这就是它比继续写一篇泛泛 filter 更值得本轮 digest 的原因：它扩的是可部署的 raw alpha 素材池。

3.5 策略拆解（必填）

• 方向属性：BTC 单币 long / short / flat directional strategy
• 基础 alpha：短窗 next-bar directional drift
• regime：论文没有单独显式的 market regime 模块
• filter / veto：
• 论文的核心不是额外 filter，而是把 forecast 融进 PPO 动作选择；
• 真正的隐含 veto 来自 高成本 + 离散仓位切换惩罚，即不值得动就不动。
• risk / sizing / execution overlay：
• PPO + Omega ratio reward 本身就在做 risk-aware action selection；
• 动作离散化相当于一个 inventory/sizing shell；
• 最小交易单位、手续费、滑点上限，都是策略定义的一部分。

4. 论文里真正值得 desk 先偷哪一段

我不建议第一步就说“去复现 PPO agent”。对 desk，更值得先偷的是下面这个拆法：

LSTM forecast prior × inventory shell × Omega reward

它可以拆成三层：

1. forecast layer

• 输入：最近 10 个 bars 的价格路径（论文先做差分，再归一化）；
• 输出：下一 bar 的价格/收益方向信息；
• 论文结论：在 SVM / MLP / LSTM / TCN / Transformer 里，LSTM 最适合作 forecast prior。

1. decision layer

• 不是简单 y_hat > 0 就 long, y_hat < 0 就 short；
• 而是把 forecast 和当前库存状态一起输入 policy，让 agent 决定“买/卖/持有 + 买卖多少”。

1. reward layer

• 不是只优化累计收益；
• 论文用 Omega Ratio 当 reward signal，让策略对 downside 更敏感。

对 desk 来说，最重要的 insight 是：

> 如果 raw alpha 本体是可学的 directional drift，那么真正决定它能不能活过成本的，往往不是 forecast 模型本身，而是你用什么库存壳子和 reward 去包它。

这篇论文恰好把这层讲得比较完整。

5. 可复刻的最小实验

5.1 第一轮不要复现什么

第一轮不要直接复现完整 PPO。那样会把问题搞得太黑箱，很难知道 edge 到底来自：

• forecast 本身，
• inventory state machine，
• 还是 reward function。

5.2 第一轮该怎么测

先做一个 三段式 ablation：

#### A. Forecast-only baseline

• 标的：BTCUSDT perp
• 频率：先 15m，再下钻 5m
• 特征：
• 最近 10 根 bar returns / OHLCV
• realized vol (1h, 4h, 1d)
• 经典技术指标轻量版（EMA, RSI, MACD, Bollinger width）
• 模型：
• LSTM-small
• 再配一个 LightGBM / logistic sign model 当非深度学习基线
• 交易：y_hat > +th -> long，y_hat < -th -> short，否则 flat

#### B. Forecast + inventory shell

• 保持同样的 forecast
• 但把动作从 {-1,0,+1} 扩成离散仓位档位，例如：
• {-1, -0.5, 0, +0.5, +1}
• 引入简单持仓惯性/换仓惩罚
• 问题是：离散库存壳子是否已经能拿到大部分提升？

#### C. Forecast + inventory shell + Omega-like reward

• 在 B 的基础上，用：
• rolling downside-penalized reward
• 或 Omega / Sortino proxy reward
• 问题是：risk-aware reward 是否进一步改善 cost-after return / max drawdown / avg trade？

5.3 参数口径怎么抄

论文的核心可迁移设定：

• state window：10 bars
• split：70% train / 10% valid / 20% test
• 原文 friction：
• 0.25% per-trade fee
• 2% max slippage
• 原文最小交易单位：0.125 BTC

desk 版第一轮建议改成：

• cost grid：4 / 8 / 12 / 20 bps round-trip
• 持仓档位：0, ±0.5, ±1
• 单次切换只允许变动一档，避免学出不现实的 inventory jump

5.4 最先看什么指标

第一轮别盯年化收益，先盯这 6 个：

1. hit rate
2. avg trade after cost
3. trade frequency
4. holding time
5. max drawdown
6. prediction distribution 是否过度挤在 0 附近

如果实验发现：

• A 就已经有 edge，说明 base alpha 本体不错；
• B 明显好于 A，说明 inventory shell 值钱；
• C 再明显好于 B，说明 Omega-like reward 不是噱头。

这就是这篇论文最适合 desk 的读法：不是复现 PPO，而是拆出“哪一层真的值钱”。

6. 风险与边界

• 原文是 hourly，不是 1m/5m 原生论文。

所以这篇东西最合理的定位不是“直接证明 1m 可做”，而是提供一个 可压缩到 15m/5m 的完整策略骨架。

• 原文 friction 假设偏粗：0.25% fee + 2% slippage 更像 stress shell，而不是今天主流大所 BTC perp 的真实撮合成本。
• 论文没有 order-book / taker imbalance / funding / basis 等更贴近 crypto microstructure 的特征；

这意味着它更像一个纯价格型 directional shell，后续是可以叠加 desk 现有 microstructure 因子的。

• 如果复现实验发现优势主要来自“少交易 + 持有更久”，那它更接近一个 inventory management overlay；

但只要 base alpha 仍然是 directional drift，这条线依旧属于 raw alpha 的完整落地形式，而不是纯 filter。

7. 这篇东西对 1m / 3m / 5m / 15m 的意义

• 15m：最该先测。结构最容易从 hourly 压缩下来，noise 也没 1m 那么极端。
• 5m：若 15m 成本后仍活，再测 5m；重点看 inventory shell 是否比 forecast-only 更明显。
• 3m / 1m：不建议一开始就上。若 5m 不活，通常说明问题不是“还不够高频”，而是 alpha 本体或 cost shell 不够强。

所以对当前 desk，我会把这条线定位成：

> 先作为 15m 单币 directional raw alpha + inventory-shell 实验卡，若存活，再向 5m 下钻；不是从一开始就把它包装成 1m HFT。

8. 来源

1. Liu, Fengrui; Li, Yang; Li, Baitong; Li, Jiaxin; Xie, Huiyang (2021), _Bitcoin transaction strategy construction based on deep reinforcement learning_

• Venue: *Applied Soft Computing*, Volume 113, Article 107952
• DOI: https://doi.org/10.1016/j.asoc.2021.107952
• Readable URL: https://arxiv.org/abs/2109.14789
• PDF URL: https://arxiv.org/pdf/2109.14789.pdf
• Repo URL: N/A（未见作者公开策略代码仓库）

1. Schulman et al. (2017), _Proximal Policy Optimization Algorithms_

• Venue: arXiv
• Readable URL: https://arxiv.org/abs/1707.06347
• Repo URL: N/A

1. Benhamou, Guez, Paris (2019), _Omega and Sharpe ratio_

• Venue: arXiv
• Readable URL: https://arxiv.org/abs/1911.10254
• Repo URL: N/A

9. 下一步怎么测

1. 先做 BTCUSDT 15m 的三段式 ablation：forecast-only / +inventory shell / +Omega-like reward。
2. 第一轮不用 PPO，先用简单离散仓位壳子验证“inventory shell 是否值钱”。
3. 若 15m 成本后存活，再下钻 5m；若 15m 不活，就不要把它硬吹成更快频 alpha。
4. 若 inventory shell 明显提升 avg trade 和 MDD，就把这条线升级为：

• 单币 directional raw alpha 的通用执行壳，
• 后续可接 OFI / basis / funding / jump sign 等更强的 forecast prior。

1. 若只有 Omega-like reward 有用，而 forecast 本体很弱，则这篇东西应降级为：

• 服务于其他 raw alpha 的 risk-aware decision shell，
• 而不是继续作为主 raw alpha 主题深挖。