ChatGPT 分析财报，预测公司收益准确率超过60%，金融分析师的金饭碗也不稳了

chatgpt2024-05-29 11:57:05245

芝加哥大学布斯商学院发布了一篇《使用大型语言模型进行财务报表分析》的论文。这篇论文揭示了 AI 在分析财务报表并预测公司未来收益的准确率上超过了人类金融分析师。金融分析师这一极其专业及含金量很高的金饭碗在 AI 大潮的冲击下，也不稳当了。

其实早在这篇论文出来前，已经有个人和公司已经开始用 AI 进行投资辅助了。例如国内掌握一万张 A100 显卡的某公司，早就在训练高级神经网络（ANN）进行量化交易了。加拿大也有人从去年开始花了5700加元，用一年时间，实验了用 ChatGPT 选股在纳斯达克进行投资，他列出了详细的选股清单及收益，GPT4 选股的年收益达15%，综合 GPT3.5 总回报率也达12%多，超过SPY指数基金。

这篇论文的目的是研究LLM（大语言模型）是否能够以一种类似于人类金融分析师的方式成功地进行财务报表分析。结果是即使没有向 GPT4-Turbo 提供任何叙述或行业特定信息，它在预测收益变化的能力方面也优于财务分析师。尤其是在通常对人类具有挑战性的场景中，例如分析师的预测可能存在偏差或事前效率低下的情况。

GPT4-Turbo 的预测准确性与经过严格训练的最先进的机器学习模型的性能相当。预测结果并非源于其训练记忆。相反，GPT4-Turbo 提供了富有洞察力的叙述分析，揭示了公司未来的潜在表现。

基于 GPT-4 预测制定的交易策略比基于其他模型的交易策略实现了更高的夏普比率（Sharp ratio）和阿尔法值（alphas）。这些发现凸显了 LLM 可能在金融决策过程中发挥关键作用。

实验方法

首先采用的方法包括匿名化和标准化财务报表，以防止 LLM 回忆起任何特定的公司信息。特别是，在资产负债表和损益表中省略了公司名称，并将年份替换为标签，如t和t−1。此外，将资产负债表和损益表的形式标准化为计算器的平衡模型。这种方法确保了所有公司年份的财务报表格式都是相同的，因此该模型不知道其分析对应的是哪个公司，甚至是哪个时间段。

第二阶段为了提高 LLM 的表现，研究人员采用了思维链（Chain-of-Thought）提示词方法，引导 LLM 完成一系列与人类分析师类似的分析步骤。这种方法大大提高了 LLM 预测未来收入的能力，准确率达到 60%，这明显高于简单模型和人类分析师的平均准确率。

最后，研究人员还将 LLM 的表现与传统的机器学习方法进行了比较，例如逻辑回归和高级人工神经网络 (ANN)，这些方法经过专门训练，可根据同一数据集预测收入。有趣的是，尽管 LLM 缺乏针对特定财务任务的训练，但它的表现与这些专门模型相当。

此外，研究人员将 LLM 得出的结果，尤其是通过思维链提示形成的结果编码并用于训练新的 ANN 后，该高级神经网络的分析准确率几乎与 LLM 相同，这表明 LLM提供的分析结果具有很高的信息量，且具有很强的预测能力。

实验结果

GPT 的表现优于人类分析师

下图展示了 GPT 和人类金融分析师的预测表现对比。“随机游走”反映的预测完全基于当前收益与之前收益相比的变化。“分析师 1m（3m、6m）”代表分析师分别在收益公告发布后一个月、三个月和六个月发布的中位预测。“GPT（无 CoT）”显示了 GPT 仅使用结构化和匿名财务报表（没有任何思路链 (CoT) 提示）进行预测的准确性。相比之下，“GPT（有 CoT）”包括 GPT 在提供财务报表的同时提供详细的 CoT 思维链提示时所做的预测。该图显示了每种方法的平均准确率（正确预测的百分比）。

GPT 与神经网络相当

下图比较了GPT和基于机器学习的定量模型的预测性能。逐步逻辑（Stepwise Logistic）模型遵循Ou和Penman（1989）的结构与他们的59个财务预测器。ANN 是采用与 Ou 和 Penman 模型相同的变量的三层人工神经网络模型。GPT（与CoT一起）为该模型提供了财务报表信息和详细的思维链提示。

增长与营业利润率预测

下图显示了GPT回答的描述性词组的频率计数。左面板显示了GPT关于财务比率分析的答案中最常用的十组。右面板显示了GPT关于其二元收益预测背后的基本原理的答案中最多的十个常用的字母组合。有趣的是，营业利润率（Operating Margin）和增长率（Growth）出现的频率最高。ChatGPT 肯定被喂了“增长与收益”的40法则。