金融ニュースをLLMで要約する：初期実証が示した効果と限界

金融アナリストの朝は、膨大な企業ニュースとの格闘から始まる。銘柄ごとに分散した情報を拾い読みし、重要そうなものを逃さないようにするのは、かなりの手間だ。そんな業務を大規模言語モデル（LLM）に任せようとする研究が、ジョージ・ワシントン大学から2023年秋に発表されている。金融ニュース自動要約の初期段階における実証研究で、タイトルは「Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation」だ。

実験は公開データで構成された

研究チームは、News APIで企業ニュースを集め、Wikipediaから企業の背景情報を取得、Yahoo Financeから株価データを取得した。対象はアップルやマイクロソフトなど10社。株価の数値データはLLMが直接処理しにくいため、値動きや出来高を自然言語のテンプレートに変換してからモデルに渡す工夫をしている。この前処理は地味ながら、金融テキストを扱ううえでは非常に実用的だ。

確認されたのはフロー設計の重要性

要約の構成としては、文書を順番に要約してまとめる「Summarize Chains」と、外部情報を検索してから生成する「RAG（Retrieval-Augmented Generation）」を比較。ベクトル検索にはFAISSを用いた。モデルはオープンソースのFalcon-7B-Instruct、DistilBART-CNN-12-6、BART-Large-XSumの3つで、株価サマリーの生成にはGPT-3（text-davinci-003）を使った。

最も安定していたのは、Falcon-7BとSummarize Chainsの組み合わせだった。事象の取りこぼしが少なく、文章も自然である。一方、RAGは理論上の期待に反して、検索数が増えると出力が繰り返しになり、BART-Large-XSumでは事実と異なる内容を生成することもあった。小規模なモデルほど、この傾向は顕著だった。

「多くの文脈を与えれば正確になる」という期待は、小規模LLMの失敗例によって裏切られる形になった。

実際の適用に向けた教訓

研究では、単純な「Lead-3」（ニュース先頭3文を取得する）ベースラインと比較し、ROUGE-1スコアでLLM手法が上回った。自動生成は完璧ではないが、手間を考えれば十分に使えるレベルにある。

この研究の価値は、成功例よりむしろ失敗の記録を残した点にある。その後、金融情報の要約サービスは数多く登場したが、RAGのハイパーパラメータに悩む開発者は今も多い。「検索を増やせば精度が上がる」わけではないのは、現在の中小規模LLMを使った実装にも通じる注意点だ。

• モデルサイズよりも、要約フロー（Summarize ChainsかRAGか）の選択が出力に与える影響が大きい
• RAGの検索数は慎重に調整する必要があり、増やしすぎると品質が落ちる
• 構造化された財務データは、自然言語テンプレートに変換してから入力すると効率的

論文は付録として、ストリームライト製のダッシュボードを公開している。株価データをインタラクティブに可視化できるもので、研究の実用性を意識した構成だ。2023年時点の初期研究とはいえ、その実験記録は、金融AIのいまを知るうえで良い材料になる。