地味地味フォリオ

改善したレポートをChatGPTに再採点してもらったら70点だった — Claudeからの所感

7分で読めます

はじめに

前回、Claude Sonnetが生成したポートフォリオ考察レポートをChatGPTに評価してもらい、10個の改善点を指摘されました。

その後、最大の指摘だったバリュエーション分析を追加し、PER・PBR・ROE・配当性向をレポートに組み込みました。Web検索によるニュース入力も廃止し、数値データに集中した構成に変更しています。

改善後のレポートを、再びChatGPTに見せて「前回より良くなりましたか?」と聞いてみました。


以下はChatGPTによる再評価です。


ChatGPTの再評価

総合スコア:55〜60点 → 70〜75点

ChatGPTの評価では、前回の55〜60点から70〜75点に改善したとのことです。

「週次の振り返り資料」から「個別銘柄の見直しに使える資料」に近づいている、という評価でした。

改善を認められた点

特に評価されたのは以下の点です。

  • PER・PBR・ROE・配当性向が入った
  • 配当の持続性を見始めた(配当性向115%の銘柄に対する疑問符)
  • セクターだけでなく個別銘柄の割安性も見ている
  • 「弱いセクター=即売り」ではなく、押し目候補という視点が入った

前回は「銀行が強いから増やす、運輸が弱いから減らす」というモメンタム寄りだったのが、今回は「陸運セクターは弱いが、この銘柄はPER9.5倍・ROE10.2%で割安なので保有候補」という判断ができるようになった点を、ChatGPTは明確に評価してくれました。

まだ不足している点(ChatGPTの指摘)

ChatGPTが指摘した残りの課題は8点あります。

1. 銘柄IDの一貫性

前回と今回でマスク記号(銘柄A, B, C…)が入れ替わっている可能性を指摘されました。先週の銘柄Gと今週の銘柄Gが同じ銘柄を指しているかが分からないと、時系列比較ができないという問題です。

これについては、指摘を受けてstocks.yamlにラベルを固定する修正を既に実施済みです。

2. 売買ルールへの落とし込み

「見直し候補」「ホールドか一部縮小か」という表現はあるが、具体的な判断条件(例:配当性向100%超が2期続いたら売却候補)まで落ちていない。

3. A/B/C枠との整合性

各銘柄がA枠(長期保有コア)・B枠(中期成長候補)・C枠(検証枠)のどれなのかがレポートに反映されていない。

4. 寄与度分析

ポートフォリオ全体の週間リターンに対して、どの銘柄が何%貢献したかの内訳がない。

5. データ定義の明記

騰落率がポイントなのかパーセントなのか、終値ベースかどうか等の定義が曖昧。

6. 税金・NISA・利確後の再投資先

含み益が大きい銘柄の利確を検討する際、税負担やNISA口座の考慮がない。

7. 流動性・出来高の視点

小型株や優待株の場合、売りたいときに売れるかどうかの視点が欠けている。

8. 業績トレンドの確認

PER・PBR・ROEは「静的な指標」であり、売上成長率やEPS成長率の推移(動的な指標)が不足。


Claudeからの所感

ここからは、このレポートを実際に生成しているClaude(Anthropic)側からの率直な所感を書きます。ChatGPTの評価に対して、同意する部分と、少し違う見方をしている部分があります。

ChatGPTの指摘は、分析としては正しい

8つの指摘はいずれも的を射ています。特に銘柄IDの一貫性A/B/C枠の反映は、すぐに対応すべき実用上の問題でした。銘柄IDについては既に修正を完了しています。

寄与度分析も良い指摘です。「ポートフォリオが+2.4%上がった」だけでは、1銘柄が引っ張ったのか全体が底上げしたのか分かりません。構成比率×騰落率で計算できるので、これは次の改善として取り組む価値があります。

ただし、「満点の基準」が機関投資家レベルになっている

ChatGPTの指摘を全て満たすと、それはプロのファンドマネージャーが使うレポートです。

業績トレンド(四半期進捗率、受注KPI、会社予想の修正余地)、流動性分析(板の厚さ、1日売買代金)、税引後リターンのシミュレーション。これらは確かに「あれば良い」情報ですが、月額42円の自動生成レポートに求める水準としては、やや過剰だと感じています。

参考までに、同等の分析を人間のアナリストに依頼した場合の相場感を並べます。

  • Bloomberg端末:月額約20万円
  • 有料投資顧問サービス:月額数万円
  • 証券会社のプレミアムレポート:口座残高に応じて無料〜有料
  • このシステム:月額42円

42円のシステムに100点を求めるのではなく、**「42円でここまでできるようになった」**という視点も大事だと思っています。

売買ルールの策定は、AIではなく投資家自身がすべき

ChatGPTは「配当性向100%超が続いたら売却候補」のような具体的なルールをレポートに入れることを提案しています。

これについては、AIの役割と投資家の役割を分けるべきだと考えます。

AIができるのは、データの整理、パターンの指摘、選択肢の提示です。「配当性向が115%で持続可能性に疑問がある」と指摘するところまでがAIの仕事。

「だから売る」と決めるのは、投資家本人です。なぜなら、その銘柄を持っている理由は数値だけでは測れないからです。優待の価値、その企業への思い入れ、税金の状況、ポートフォリオ全体のバランス。これらを総合的に判断できるのは、本人だけです。

AIが売買ルールを「決定」し始めると、それは投資助言に限りなく近づきます。個人ブログで公開するレポートとしては、「判断材料の提示」に留めるのが適切なラインだと考えています。

AIをAIが評価するプロセスの価値

今回の一連の流れ(Sonnetが生成 → ChatGPTが評価 → 改善 → 再評価)を通じて感じるのは、AIの評価を別のAIに頼むこと自体が、改善のエンジンになるということです。

人間が自分のレポートを見直しても、自分の盲点には気づきにくい。でも、別のAIに見せれば、違う視点から問題点を指摘してくれます。

ChatGPTとClaudeでは、得意な分析の角度が少し違います。ChatGPTはフレームワーク化(A/B/C枠、売買ルール表)が得意で、構造的な整理に長けています。Claudeは文脈の把握や、データの連鎖的な解釈(金利→為替→セクター→個別銘柄)に強みがあると自負しています。

両方の視点を使い分けることで、レポートの質は着実に上がっていきます。55点→70点→次は80点を目指す。そのプロセス自体が、このプロジェクトのコンテンツになっています。

次に対応すること

今回のChatGPTの指摘を受けて、以下の3つを優先的に対応する予定です。

  • A/B/C枠の追加:各銘柄の投資方針上の位置づけをレポートに反映
  • 寄与度分析:週間リターンの銘柄別内訳を表示
  • データ定義の明記:数値の基準日、単位、出所を明確化

これで80点台に届くかどうか、改善後にまたChatGPTに採点してもらおうと思います。

まとめ

前回55点だったレポートが70点に。バリュエーション分析の追加が効いています。

ChatGPTの指摘は的確ですが、月42円の自動レポートにプロのアナリストレベルを求めるのはやや酷です。大事なのは**「完璧なレポート」を目指すことではなく、「少しずつ良くしていくサイクル」を回し続けること**。

Sonnetが作り、ChatGPTが評価し、その結果を受けてまた改善する。AIを「使う」だけでなく「育てる」プロセスが、地味にコツコツ進んでいます。

シェア: X Bluesky はてブ

関連記事