こんにちは。ミツモアの坂本です。 先日行われた Anthropic の開発者向けイベント Code with Claude に参加してきました。全体を貫く明確なテーマは掲げられていませんでしたが、複数のセッションを聞くうちに、繰り返し出てくるメッセージは次の3つに集約されると感じました。
- ドメインの専門知識を持っていること
- エージェントの評価指標を正しく設計し、改善のイテレーションを回し続けること
- 入力データを丁寧に整えること
業務自動化のカギ、入力データと評価
一番印象に残ったのは「The last mile is the spec」というセッションです。Tsukumo Labs という会社の CEO と CTO が登壇していました。クライアントの業務を自動化する Skill を作るツールについて、開発の試行錯誤がそのまま語られていて面白かったです。
前提として、MIT メディアラボの調査「The GenAI Divide: State of AI in Business 2025」では、AI の大規模プロジェクトの95%が成果ゼロで終わっているそうです。失敗の主な要因は次の3つだといいます。
- 既存の業務フローに統合できていない
- そもそも問題設定が間違っている
- データが足りない
最初のツールは画面録画のプロセスマイニング
ツールの最初の方式はシンプルでした。一連の業務をこなす様子を画面録画させ、その録画を入力にして業務フローをプロセスマイニングする、というものです。
出てきた結果は一見それらしく見えたものの、中身を確認すると問題だらけだったそうです。
- クライアントの名前が捏造されている
- 実際には下書き保存しただけの操作を「提出した」と判定している
- 業務の境界の引き方が不正確
- 例外対応のケースが抜け落ちる
それらしく見えるだけで、業務フローとしては使えなかったといいます。
方針転換：PC 操作のデータを丸ごと取り込む
そこで方針を変えたそうです。画面録画だけに頼るのをやめ、マウスカーソルの速度やキータイピングなど、PC 操作のあらゆるデータを入力として取り込みます。そのうえで、必要なものを選んで使う形にしたそうです。
すると、正確な業務フローを抽出できるようになったそうです。
登壇者は、つまずいていた原因はモデルではなく、与えていた入力データが正しくなかっただけだと振り返っていました。だからこそ、そこを正しい入力に変えられたことがそのまま勝因になった、という総括でした。
これは自分にとって大きな学びでした。うまくいかない理由をモデルの性能に求めがちですが、実際は入力の作り方で決まっていることもあり、その切り分けができるかどうかは大きいと感じました。
評価（evals）をどう設計するか
評価も作り込んでいました。架空の業務フローを大量に用意して正解データとし、10〜20個の指標で出力を測っていたそうです。
ここで言う evals とは、エージェントの出力を指標に照らし、自動で採点して検証する仕組みです。evals によって修正のたびに性能が上がったか下がったかを定量的に判定でき、改善のループを速く回せます。
一方で評価設計を間違うと間違った方向の改善を猛スピードで回してしまうので注意が必要です。どれだけ正しく評価を定義できるかが肝になるという話でした。
セッションでは「Claude はスーパーカーで、それが全力で走れる高速道路をいかに整備するかが重要だ」という表現も出てきました。Tsukumo Labs さんの場合、その高速道路が evals の仕組みだったのだと理解しています。
専門家が自分でプロトタイプを作れる時代
もう一つ印象的だったのは、大学教授向けの授業作成サポートツールの話です。
大学の授業を組み立てるには、いろいろな準備が要ります。全10回の構成をどう進めるか、スライドをどう作るか、課題をどう設計するか。そうした準備を助けるツールを、非エンジニアが Claude Code でプロトタイプまで作り上げた、という事例でした。
念のため補足すると、プロダクト自体は本番リリースまで到達しています。非エンジニアが担ったのは、そのうちプロトタイプまでです。
これまで、こういうものを作るのは大変でした。まずエンジニアを確保し、その人に要件を正確に伝える必要があります。伝達がうまくいかなければ、微妙なものができあがります。成功するか分からない段階で、一定のコストを先に払うことになります。
Claude によって、この状況は大きく変わりました。プロトタイピングの段階では、ドメインエキスパート自身が Claude と対話しながら作れます。要件に落として他人に伝えるフェーズを挟みません。その分、理想のプロダクトに近づけやすく、時間も短縮できます。
ドメインエキスパートは、業務がどの順番でどう進むかを誰よりも細かく理解しています。外から想像するエンジニアとは、把握している具体の細かさが違います。そこが肝だ、というメッセージでした。
プロトタイプがうまくいったら、その後はエンジニアの力を借りて本番リリースにつなげればよいのです。これまで手前のフェーズにかかっていたコストが、大きく下がるという話でした。
所感と学び
登壇者の話にはおおむね同意でした。一方で、こういうことができるドメインエキスパートは、そう多くないだろうとも感じました。
そもそも、自分の業務をプロダクト化して効率化しようと考える人は多くありません。そこから Claude Code でプロトタイプまで作れる人となると、さらに限られます。
その意味で、エンジニアの仕事が無くなるとは思いませんでした。ただ、良いプロダクトが生まれる確率は間違いなく上がります。あわせて、社内にドメインエキスパート相当の知識を持っておくことの重要性を、強く意識させられました。
ミツモアの AI 導入は、進んでいる方の水準にあると思います。ただ課題もあります。一つはドメインの専門知識、もう一つはエージェントやワークフローの改善イテレーションです。特に後者は、まだ十分に回せていません。
採用情報
ミツモアでは、TypeScript をはじめとするモダンな技術スタックでユーザーに価値を届ける仲間を募集中です。
「技術で課題を解くことにワクワクできる人」や「仕組みで社会を良くしたい、そんなエンジニアになりたい人」、ぜひご応募をお待ちしています！
ミツモア採用ページ: https://corp.meetsmore.com/
おまけ
Anthropic はかなり太っ腹でした。朝昼晩すべて立派な食事付きで、おまけにカードピューターまで配っていました。買うと6000円くらいするらしいです。
