Engineer / プラットフォーム
業種に合わせた専用AIエージェント
合意した業務に合わせ、社内システムにつながる専用AIエージェントを構築します。実例による評価、人の確認、範囲を限定したアクセスを備えます。
役に立つ業務の流れを一つ選び、それを中心にAIエージェントを構築します。接続するシステム、評価に使う事例、人が承認する操作、与えるアクセスを定めます。お客様の業務の専門家とその範囲を合意し、要件に基づいてモデルを選びます。モデルが変わっても、連携の実装と評価記録はお客様への納品物として残ります。
接続する:実際の仕事があるシステムへ
社内システムにアクセスできないエージェントは、話すことしかできません。ERP、CRM、予約システム、メールボックス、文書保管庫など、実際の仕事を行うシステムに接続します。それぞれに、船舶を調べる、見積書の下書きをする、案件を登録するといった、役割を限定して仕様を記述したツールを設けます。ツールはMCPまたはAPIで提供し、すべての入力に型を定めて検証します。社内記録が必要なエージェントは、利用できる形に整えたデータを読みます。過去の事例の記憶は、提供事業者のチャット履歴ではなく、お客様のデータベースに保持します。
評価する:専門家が用意した事例で
テストがなければ、「よくなった気がする」ことしか測れません。私たちは実務を担当する方々と一緒に、業種の実際の事例と、熟練者ならどう答えるかを書き出します。プロンプト、ツール、モデルの変更をすべて、公開前に全事例で検証します。事例ごとの評価を継続して記録し、合意した事例で回答の劣化を見つけやすくします。自分たちのコードに適用している品質ゲートを、エージェントの回答に適用するものです。
監督する:重要な箇所は人が判断する
すべての操作をエージェントだけに任せるべきではありません。単独で行ってよいこと、人が承認するための下書きをすること、決して触れてはいけないことを、お客様と文書にまとめます。ルールはプロンプトでお願いするのではなく、ツールで強制します。確認画面には、エージェントの提案と理由を表示します。そこで加えた修正は、新たなテスト事例になります。すべての手順をOpenTelemetryで追跡するため、回答に誤りがあれば、どのツール、どの文書、どのモデルから生じたかを確認できます。
展開前にモデル変更を評価する
連携の仕組みが対応する場合、モデルの選択は設定として扱います。合意した事例を使い、候補のモデルを、回答品質、失敗時の挙動、費用、遅延で比較します。その評価をデプロイの判断材料にします。新しいモデルが、業務を自動的に改善するとは限りません。変更は、合意したレビューと展開の手順を通し、以前の設定をロールバックに使える状態で保持します。
取り組みを裏付ける実績
エージェントを信頼できるものにする習慣は、私たちが日頃のエンジニアリングで守っている習慣と同じです。268のコミット検査からなる検査エンジンと、警告という段階を設けない22のリンターによるコミットゲートを構築し、何も読まない検査が問題なしと報告できないよう、検査ツール自体のテストを書きました。自社で管理するエラー監視とトレースを構築し、六つの収集処理に読み飛ばしたものを明示させ、開発全体を51の文書化された取り組みとして運営し、それぞれに測定結果と見送った判断を記録しました。このサイトのエージェント対応も、同じ進め方で構築しています。
ご依頼の進め方
一つの業務と、その事例から始めます。実務を担当する方々と一緒に、正しい回答を添えて三十から五十の実例を書き出し、エージェントが単独で行ってよいことを合意します。次に、確認画面を備え、その事例を通過する最小限のエージェントを、お客様のインフラまたはクラウドアカウントに構築し、必要な範囲にアクセスを制限します。その後、次の業務に進みます。コード、事例、データはお客様が所有するため、基盤となるモデルが変わっても、エージェントはお客様のものとして残ります。他の仕事と同じく、料金に記載する条件でご依頼いただけます。
エージェントに任せたい業務がありましたら、その内容をお聞かせください。