概要

LLM-PJの中井です。

2023年11月に、[社内に公開したLLMサービス一覧] という記事を公開しました。

この中で、ABCグループ向けChatGPT「ABChat」（エビチャット）をご紹介していました。

それから約1年、2024年12月2日、ABChatが生まれ変わりましたのでご紹介いたします。

以前のABChat

以前のABChatは、Google App Script（GAS）と Azure OpenAI Service (AOAI) で構成されていました。

HD / TV / RD社はGoogle Workspaceを利用しているため、認証をGASに任せられることや、とにかくスピードを重視したことから、この構成にしました。

途中、メールアドレスによる認証を実装し、ABC全グループ社が利用できるようにもしましたが、やはりGASでコードを書き続けることは大変で、新しい機能を追加することもままならず、pythonへの移行が望まれていました。

今回のABChat

ということで、ABChatをpythonベースで作成しなおすことにしました。

機能としては、

• ユーザ会話履歴の保存
• 添付ファイルへの対応
• テンプレートプロンプトの充実
• LLMを選択できるように

といったあたりです。

利用する技術

開発メンバはその多くがICT部門のメンバであり、社内向けサービスをオンプレサーバで立てて来たメンバで、今回のようにグループ全社向けサービスは立てたことがありません。

今後のグループ全社向けサービス展開もこれまでより出てくる可能性があることから、学習の意味も込めて以下の技術スタックを利用して開発しました。

• Google Cloud
• Terraform
• github actionsによるCI/CD
• python / flask / next.js

ABChatの構成図

構成図は以下のようになります。

リリースに当たっては、IPAの「安全なウェブサイトの作り方」にある「セキュリティ実装 チェックリスト」を元に修正を行い、脆弱性診断やクラウド設定診断サービスも実施してリリースしました。

ABChatの画面

完成したUIはこんな感じです。

モデル選択が出来たり、会話履歴があったり、返答のコピーボタンやいいね、わるいねボタンなども実装されていますね！

ちなみにLighthouseを利用してパフォーマンスチューニングも実施しています。

事前：83点

事後：96点

データ可視化

ログはBigQueryにためており、Looker Studioで可視化しています。

なんとなくイケてないのは私のセンスが無いからです、、、＞＜

MAUとしては223人。12/2-12/16までのほぼ半月だということを加味すると、まぁまぁです。

会話のカテゴリをBigqueryのML.GENERATE_TEXTコマンドで取得しようとしていますが、プロンプトがいまいち決まらず、まだ実施していません。（汗

まとめ

ということで、今回はリニューアルしたABChatのご紹介でした！

リリースしてから大きなトラブルもなく、ほっとしています。

Google WorkspaceのGeminiなど、日本語での提供もかなり進んできましたが、まだまだABChatは現役で頑張っていきます。

今後は選択できるLLMの追加や、より特化したタスクへの対応を実装予定です。こうご期待！