概要
LLM-PJの中井です。
2023年11月に、[社内に公開したLLMサービス一覧] という記事を公開しました。
この中で、ABCグループ向けChatGPT「ABChat」(エビチャット)をご紹介していました。
それから約1年、2024年12月2日、ABChatが生まれ変わりましたのでご紹介いたします。
以前のABChat
以前のABChatは、Google App Script(GAS)と Azure OpenAI Service (AOAI) で構成されていました。
HD / TV / RD社はGoogle Workspaceを利用しているため、認証をGASに任せられることや、とにかくスピードを重視したことから、この構成にしました。
途中、メールアドレスによる認証を実装し、ABC全グループ社が利用できるようにもしましたが、やはりGASでコードを書き続けることは大変で、新しい機能を追加することもままならず、pythonへの移行が望まれていました。
今回のABChat
ということで、ABChatをpythonベースで作成しなおすことにしました。
機能としては、
-
ユーザ会話履歴の保存
-
添付ファイルへの対応
-
テンプレートプロンプトの充実
-
LLMを選択できるように
といったあたりです。
利用する技術
開発メンバはその多くがICT部門のメンバであり、社内向けサービスをオンプレサーバで立てて来たメンバで、今回のようにグループ全社向けサービスは立てたことがありません。
今後のグループ全社向けサービス展開もこれまでより出てくる可能性があることから、学習の意味も込めて以下の技術スタックを利用して開発しました。
-
Google Cloud
-
Terraform
-
github actionsによるCI/CD
-
python / flask / next.js
ABChatの構成図
構成図は以下のようになります。
リリースに当たっては、IPAの「安全なウェブサイトの作り方」にある「セキュリティ実装 チェックリスト」を元に修正を行い、脆弱性診断やクラウド設定診断サービスも実施してリリースしました。
ABChatの画面
完成したUIはこんな感じです。
モデル選択が出来たり、会話履歴があったり、返答のコピーボタンやいいね、わるいねボタンなども実装されていますね!
ちなみにLighthouseを利用してパフォーマンスチューニングも実施しています。
事前:83点
事後:96点
データ可視化
ログはBigQueryにためており、Looker Studioで可視化しています。
なんとなくイケてないのは私のセンスが無いからです、、、><
MAUとしては223人。12/2-12/16までのほぼ半月だということを加味すると、まぁまぁです。
会話のカテゴリをBigqueryのML.GENERATE_TEXTコマンドで取得しようとしていますが、プロンプトがいまいち決まらず、まだ実施していません。(汗
まとめ
ということで、今回はリニューアルしたABChatのご紹介でした!
リリースしてから大きなトラブルもなく、ほっとしています。
Google WorkspaceのGeminiなど、日本語での提供もかなり進んできましたが、まだまだABChatは現役で頑張っていきます。
今後は選択できるLLMの追加や、より特化したタスクへの対応を実装予定です。こうご期待!