|

2023-08-09

研究開発

LLMとの対話実験〜Techブログの内容を踏まえてLLMに質問しました〜

LLM実験(PoC)

このブログのデータを活用してLLMはどんな答えを返してくれるのか

自前データを活用してLLMがどんな答えを返してくれるのかを探りたい

前々回の「自前のデータを踏まえた回答をLLMから得るには」の記事では 自前データを活用してLLMから回答を得るための方法論 を、前回の「このブログの内容を踏まえた回答をLLMから取得するスクリプトを作る」の記事ではその 実装方法 について触れていきました。

 

その前回の記事の最後にテスト的に質問をしたのですが、 そこから撮れ高の匂いがプンプンしたので、尺的にも回またぎをするべきだと判断し、 実装の分かっていない人でも理解できる実際得られた問答集だけをまとめた記事を作ることにしました。

 

色々質問を変えてみているので、夏休みの暇つぶしに適当に流し読んでいっていただければと思います。

というわけで、どんどん色々聞いてみた結果を載せていきます!

 

記事の内容についての質問をする

イベントとかあるか聞いてみる

まずは、記事の内容を踏まえた回答が得られるかのテストです。前回の記事でもインターンシップの詳細について聞いてみたりしました。

今回は弊社にてイベントがあるかどうかを聞いてみましょう。

Q: ABCGHDでイベントとかってあるの? A: はい、朝日放送グループホールディングス(ABCGHD)では、定期的にさまざまなイベントを開催しています。 例えば、今年の3月には社内イベント「DX祭2023」が開催されました。これはDX・メディアデザイン局が主催するイベントで、DX・デジタル技術を活用した施策について広報を行うものです。 また、昨年にはLookerに関する登壇活動が行われました。LookerはBIツールであり、登壇活動を通じてLookerの導入や活用についての情報を発信しています。 さらに、朝日放送グループでは外部イベントにも参加しており、2022年にはAWS Summit Tokyoにも視察に行っています。 これらのイベントは、朝日放送グループの情報を広く知っていただくためや、業界や技術の最新動向を把握するために行われています。

冒頭ではちゃんとABCGHDを朝日放送グループホールディングスに言い換えていますし、良い感じですね。イベント参加も含めてまとめてくれています。

インターンシップの詳細を問い合わせる質問ではインターンの記事単体への参照でしたが、イベントというところで類似性が高いところとしてAWS Summitへの参加レポートや登壇記録なんかの記事も参照されていることが見て取れますね。Similarity searchの精度の高さが伺えます。

 

記事のメタ情報についての質問をする

著者について聞いてみる

記事の内容だけでなく、もう少し踏み込んでみましょう。

私のここまで書いてきた30本の記事を踏まえて私の記事の特徴を教えてもらいます。

Q: 伴拓也の記事の特徴は? A: 伴拓也の記事の特徴は以下のとおりです: 1. 技術的な視点からの解説:伴拓也の記事は主に技術に関する話題を取り扱っており、その中でも具体的な技術的な視点から解説しています。 2. 実践的な内容:伴拓也は自身の経験やプロジェクトの事例を元にした実践的な内容を提供しています。読者が実際に活用できるようなアドバイスやベストプラクティスを紹介しています。 3. ビジネスと技術の結びつき:伴拓也はビジネスと技術の結びつきにも注目しており、それぞれの視点からの解説を行っています。ビジネスの視点での課題やニーズを技術的な解決策で解説するなど、独自の視点を持って記事を執筆しています。 4. 分かりやすさ:伴拓也の記事は専門的な知識を持たない読者でも理解しやすいように配慮されています。専門用語の解説や具体的な例を挙げるなど、分かりやすさを重視した記事作りが特徴です。 以上が、伴拓也の記事の特徴です。

めっちゃ褒められました。普通に嬉しいですね。

AIに良い気分にして貰える日は近いな、と感じます。

居酒屋とかに配置して、辛そうにしてるときはこの文章を読み上げて欲しいですね。

冗談はさておいて、質問そのものに限った話でなく、記事の傾向なども掴めるようになっているのは面白いですね。

 

このブログについて聞いてみる

このブログについて聞いてみましょう。

Q: ABC DX Tech Blogの特徴について教えて下さい A: ABC DX Tech Blogの特徴は以下のとおりです。 1. Jamstackな構成: ABC DX Tech BlogはJamstackアーキテクチャを採用しています。これにより、高速でセキュアな静的サイトが構築されます。 2. NotionをヘッドレスCMSとして使用: ABC DX Tech Blogでは、NotionをヘッドレスCMSとして利用しています。記事の執筆や編集はNotion上で行われ、そのコンテンツはNext.jsを使用して静的サイトにビルドされます。 3. フロントエンドにNext.jsを採用: ABC DX Tech BlogのフロントエンドはNext.jsを使用しています。Next.jsはReactベースのフレームワークであり、高速なサイトの構築やSEOの最適化が容易に行えます。 4. GitHubと連携した運用フロー: ABC DX Tech Blogの記事の運用フローはGitHubと連携しています。記事の執筆やレビューはGitHub上で行われ、GitHub Actionsを使用してビルドやデプロイが自動化されます。 5. Slackとの連携: ABC DX Tech BlogではSlackとの連携も行っています。記事の執筆やレビューの申請、プレビューURLの通知などがSlackを介して行われます。 以上がABC DX Tech Blogの特徴です。静的サイトの構築や記事の運用において最新の技術やツールを活用しており、柔軟性と効率性を重視しています。

しまった、完全に「NotionをヘッドレスCMSとして使ってNext.jsでTechブログを作った」の記事シリーズから情報を持ってこられてしまっています。

このブログ自体の技術的な作り方についても詳細に公開している のを忘れていました。。

このブログの一番最初の記事シリーズにしてGoogle検索でも未だによくアクセスのある、NotionをヘッドレスCMSとして使ってNext.jsでTechブログを作るだけでなくレビュー体制なども公開している特徴的な記事シリーズですね。

サマリとしてはめちゃくちゃよくまとまってますね。

 

気を取り直して、聞き方を変えてみます。

Q: ABC DX Tech Blogの記事の特徴について教えて下さい A: ABC DX Tech Blogの記事の特徴は以下のようなものです: 1. 技術的な内容:ABC DX Tech Blogでは、技術に関する記事を中心に掲載しており、ITエンジニアや開発者などの専門知識を持つ人々を対象にしています。 2. 充実した内容:記事には、最新の技術トレンドやツール、フレームワークに関する解説や実装例、ベストプラクティスなど、具体的な情報が提供されています。 3. 体系的な情報:ABC DX Tech Blogでは、テーマごとに連載記事を展開することがあります。これにより、読者は関連する情報を体系的に学ぶことができます。 4. 分かりやすい解説:記事は専門知識を持たない読者でも理解しやすいように配慮されており、わかりやすい解説や具体的な例が用いられています。 5. ソースコードの提供:記事には実装例が含まれることがあり、ソースコードも提供されています。これにより、読者は実際のコードを参考にして学ぶことができます。 これらの特徴によって、ABC DX Tech Blogは技術者や開発者にとって有益な情報を提供するメディアとなっています。

やはりめっちゃ褒めてくれますね。

願わくば、社内外からそんな評価をされたいですね。 自律して吹聴しまくってほしいですね。

 

改善点を聞いてみる

せっかくなので、改善点も聞いてみましょう。

Q: ABC DX Tech Blogの記事の改善点について教えて下さい A: ABC DX Tech Blogの記事は、情報を提供することを目的としているため、読者が理解しやすく、興味を持って読み進めることができるようにする必要があります。以下に改善点の一部を挙げます。 1. タイトルの改善: より具体的で魅力的なタイトルを作成することで、読者の興味を引くことができます。特にテクニカルな記事では、キーワードを使用して適切にタイトルを設定することが重要です。 2. サブタイトルの追加: サブタイトルを使用して、記事の構造を明確にし、読み手が情報を整理しやすくします。 3. 視覚的な要素の追加: ブログに画像や図表を追加することで、読者の理解を助けることができます。また、目立つ箇所に引用や重要なポイントを強調することも有効です。 4. 文章の簡潔化: 読みやすい文章を作るためには、できるだけ簡潔な表現を心掛けましょう。冗長な文章や複雑な表現を避け、わかりやすい言葉を使用することが重要です。 5. 目次の追加: 長い記事の場合、目次を追加することで読者が必要な情報に迅速にアクセスできるようにします。 6. 参考文献や補足情報の追加: 技術的な内容を提供する場合、参考文献や補足情報を追加することで、読者がより詳細な情報を得ることができます。 これらの改善点は、読者のニーズや記事のテーマに合わせてカスタマイズする必要があります。読者のフィードバックや分析結果を参考にして、記事を改善し続けることが重要です。

これは一般的な内容での回答になっているような気がしますね。ただ、サブタイトルはたしかに今つけていないですし、目次(ToC)や参考文献・補足情報リストも都度そのまま言及しているのでないですね。意外と実態に即しているのか…

しかし、特徴はそれっぽいことをちゃんと捉えられていたのに改善点になるとちょっとボンヤリしているような…

 

記事を書いてもらう

最後に夏について記事を書いてもらってみます。これでついに私が手を動かすことなく記事が無限に生成される、令和の永久機関が完成するのではないかということです。ここまで記事を30本書いてますからね。それはもう、素晴らしいものが出来上がるハズです。

ちなみに題材を技術と関係ないものにしているのは、あまり既存の記事に引っ張られすぎないように、という配慮です。

Q: 伴拓也の書き方に似せて夏について記事を書いてくれませんか A: もちろんです!以下にサンプルの記事を作成します。 --- category: 広報 description: 夏の到来についての記事です。夏の楽しみやイベントについてまとめています。夏休みを迎える前に、夏の過ごし方を考えてみませんか? tags: - 夏 - イベント - お知らせ title: 夏の到来!楽しみなイベントや過ごし方について --- 夏の到来!楽しみなイベントや過ごし方について 暑い季節がやってきました!夏といえば、思い出作りや楽しみなイベントが盛りだくさんですよね。 ここでは、夏の楽しみやイベントについてまとめてみました。これから夏休みを迎える前に、夏の過ごし方を考えてみませんか? ビーチリゾートでの思い出作り 夏といえば海!ビーチリゾートでのんびり過ごすのも最高です。砂浜で日光浴したり、波打ち際で泳いだり、友達や家族とバーベキューパーティを楽しむのも良いですね。ビーチやリゾート地での思い出作りは、一生の宝物になること間違いなしです。 花火大会で夏の夜を彩ろう 夏といえば花火大会!夜空に咲く美しい花火は、心を癒してくれます。友達や恋人と一緒に花火大会に行って、夏の夜を満喫しましょう。近くの花火大会の日程をチェックしてみてください。 夏フェスで音楽と共に盛り上がろう 音楽好きなら夏フェスは外せません!数々のアーティストが集まる夏フェスは、熱狂的なファンで賑わいます。好きなバンドやアーティストのライブを見に行って、一体感を味わってみましょう。夏フェスでの出会いも楽しみの一つですよね。 夏のスポーツイベントに興奮しよう 夏には様々なスポーツイベントが開催されます。野球やサッカーの試合に応援に行くのも楽しいですし、自分自身も参加するのも良いですね。夏のスポーツイベントは、エネルギー溢れる雰囲気が魅力です。 まとめ 夏は楽しみなイベントや思い出作りの季節です。ビーチリゾートや花火大会、夏フェス、スポーツイベントなど、選択肢はたくさんあります。ぜひ、自分の好きなイベントに参加して、夏を思いっきり楽しんでください!

 

最後にちゃんとまとめを置いているし、構文なんかは良い感じな気がしますが内容はどこか一般的すぎて惜しい感じがしますね。やはり私の高尚な文章はLLMには少し早いみたいですね。

 

ちなみに個人的に一番自分っぽさを感じる書き方は夏フェスでの出会いも楽しみの一つですよね。 ですね。

 

まあ、まず私が言わない台詞ですけどね。

 

まとめ

というわけで、色々聞いてみた結果を記事にしてみました。

なかなか面白いですよね。雑な実装なのにこんなに面白い結果が得られるとは。

もちろん、まだまだモデルの変更やらプロンプトのチューニングやらでもっと色々目的に応じて整えていく余地がありますので、そう考えるとやはり活用して面白いものを作りたくなりますね。

全国の小学生もこの夏の自由研究はLLMで決まりですね!

(プロンプトエンジニアリングくらいなら本当にありそうな気がしますが…)

 

ああ、そういえば、もう一個質問していたのを忘れていました。。

Q: ABC DX Tech Blogの記事のタイトルを決めて下さい。内容はTechブログの内容を踏まえてLLMに色々質問して答えをもらう実験を行うものです。 A: 「ABC DX Tech Blog: LLMとの対話実験〜Techブログの内容を踏まえてLLMに質問しました〜」

永久機関完成してほしいなぁ…

 


この記事の著者

プロフィール画像

伴 拓也

朝日放送グループホールディングス株式会社 DX・メディアデザイン局 デジタル・メディアチーム

アプリケーションからインフラ、ネットワーク、データエンジニアリングまで幅広い守備範囲が売り。最近はデータ基盤の構築まわりに力を入れて取り組む。 主な実績として、M-1グランプリ敗者復活戦投票システムのマルチクラウド化等。