Gemini on Vertex AI の YouTube Analysis を試す
Geminiでは、YouTubeの動画をURLベースで渡すことによって、その動画の内容を渡した上での回答を得ることが出来ます。本記事ではGUIおよびAPIベースでYouTubeの動画URLをGeminiに渡し、生成AIに回答してもらう方法をまとめています。
生成AI・映像技術など先端領域の実験と探索
Geminiでは、YouTubeの動画をURLベースで渡すことによって、その動画の内容を渡した上での回答を得ることが出来ます。本記事ではGUIおよびAPIベースでYouTubeの動画URLをGeminiに渡し、生成AIに回答してもらう方法をまとめています。
今回はJsonファイルを使用してMetaHumanのキャラクターアニメーションを制御してみました。Mixamoのアニメーション適用、アニメーションブループリントの作成、条件分岐の設定など、具体的な手順を紹介します。
先日行われた東京大学メタバースラウンジにて発表したレポートです!なぜABCがメタバース空間制作ができたのか、どんな空間を制作したのかを紹介しています。
Omniverse Audio2Faceを用いて作成したフェイシャルアニメーションを書き出す方法、そしてそのアニメーションをUnreal EngineにてMetaHumanに適用する方法を紹介します。
音声を入力するだけで生成AIによって簡単に表情豊かなフェイスアニメーションを作成することができるツール「Omniverse Audio2Face」を用いて、リップシンクアニメーションを作成する方法を紹介します。
TouchDesignerを使用した投影システムについて紹介しました。音声から名言を生成し、文字として降らせるだけでなく、喜怒哀楽に応じて文字の色を変化させる機能や新しい名言が生成されるとアニメーションが再生される機能が入っています。
本Tech Blogはこの2月で1周年を迎えました!無事に1周年続けることができ、閲覧ユーザー数も順調に伸びているということで、折角なのでここまでに書いてきた記事についての振り返りを行いたいと思います。もちろん使用するのはLLMです。本Blogのデータを分析してもらいます。
LLM-PJというLLM(:Large Language Model)で遊ぶためのPJを4月に発足した。4月からこれまでにPJで様々な取り組みを行ってきたが、今回はその中で社内に公開したサービスを紹介する。
今回はLLMのプロンプトに手を入れて日頃少し距離を感じてしまうようなChatアプリからの回答をキャラクターっぽく変更して身近なものに変える試みをしています。かなり簡単にできる変更な割に効果も思ったより大きいと思われるので、まだ実装していない場合はぜひ実装してみると良いかと思います。
LangChainを使うと多様なLLMモデルを簡単に切り替えて使用できます。今回は最近GA(一般公開)になったGoogle Cloudで提供されているLLMであるPaLM2をLangChainで使用する方法についてまとめています。
本ブログではLLMで自前データを活用する方法についてまとめてきましたが、実際にこのTech Blogの内容を踏まえた上で色々と質問をしてみたらどのような回答が得られるかの実験結果についてまとめてみました。
今回は、自前のデータを踏まえた回答をLLMから得るための方法論をなぞって実際にPythonのスクリプトをどのように実装すれば良いかについてまとめてみます。自前のデータとしては本ブログのMarkdownデータを活用します。