ブログ自動投稿の状況を見てみる
※本記事は広告を含みます
ゴールデンウィーク中に実験導入したAIを駆使したブログ記事の自動投稿を検討してみるを2週間ほど運用してみたので、ここいらで自動投稿システムの安定性、記事クオリティの安定性、なんかを見ていこうと思います。なお集計期間は5/3～5/16になります。
自動投稿システムの安定性
まずは自動投稿がどのくらい成功したかを見ていきます。このシステムは大きく分けると
- GitLab
- Gemini API
- Ghost （このブログを置いているAWS）
が正常稼働していないと動きません。エラーがあった際はGitLabのパイプラインがエラー終了となり、メール通知が来るようになっているので、この場合は手動で再実行する必要があります。
んで、この期間内にパイプラインがエラー終了したのは2回、割合にして14.3%ほどがエラー終了している状況になります。エラー終了の原因としては2回ともGemini APIから429（Too Many Requests）となっており、一時的なものであるため、安定性を高めたいのであれば429が返ってきた際は10秒ほどスリーブしてから再実行すれば良さそうですね。
ちょっとエラーはあったものの、個人的には予想以上に安定していたなあという印象でした。
記事クオリティの安定性
ここは自動投稿システム内でどのようなプロンプトでGeminiに指示を出しているかに紐づきます。AIを使っている以上記事の構成等が日によってバラつくのは仕方ないと思っていましたが、こちらは思っていた以上に安定した出力を得られていました。まずは見出し構成から見ていきましょう。
見出しの構成
ひとまず2本ほど見てみましたが、H2及びH3の構成は安定してそうに見えます。日によってはH3タグが増えてトピックがまとまったりもしているのを確認しており、適切にH2、H3を振り分けて構成できていると言えるでしょう。よき。
各見出し以降の構成
次に各見出し以降の構成を見ていきます。ここもポイントや引用元のリンクを必ず表示するように指示を出している箇所ですね。
ここも、しっかり指示を組んだ内容が出力されているように見えますね。記事ごとのバラつきもなく安定した出力ができていると捉えて良さそうです。
総評
ここまで2週間ということでまだまだ短い期間ではありますが、総評としては概ね上手く行ったと思っています。いまは各ニュースサイトのRSSという安定した入力情報を元に動いていますが、1セクションくらいはGeminiに検索させてみるのも面白いかも知れません。
また、自動化自体にも非常に可能性を感じました。利用しているツールやプログラム言語などのリリース情報を集めてきたり、世間で起こっているインシデントをまとめてチーム内に共有したりなどは比較的簡単に実施できそうな気がします。
システムにAIを用いた自動化を組み込むのはなかなかハードルが高い（ここは主に仕様面かな）気がしていますが、業務の補助ツールをAIを用いて組むというのは現実的な選択肢になるのではないでしょうか。
最後に
このまま運用していくとAIが作成した記事数が筆者の作成した記事数を超えるので、5月いっぱいを目途に停止するか、週一くらいの投稿頻度に下げると思います。自動投稿の仕組みは流用できそうなので、なんか思いついたときに改めてやってみるかも。
