Ubie Discovery における AI ツールの活用による生産性向上事例

TL;DR

  • Ubie Discovery では昨今発展が著しい AI ツールによる生産性向上を目指している
  • GitHub Copilot では定性的なアンケートでコーディング業務が平均 38% 効率的になるという結果が出た
  • その他にもいろいろなツールを検証し、RoI を考慮した自前の生産性向上ツールの開発・運用をしている

昨今、GenerativeAI の発展によって、実にいろいろなことができるようになってきた。 新しいものを創り出すという観点でも革新的だけど、これまでの作業を効率化するという観点でもかなり優秀であることがわかってきている。

このエントリでは GenerativeAI による生産性向上に焦点を当て、自分が所属している Ubie Discovery において、実際にどれくらい生産性向上に寄与しているかやどのように開発・運用しているのか、という話を紹介する。

GenerativeAI 系のツールによる生産性向上の利点と課題

利点については改めて言うまでもないかもしれない。 ChatGPT で GPT-4 を使った時の衝撃はきっとこの先ずっと忘れないレベルだろう。

コンテキストを踏まえつつ実に様々な分野で一定の質の出力ができるようになったので、生産性向上という観点からは、ある程度の知識を有する人がやアイデアの壁打ちをして形にしていったりプログラミングやドキュメンテーションをサポートしてもらったりするのに最適である。

利点については色々なところで議論されているし殆どの人が把握していると思うのでここでは詳しくは書かないが、個人としてではなく組織として最大限活用していくには課題もある。

活用し続けていくための具体的な課題としては以下のようなものが挙げられる:

  • RoI の適切な判断
    • ツールを使うには多くの場合金銭的な Invest がかかるので、それに見合うだけの Return が得られているかは判断する必要がある。求められる精緻さは組織によって異なるだろうが、ざっくり定性情報でもいいので判断材料が必要というところが多いだろう。
    • 全員が使えるようにする、みたいなのもナイーブにやると RoI が悪くなる可能性が高い。アカウント数だけ課金されていくようなツールを全員分購入したけど課金額に足るだけ利用している人が少ないというのはよくある話であり、これをどのようにコントロールするかは組織が大きくなるほど重要性が高まる。
  • 継続的な開発や運用の仕組み
    • 便利なツールを作りました！でその後あまりメンテナンスされることはないが一部の業務はそれに依存してしまっていて負債化する、というのありがちである。自発的な開発は抑制しないけど、継続的に使うものは適切に運用につながっていく仕組みが必要となる。
  • 適切に使いこなすためのトレーニングが必要
    • 有効に使うためのトレーニング。ある程度の知識を有する人は放っておいても使いこなせるが、今までのツールと大きく異なるので現状では進化を引き出すのに色々と工夫がいる。組織全体の底上げをしたい場合は一定のトレーニングがあった方がよいだろう。
    • セキュリティ的な観点でのトレーニング。ツールと使い方によっては機密情報が漏れる可能性があり、そのあたりのリスクコントロールや啓蒙も必要である。

初速の勢いも重要だが、中長期的に効果的に使い続けていくためにはこのような課題を解決せねばならない。

Ubie Discovery における具体的事例

GenerativeAI の新しい技術が出ると色々な人が色々な外部ツールを試したり新しいツールを作ったりする。 これ自体はもちろんよいことだが、これが野放図に広がり続けるだけになってしまうと適切な管理ができずぐちゃぐちゃになってしまいかねないので、全体をとりまとめる役割を担う人がいるほうがよい。

Ubie Disovery においては Holacracy を採用しているので、このような生産性向上ツールの全体管理や組織装着に責務を持つ役割を作り、自分や他の開発者をその役割にアサインしている（これとは別に Large Language Model を使った新しい価値の創造や事業戦略への反映などを進めているチームもあるが、それは今回の生産性向上の話とは別なので割愛）。

自分はこの役割の中で、効果の大きそうな外部ツールの選定・検証・浸透や、自前開発ツールの継続・撤退条件やどうやって会社全体に浸透させるかの仕組みづくり、などを推進している。

以下ではそのような取り組みの中からいくつかピックアップして具体例を紹介する。

GitHub Copilot

2023 年 2 月に GitHub Copilot for business が GA になってその有効性が高そうという期待感が高まってきたのを踏まえ、Ubie Discovery では利用規約などに問題がないかの確認を実施した上で、 3 月上旬に検証を開始した。

検証期間ではソフトウェア開発をする開発者全員分の seat を準備しているが、一口に開発者と言っても期間によってはコーディング業務をしない人もいたりするので、seat の管理は効果的にできるようにしたい。 Copilot 利用者として GitHub Team に割り当てることも可能 であり、Ubie では Terraform で GitHub のアカウント管理をしているので、以下のような感じで管理をして使用・不使用を一括管理で必要に応じて切り替えられるようにしている。

二ヶ月程度の全員検証期間を経て、どれくらい生産性向上に寄与しているか定性的なアンケートを実施しており、以下の結果が得られている:

  • 有効回答数: 24
  • どれくらいコーディング業務が効率化しているかの感覚値の平均: 38%
  • どれくらいコーディング業務が効率化しているかの感覚値の標準偏差: 24%

この結果を踏まえると、一人当たり一月 $20 の Invest で（管理費用は Terraform をいじるだけなのでほとんど無視できる）、ざっくり 月数万~数十万円 の Return が得られる（幅があるのは人件費やコーディングに費やす時間を考慮したもの）ということになる。 この数字は色々と簡単化したシンプルな見積もりではあるが、RoI という意味では投資しない理由を探す方が難しいレベルであることは十分に伝わるものと思われる。

効率化の数字自体はざっくり感覚的に回答してもらっているものだが、GitHub の公式ブログで公表されている 55% 速くコードが書ける というデータから見てもそこまで的外れの数字ではなさそうである。 GitHub Copilot X が GA になる日も楽しみである。

具体的にどういうところが有用かという回答としては、例えば以下のようなものがあった:

  • 倍くらいまではいかないが、結構細かなところで生産性向上していると思うのでかなり開発体験が良くなっている
  • SQLそんなに便利ちゃうやろと舐めてたがめちゃ便利で助かった
  • Terraformとかあんま詳細に詳しくないケースで、とっかかりになる感じで良い
  • テストや定形の作業をする速度が上がり、ストレスがかなり低減しているのを感じてます！
  • …

GitHub Copilot はユーザがソフトウェアエンジニアのみで管理もしやすく、トレーニングなどもそこまで必要ないので、かなり強力な生産性向上ツールになっている。

Notion AI

Notion AI についても検証をしている。

具体的な成果としては Notion にまとめられたテキスト資産の英語化が挙げられる。 Ubie は global 展開もしているが、テキスト資産としては日本語が多いため、有用なものの英語化を進めているが、適切な情報を作成するために翻訳業務をアウトソースしている。 Notion AI によって翻訳業務が効率化されたので、アウトソースの依頼を減らすことができてスピードの改善やコストの削減につながっている。

その他にも、定型的な文章を作成する際に利用したり、mermaid 形式で図を作成したり、色々なシーンで活用されている。

今後どうするかを検討しているところだが、サブスクリプションタイプがワークスペース全体 なので、なかなか難しさを感じている。 一部業務については明確に生産性向上につながっているが、この手のツールは特定の人しか使わずその他大勢は利用しない、というケースが多い。 Ubie においても継続的に活用している人はそこまで多くなさそうというのが現状である。

積み重ねとしては少なくない金額になるので、検証が終わるまでには議論可能な RoI を算出してどうするかを決めていきたい。

Notion AI を組織全体で活用していきたいという場合には、色々な職種の人が継続的に活用していけるように結構なパワーをかけてトレーニングや啓蒙を実施する必要があるだろう。

自前開発のツール

ChatGPT の業務利用リスクを考慮したツールの開発 もしている。 これは ChatGPT のようなツールを自組織で利用するために開発されたもので、具体的にどういうものかはリンク先の記事を読んで欲しい。 ここで取り上げたいのは、記事内で挙げられた学習に使われるというリスク回避以外にも、このエントリで課題として挙げた観点を解決するための強力なツールとなっているという点である。

例えば生産性効率化観点で従業員全員に ChatGPT の有料アカウントを与えたとしても、上に挙げた Notion AI と同じで、この手のツールは特定の人しか使わずその他大勢は利用しないというケースが多い。 これを打破するにはトレーニングや活用事例共有などの啓蒙が必要であり、その分の Invest も考慮した上で本当に十分な Return があるかを判断する必要がある。

このツールは OpenAI の Web API を利用しているので、組織全体として従量課金的に使うことが可能である。 もちろん自前開発なのでその分の Invest が発生しているが、これはユーザージャーニーマップを描き、ユーザの利用状況を見ながら段階的に開発を進めている。 多くの社内ユーザが使っており、生産性向上度合いも大きいという声も多く、Invest をはるかに上回る Return が得られていると判断している。

適切に使いこなすための一定のトレーニングや啓蒙は必要なので、いまはこのツールを全組織に展開しているところである。 並行して Ubie の全組織を横断的に見ている Ubie Corporate の IT 管理者と連携を取っており、十分に開発が進んで運用がメインのフェーズになったら管理を受け渡せるようにプロジェクトを進めている。

その他にも色々なツールを開発・検証しているが、開発リソースの問題や有用な代替サービスが出てくる可能性もあるので、検証期間を明確にしてそこで RoI 判断に見合わなければ撤退（機能の提供を停止）するという条件を設けた上で進めたりしている。 具体的にどういうツールがあるかは、有効性が検証された後で各メンバーから公開されるかもしれないので、乞うご期待。

みんなが色々なツールを開発するのは最高！って感じなので、その動きは推進しつつ全体として効果的になるように引き続きやっていきたい。

まとめ

生産性向上観点でも GenerativeAI の威力は凄まじい。 とはいえ規模の大きい組織では積みあがるコストも無視できないレベルになるので、最大効率で活用していけるように今後もやっていきたい。

ここで挙げたのは一部のツールなので、他ツールの話もどこかでまたやるかも。