AIの利用ログから何が分かるか|社内で見るべき指標

使われ方を見る 社内での導入と運用

導入したあと、実際に使われているかを確かめる手立てがログです。

何を見れば運用の改善につながるのか。逆に見てはいけないものは何か。整理します。

まず見るのは使われ方の分布

全社の利用回数より、誰が使っているかの分布のほうが役に立ちます。

上位の数人が全体の大半を占めている、という形になりがちです。この形が見えたら、次にやることは決まっている。使っている人の使い方を、使っていない人に渡す。

部署ごとの差も出ます。同じ職種で差が出ているなら、道具の問題ではなく、きっかけの問題であることが多い。

見るべき指標

指標 分かること
週に一度以上使った人の割合 定着したかどうか
一人あたりの会話数 試しただけか、業務に入ったか
会話あたりの往復数 一往復で終わる使い方が多いと浅い
部署別の利用率 展開が偏っていないか
導入からの推移 初月だけ伸びて落ちていないか
回数の総量より、割合と推移を見る

往復数は見落とされやすい指標です。一往復で終わっているなら、検索の代わりに使われている。何度もやりとりしているなら、作業に組み込まれている。

中身は見ない

管理者の権限で会話の中身を閲覧できるサービスがあります。

見られると分かった時点で、使われなくなる。これが実務上のいちばん大きな理由です。安心して試せる場でなくなると、誰も踏み込んだ使い方をしなくなります。

個人情報保護の面でも慎重に扱いたい領域です。従業員の入力内容には、業務と無関係の記述が混ざることがある。

中身を見る必要が生じるのは、事故が起きたときだけです。そのときの手順と権限を先に決めておき、平時は見ない。この線を最初に引いておくと、後から揉めません。

事故の兆候として見るもの

中身を読まなくても、危ない使い方の兆候は拾えます。

極端に長い入力が繰り返されている。添付ファイルの数が突出している。深夜帯だけ利用が集中している。こうした形は、規約や社内ルールから外れた使い方の合図になることがある。

兆候が出たときの対応は、いきなり個人を特定する方向ではなく、まずルールの周知から始めたい。多くの場合、悪意ではなく知らないだけです。

何を集めるかを先に決める

ログは、取れるものを全部取ると使えなくなります。

先に問いを決めておきたい。「定着したか」「偏っていないか」「危ない使い方が出ていないか」。この3つに答えられる項目だけ残せば、毎月の確認が10分で終わります。

保存期間も決めておく。無期限に持つ理由がある項目は多くありません。必要な期間を過ぎたら消える設計にしておくほうが、管理する側も楽になる。

従業員に何を伝えるか

取得していること自体は、先に伝えます。

何を取っていて、何を取っていないか。誰が見られて、どんなときに見るのか。この3点を書いた文書を配っておくと、あとから不信が生まれにくい。

黙って取って、必要になったときに開示する形がいちばん揉めます。取ること自体より、知らされていなかったことのほうが問題として残るからです。

ログでは分からないこと

効果の測定には向きません。

利用回数が増えても、仕事が速くなったかは別の話です。時間が浮いたかどうかは、業務側の記録と突き合わせないと出ない。

回数を目標にすると、回数だけが増えます。使う必要のない場面で使うようになり、確認の手間が増えて全体では遅くなることさえある。

測るなら、対象の業務を絞って前後を比べるほうが確実です。「見積書の作成にかかった時間」のように、範囲を狭くとる。

数字が動かないとき

半年たっても利用率が上がらない場合があります。

研修を増やしても動かないなら、原因は知識ではありません。使う場面が業務の中にない。あるいは、使ってよいかが曖昧で踏み出せていない。

後者は解消できます。入力してよい情報の範囲を、具体例つきで一枚にまとめて配る。禁止事項の列挙より、許可されている例を挙げるほうが効きます。

見た結果をどう使うか

数字を眺めて終わらせないための一手があります。

使っている人に、何に使っているかを聞く。ログには出ない部分がここで出ます。定型の報告書、翻訳の下訳、議事録の整理。具体名が挙がったら、それをそのまま他の人に配る。

数字は場所を教えてくれるだけで、中身は人から聞くしかない。ログの役割はそこまでだと考えておくと、扱いを誤りません。

聞くのは月に一度で足ります。数人でよい。同じ質問を続けていると、社内で何が定着しつつあるかが見えてきます。

出典

運用上の注意点は下記に基づきます。

タイトルとURLをコピーしました