掲載している事例は、Solbと関連会社で実際に作り、使っている（または検証している）ものです。
Compass
課題1件ずつ人が読んで分類しても、量に追いつかず判定もぶれる
AIの案：協業先の主戦場である TikTok から始めましょう
Solbの判断：狙う業界の多くは Instagram で運用している。母数がない所から始めない
結果一致率が基準を下回ったら、人間が判定の仕方を見直す
やったこと
- 公開されている投稿を、決まった間隔で集め続ける仕組みを作りました。
- 集めた投稿に、AIが特徴のラベルを付けるようにしました。
- 人が判定したサンプルとAIのラベルを突き合わせ、一致率を記録し続けるようにしました。
結果
- 一部の項目での、人手の判定との一致率
- 90%（31件で検証、2026年9月時点）
- 継続して監視しているアカウント
- 約400アカウント
- 新しい投稿を24時間以内に捕捉した割合
- 8割強（2026年9月時点）
使った技術
AIの案を、現場の声と判断で直した点
- AIは、協業先の主戦場である TikTok から始めることを提案しました。Solb の判断は、狙う業界の多くが運用している Instagram から始めること。分析する投稿の母数がない所から始めても、傾向は見えないためです。
- AIは、差の大きい対象を選んで語ることを提案しました。Solb の判断は、母数の厚い方を採ること。母数の薄い対象で語ると、言ってはいけないことを言うことになるためです。
得た知見
AIの判定を人間の正解と突き合わせたら、誤っていたのは人間の正解の側でした。精度が上がらない原因を調べる中で、AIが根拠付きで指摘し、人手で作った正解データの誤りが複数見つかりました。
この事業で使った道具
- 知るSNS投稿の分析検証中
よくある質問
- CompassのAIは、どうやって品質を保っていますか。
- 人が判定したサンプルとAIのラベルを突き合わせ、一致率を見ています。一致率が基準を下回ったら、人間が判定の仕方を見直します。
- どんなデータを集めていますか。
- SNS上で公開されている投稿です。非公開の情報は扱いません。
- 今はどの段階ですか。
- 自社内で稼働させながら、外部に提供する前の検証を続けている段階です。