株式会社マモル

こんにちは。株式会社マモル代表のくまゆうこです。

マモルは、いじめ防止相談ツール「マモレポ」を全国の小中学校へ導入してます。

さて、昨年2021年の話になりますが、「AIでいじめは解決できるのか…予測・分析の先にある、大切なこと」という原稿を書きました。

どんな内容かというと、

滋賀県大津市と日立システムズが開発した「いじめ予測分析システム」があり、AIが過去データを分析し、いじめが深刻化するリスクを瞬時に判断する仕組みについての説明です。

さらっとさわりだけを書いたのですが、教育委員会の方から
「先日、AIについて検討することになり、ネットで色んな記事を調べていて、この記事を引用しようと思ってプリントし、最後の署名をみたら隈さんの記事だった」といわれたのです。結構読んでもらってるんだなと思い、改めてAI×いじめの取り組みを書きたいと思います。

AI×いじめの試み

①IBM Cloud

IBM Cloud上でAIを活用する「WatsomApp」でいじめを減らす取り組み

いじめの早期発見と適切な対処には、子供たちの会話が手掛かりとなります。
しかし、子供たちはいじめについて周りの大人たちと会話することに抵抗を感じています。スペインのマドリードに本社を置くWatsomAppは大人の代わりに話を聞くアバターロボットを置くことで、子供たちがいじめについて話しやすい環境をつくりました。
WatsomAppはアバターロボットの対話に加え、生徒のオンラインゲームのプレースタイルを分析することで、子供たちの心理的傾向を調べます。WatsomApp社は子供たちとの会話や、ゲームプレイの様子から収集したデータを分析し、その洞察結果を教師と共有します。
このようなサービスによって教師がいじめを認識する時間を9カ月から1カ月程度にまで短縮することも可能になりました。
同社はIBMと協力関係にあり、各種分析にはIBM Watson AssistantなどのAI技術が使われています。いじめ防止のためのこのサービスは、子供や教師、学校心理学者からのフィードバックを受けて開発されていて、現在スペインの3,000人の生徒に提供されています。

➁インスタ

AIでネットいじめ防止、インスタの「自主規制」の狙い

ネット上でのいじめへの対策が不十分だとして批判されていたフェイスブック傘下のインスタグラムが、AI（人工知能）を利用して不快なコメントを排除し、ユーザーを守るための対策を発表しました。
ユーザーが他者に不快に思われる可能性のある投稿をしようとした場合、AIはそれを検知し、投稿を見直すよう促します。今までは不快なコメントの報告はユーザーが各自で行ってきましたが、今後はAIが「SNSの良心」の役割を担うのです。
ユーザーの投稿をAIが監視することに関しては、様々な議論が交わされてきましたが、今回インスタグラムが導入した施策は、コンテンツの削除やアカウントの制限を自動的に行うという策に比べるとやや控えめなものといえます。
インスタグラムの本来の良さの維持と、状況の改善の両方に役立つといえるでしょう。近年、AIを用いた投稿の監視に注目が高まっています。この流れに続く企業が今後も増えることが予想されます。

➂SNS

Twitterの攻撃的なツイートを認識する技術を開発。SNSの嫌がらせ、いじめ対策として期待

ビンガムトン大学のコンピューター科学者ジェレミー・ブラックバーン教授を筆頭とした研究チームは機械学習アルゴリズムを用いて、90%の精度でTwitter上の嫌がらせやいじめを認識するクローラを開発しました。このクローラはツイート自体の言語・感情分析と、ユーザーのプロフィールやフォロー・フォロワー、などのデータをもとに分析を行います。これにより、人種差別や嫌がらせのツイート、それらを発信する悪意のあるユーザーを識別します。この技術はネットでのいじめや誹謗中傷を事前認識し、被害を防ぐこと、悪意あるアカウントを凍結することなどに役立つでしょう。
この研究ではTwitter社とは特別な連携や協力の関係にはありませんでしたが、2019年4月にはTwitterの安全性を保つための様々な取り組みを報告しています。具体的には凍結後の再登録の阻止や、独自技術による悪意のあるコンテンツの特定など様々な対策が示されており、同社も攻撃的なツイートやスパムなどに注目していることがわかります。

Instagramの人工知能がネットいじめと戦うーー不快なキャプションを投稿前に警告 | BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報 (thebridge.jp)

Instagramは先に述べたコメント欄でのAIを用いた不快なコメントへの対応について信頼できる結果が得られたため、この投稿前の警告をAIが不快と判断したキャプションを付けた動画や写真が投稿されようとした際にも行うこととしました。警告システムは完全に自動化されており、Instagramは同様の言葉を使うキャプションを含む過去のいやがらせ報告から収集したデータを基にAIを使用して文言を検出しています。もちろん、不快なコンテンツを無理やり投稿しようとするユーザーを止めるものではありません。しかし、SNS過激な投稿を減らすために必要なのはこうした穏やかな働きかけで十分だと考えられています。数十億人のユーザーの投稿を監視することは、人の手だけでは不可能です。そのため、多くの主要プラットフォームがAIを活用した自動化ツールの利用に移行しています。Instagramの警告システムは、テスト国での実証実験の後、世界中のユーザーに適用されます。

AIでSNS監視は、受けいれられるのか

アメリカではこんなニュースがありました。

アメリカでは学校での銃乱射により死者が出る事件がたびたび発生していますが、学校の安全性を高めるため、生徒のメールやテスト、SNSなどをAIシステムに監視させ、いじめやうつ病、銃撃などの兆候を検知しようという試みが各所で行われています。スタートアップ企業のBarkは2018年8月に子供たちのインターネットの利用を監視して危険を回避するためのサービスの開発について、900万ドルの出資を集めることに成功しました。
Bark社のアプリは児童心理学者や青年アドバイザー、法執行機関の専門家たちと協力して開発されたもので、機械学習を使用してSNSやメールのデータなどからいじめや非行の可能性を識別して親や学校に警告を送るというもの。2019年2月時点でBarkは親が子どもを監視するための有料アプリを提供していますが、その利益を使ってアメリカの学校に対してサービスを無料で提供しています。
無料のアプリは1100学区で使用されており、計算上は260万人の子どもをカバーしていることになります。このアプリによって、「汚い言葉」のアラートが1日約４万件送信されていますが、FBIに対してアラートが送信される深刻なケースもアプリ公開から1週間で16件あったそうです。ただしこのアプリも万能ではなく、誤検知や子供が監視指定されていないアカウントを使うことによる監視漏れなど、限界もあります。
1998年から「学校の安全性を高めるサービス」を提供しているGaggleも同様のサービスを行っています。Gaggleの特徴は機械学習だけでなく、テキストや文章を専門家が分析する点です。また、学校ではなく生徒に直接メールを送ることもあるそうです。

アメリカでは上記のようなサービスの利用が増えてきていますが、その性質上プライバシーの問題が存在します。安全性の確保目的以外の個人情報の暴露は避けなければなりません。しかしながら、親が学校での「安全性」を強く懸念する現代において、このようなサービスへの需要は今後も大きくなっていきそうです。

職場ではこんなことが・・・

人工知能が「差別主義者になる」のを防ぐために

人工知能が「差別主義者になる」のを防ぐためにできる、4つのこと | WIRED.jp

AIは便利ですが、上記にも書かれているようにアルゴリズムバイアスが生まれやすいです。
人工知能はウェブ上の差別的な情報を取り込んでいくうちに差別的な表現を出力してしまうことがあります。「アルゴリズムバイアス」と呼ばれるこの現象はテック企業や彼らの主力製品に傷を付けてしまうことにつながります。

マイクロソフトの作成したTwitterボットはほかのTwitterユーザーの振る舞いを学習し、12時間も経たないうちに、Tayは口汚い人種差別主義のホロコースト否定論者に変身し、「フェミニストは地獄で焼かれて死ぬべきだ」と投稿するなどレイシストと化しました。同様の問題はGoogleやappleなど他の大企業でも問題になっています。

アルゴリズムバイアスの厄介な点はシステムの開発者の意図によらず発生し、気づかれにくい点です。

アルゴリズムバイアスの防止のための４つのアイデア
開発者たちが不意にアルゴリズムバイアスの入ったプログラム（バイアスコード）を作り、サービスが差別的な印象を持たれることを防ぐためにテック企業ができることは4つあります。
・問題のあるプレイヤーへの対応を強いられてきたオンラインゲーム業界の手法を、差別への攻撃に応用すること。
・新しいサービスや製品の発表前に、バイアスに影響されやすい人たちの声を取り入れ、問題点を発見すること。
・アルゴリズムを事前に社内監査にかけること。
・バイアス阻止に取り組む企業についてまとめたページと認定基準の開発を援助すること。

テクノロジーは人間よりも中立であるという信念が高まっているが、そうではない。企業は、自社のサービスがアルゴリズムバイアスによって差別的になってしまう可能性を考慮して開発を行うべきです。

AIがいじめを予測し、防止できるのか　皆さんはどう思いますか？

今日はちょっと長く難しい話になってしまいました。
最後までありがとうございます。