BRANDING TAILOR

BLOG

2021/06/03
AI支援が普及すると起こりやすくなる事故の原因 「自動化バイアス」
筆者:-

 

自動化バイアス

自動化バイアス(Automation bias)とは

自動化された意思決定システムによる指示には従うが、
自動化されていない指示には、たとえそれが正しくても従わない傾向

です。イノベーションにこだわりすぎるイノベーション推進バイアス(Pro-innovation bias)に似ています。また専門家依存の傾向にも似ています。緊急時には、専門家の判断があまり頼りにならないことがあります。9.11同時多発テロ事件のときにも専門家の指示を守って避難が遅くなった可能性もありました。

なぜ起こるのか

画像1

自動化バイアスには3つの要因があるとされます。1つ目は人間の最も認知的ではない意思決定へのアプローチを選択をする傾向。これを「認知ケチ仮説(Cognitive miser hypothesis)」といいます。「最小努力の法則」に近い。2つ目は、人間の自動支援を自分たちより優れた分析能力がある見なす傾向。3つ目は、人間は、自動支援を含めて他者と協業するときに自分が払うコストを減らす傾向。これもまた「最小努力の法則」に関連します。

自動化によって人は怠惰になる傾向があります。これを自動化自己満足(Automation complacency)と言います。 この用語は実際には事故が発生しようとしているときに、全てが正常であると想定して、パイロット、航空管制官、または他の労働者がシステムを十分にチェックできなかった航空事故に関連して最初に使用されました。オペレーターの自己満足は、航空事故の主要な要因として長い間認識されてきました。

自動化バイアスを気をつけるべき領域

自動化バイアスは、航空関係、医療、軍事、自動車の現場で発生します。 例えば私は、自分の健康管理にOura Ringと言うデバイスを使っていますが、このデバイスが示す数値を見て自分の体調を判断しています。実際には具合が悪くても、このデバイスが「良好」と示す時、それを頼って自己判断を無視する時、これは自動化バイアスと言えるでしょう。軍事においては、イラク戦争時に、自動化バイアスの影響で誤射などが発生しています。自動車においてはナビゲーションシステムへの過信や自動運転への過信として自動化バイアスは現れます。

対策・応用

AI支援が普及していくこれからの時代では、今まで以上に自動化バイアスによる事故を警戒すべきでしょう。ヒューマンエラーによる事故が減る一方で、自動化バイアスによる事故が増えていくことが予想されるからです。なのでAI支援を含んだシステムに人間によるチェックを含めていくと良いでしょう。とはいえ、自動運転している自動車のなかで昼寝や仕事に勤しむ、ということはどんどん日常になっていく気はします。クワバラクワバラ。

認知バイアス

認知バイアスとは進化の過程で得た武器のバグの部分。紹介した認知バイアスは、スズキアキラの「認知バイアス大全」にまとめていきます。

関連した認知バイアス

•イノベーション推進バイアス(Pro-innovation bias)
実際は欠陥がある発明にもかかわらず、社会全体が新技術の有効性を過剰に楽観的に考える傾向。

•最小努力の法則
ある目標を達成するのに複数の方法があるとき、最も少ない努力で済む方法を選択する傾向

#科学 #ビジネス #ビジネススキル #エグゼクティブ #経営者 #生産性 #オフィス #認知バイアス