SNSではユーザーに対して、アルゴリズムにより真偽よりも「心地よさ」を重視した情報を表示する傾向がある。さらに人間の認知バイアスが作用することで、個人の信念がより強化された、閉じた情報環境が形成されていく。また、そこには広告収益のための「インプレッション稼ぎ」も影響を及ぼしている。能登半島地震の被害に見せかけて東日本大震災の津波の動画を投稿するといった、悪質な投稿も大量に存在する。
書籍『アルゴリズム・AIを疑う』より一部を抜粋・再構成し、現代のSNSの問題点を明らかにする。
「速い思考」と「遅い思考」
人間のアテンションに対する最適化は、人間がもつ心理特性と重なり合うことで、ときにより複雑で厄介な問題にもつながる。
ここでは、心理学の分野でしばしば参照される「二重過程理論」という理論モデル（あくまで仮説的なモデルであり、実際の脳の機能はもっと複雑なものとされる）を確認しておこう。
心理学者・行動経済学者のダニエル・カーネマンは、人間の2つの思考過程を「速い思考」と「遅い思考」と分類し、「速い思考」を実現する脳のシステムを「システム1」、「遅い思考」を実現する脳のシステムを「システム2」とよんで区別している*1。
システム1の「速い思考」とは、自動的・直観的にすばやく判断する思考モードのことを指す。たとえば、突然聞こえた音の方角を感知して、特に意識することなく自然とアテンションを向けてしまうようなプロセスが「速い思考」で、いわば意識的なコントロールがおよぶ前の「反応」などが含まれる。
一方の「遅い思考」とは、複雑な計算のように意識的に時間をかけて論理的な推論などを行う思考モードのことで、たとえば聞こえた声の内容を言語的に判断して、その真偽を吟味して確かめるようなことを指す。
実際はこのシステム1（「速い思考」）とシステム2（「遅い思考」）は連携して処理をするが、システム1が自動的にアテンションの対象を振り分ける（音が聞こえた方角に気づかせる）のに対し、システム2はその対象にどのように対処すべきかを意識的に判断する（聞こえた音にどのように応答するかを考える）というような過程をたどる。
この「二重過程理論」を含む人間の情報処理過程にはさまざまな理論があるが、システム1のような認知資源の節約につながる情報処理方略のことを「ヒューリスティック」とよぶ。
ヒューリスティックは直観や経験則に基づいて、すばやい判断を行う思考様式で、たとえば「（ちゃんとした根拠はないが）パッとみた目が外国人にみえるから日本語が通じないだろうと判断する」といった「短絡的な」判断のことを指す。
人は「信じたいものを信じ、信じたくないものを信じない」
少し考えればわかるとおり、こうした判断は日常生活において認知資源を使わずにすばやく行動を決めていく際には一定の有効性があるが、偏見や差別を拡大したり、論理的でない判断をしたりしてしまう危険性と表裏一体である。
ヒューリスティックは必ずしも悪いものではないが、情報の真偽の判断など慎重さを要する場面ではヒューリスティックが邪魔をすることもあるわけだ。このようなヒューリスティックなどによって判断が偏ったり論理的でなくなったりする心理的な傾向性のことは「認知バイアス」と総称される。
認知バイアスのうちよく知られているもののひとつに「確証バイアス」というものがある。これは自分の信念に合致する情報を過大評価し、合致しない情報を過小評価するという心的傾向のことである。
よりわかりやすくいえば、人間は「信じたいものを信じ、信じたくないものを信じない」という判断を（特にシステム1において、無意識のうちに）しやすいということだ。
一例を挙げると、自分が支持している、あるいは好きなユーチューバーが主張していることは根拠がなくても真実だと思い込みやすく、逆にそのユーチューバーに批判的なコメントがつくと、たとえそれが論理的に妥当なものであってもその正しさを認めることができないことがある。
そして多くの場合、そのような確証バイアスに基づいて自分に都合のいい情報だけに選択的にアテンションを向けていること自体に気づかないのだ。
そうした人間の心理的傾向に対して、SNSなどのプラットフォームは、アルゴリズムによってユーザーのCTRや滞在時間が最大化するような情報を選別して提示する。
ユーザーが「信じたい」と思う情報の方が、よりCTRが高ければ、そのような情報を（たとえそれが真実であろうとなかろうと）頻繁に表示するようにアルゴリズムが勝手に最適化してしまうわけだ。
アルゴリズムと認知バイアスの相互作用によって、たとえ真偽が不明であってもユーザー（のシステム1）にとって「心地よい」情報だけが選別されたメディア環境が構築されていくことになる。
このように、アルゴリズムという一見「客観的」で「機械的」な処理は、アテンション・エコノミーという経済原理のもと、プラットフォームのKPIに対して忠実に最適化を進めることで、かえってそのアルゴリズムが出力する情報の分布や真偽が不明確になってしまうという逆説をかかえることになる。
これは、アテンションに最適化したアルゴリズムと、人間のシステム1による「速い思考」が、よい意味でも悪い意味でも「相性がよい」ためでもある。
情報オーバーロード環境において、認知資源の節約が可能なシステム1による「速い思考」で情報を処理することは効率的である一方、システム2による「遅い思考」を積極的に働かせて情報の真偽を吟味したり論理的に熟考したりすることは「コスパ」が悪いことになってしまうからだ。
アルゴリズムは、情報オーバーロードにおける過剰な情報量を縮減すべく、フィルタリングやレコメンドを行い、タイムラインなどの認知しやすいフォーマットにあらかじめ整序してくれる。
いってみれば、アルゴリズムが選別してくれた情報をそのまま「深く考えずに」直観的に受け入れることが、脳にとってもっとも情報処理の負荷を小さくできるわけだ。しかし、これまでみてきたとおり、そこに身を任せることにはさまざまな弊害が伴う。
そのようなアルゴリズムと人間のある意味「共犯」ともいえるような相互関係について俯瞰的・批判的な視座をもつことは、アテンション・エコノミーを相対化するために重要な第一歩といえるだろう。
