Algorithmes : l'avènement du monstre
Dans un premier article d'une série de trois (lire le deuxième ici), Reflets.info émettait l'idée qu'il était un peu enfantin d'imaginer la NSA mettant en place une telle infrastructure d'écoute planétaire sans avoir prévu les moyens pour traiter, analyser et exploiter les données collectées. Le deuxième volet de cette série évoquait le "système", cette entité qui développe de manière plus ou moins coordonnée la mise en place de ces outils de surveillance massive.
Les algorithmes ont fait l'objet de nombreux articles, y compris dans la presse généraliste. Certains s'émeuvent de la montée en puissance d'algorithmes suggérant aux utilisateurs les films, les livres, qu'ils devraient lire, en fonction de ce qu'ils ont déjà acheté ou consulté. Google, Apple, Amazon, Netflix, la Fnac et quelques autres seraient ainsi en train de créer la culture de demain, basée sur les best-sellers, eux-même poussés par les algos. Irait-on vers une culture uniformisée ?
La technique a toujours fait rêver les investisseurs, les politiques, les rois du marketing. Le big data et son corolaire, le data mining sont vus comme une nouvelle mine d'or. Alors, si ça marche pour des films, des livres, des produits de consommation, pourquoi ne pas appliquer tout cela à un sujet qui est devenu une véritable fixette : la lutte contre les terroristes ?
Le 11 septembre 2001 marque bien entendu le point de départ du délire paranoïaque mondial. Il faut pouvoir éviter un nouvel acte de ce genre. Mais le choix qui est fait est inverse de celui que la logique aurait dû amener à faire. Les informations étaient disponibles pour tenter de contrer ce projet. Des agences américaines avaient connaissance de la présence sur le territoire américain de membres d’Al-Qaïda, de leur inscription à des cours de pilotage d'avions de ligne... Mais l'information a mal circulé. Les décideurs ont donc choisi de privilégier le tout informatique plutôt que le renseignement humain. Avec dans l'idée, sans doute, que de bons gros serveurs informatiques surpuissants pouvaient traiter plus efficacement que de petits cerveaux humains des montagnes d'information, faire ressortir des données inquiétantes, des alertes cette fois efficaces.
A l'inverse, il aurait fallu privilégier le renseignement humain. Celui-ci devant être appuyé par la technique. Car ce sont bien des humains qui ont signalé la présence des terroristes du 11 septembre sur le territoire américain avant les attentats.
Placer une foi aveugle dans des ordinateurs et des programmes informatiques est un véritable danger. Cette foi se transforme peu à peu en vérité scientifique avec tous les implications que cela comporte. Au même titre qu'il est très inquiétant de définir comme un suspect incontournable quelqu'un dont l'ADN a été retrouvé sur une scène de crime au prétexte que c'est une "vérité scientifique", il est monstrueux de laisser des algorithmes définir qui est suspect ou pas.
Syntax error, goto 110
Ces programmes informatiques sont le produit de cerveaux humains et sont donc tout aussi faillibles que les bulbes de leurs créateurs. Ils le sont même peut être plus.
Le secteur de la finance est le principal promoteur et utilisateur de ces algorithmes. Le high frequency trading est l'exemple le plus parlant de l'industrialisation de ces programmes informatiques. Reflets consacre un rubrique à ce sujet. On y découvre que dans les institutions financières, les personnes les mieux payées et les plus choyées sont justement les concepteur de ces algos. Ils sont informaticiens, physiciens, statisticiens... Ils inventent des programmes capables d'être autonomes et de gagner sans relâche. Au détriment des investisseurs individuels, mais c'est une autre histoire.
Mettre au point des programmes qui traitent des données objectives (des chiffres) dans le secteur de la finance ou par exemple pour la production d'articles reposant sur des données financières ou des résultats sportifs est une chose qui peut s'envisager sans trop de risques d'erreurs. Si celles-ci intervenaient, les répercussions seraient d'ailleurs somme toute peu importantes.
En revanche, mettre en place des algos qui définissent la culpabilité ou l'implication éventuelle d'un être humain dans un complot terroriste, c'est une autre dimension.
Si "intelligents" soient-ils, des algorithmes ne peuvent traiter sans risques d'erreurs certains paramètres.
L'homonymie, le deuxième degré, l'humour, la causticité d'un propos..., on en passe.
Doit-on forcément entrer dans une base regroupant des terroristes potentiels parce que l'on écrit "il serait temps de poser des bombes" en réaction à un article sur les inégalités dans le monde ? S'agit-il d'une déclaration à l'emporte-pièce et ne préjugeant en rien d'un passage à l'acte ou d'une profession de foi qui devrait être prise au premier degré ?
La tentation de laisser chaque jour un peu plus la main aux algos est grande. Cela s'est confirmé dans le domaine du high frequency trading. Dans le secteur de la finance, ce sont ceux qui sont aveuglés pas l'antienne "business first" qui se laissent duper. Dans le secteur de la lutte contre le terrorisme, ce seront probablement en partie les politiques qui se laisseront abuser, sur recommandation de militaires dont le métier est, somme toute, de tuer. Mais dans le secteur informatique, il y a des gens qui savent que les ordinateurs se trompent. Que leur laisser la main est dangereux. Les documentaires comme Terminator ou 2001 l’odyssée de l'Espace l'ont bien montré.
Cet article est le dernier d'une trilogie:
La NSA peut-elle tirer du sens d’une surveillance globale planétaire et en temps réel ?
Surveillance globale : le système
Algorithmes : l’avènement du monstre