Codeurs : à défaut d'éthique, le risque judiciaire

Participer à la création d'armes numériques n'est pas un acte anodin

Peu ou pas abordée durant les cursus scolaires, l'éthique est une forme personnelle de morale. Elle est pourtant le seul rempart pour éviter la case « Justice » lorsque les employeurs ont demandé « l'impossible »...

Cet article est une suite à ce papier sur les auditions des patrons d'Amesys

« Code is Law ». Le code, c'est la loi, écrivait le juriste américain Lawrence Lessig en 2000. « Le logiciel et le matériel (…) font du cyberespace ce qu’il est. Ce code, ou cette architecture, définit la manière dont nous vivons le cyberespace. Il détermine s’il est facile ou non de protéger sa vie privée, ou de censurer la parole. Il détermine si l’accès à l’information est global ou sectorisé. Il a un impact sur qui peut voir quoi, ou sur ce qui est surveillé. Lorsqu’on commence à comprendre la nature de ce code, on se rend compte que, d’une myriade de manières, le code du cyberespace régule ». Le poids qui repose sur les épaules de ceux qui produisent le code est donc énorme. Le codeur ouvre des fenêtres sur le futur. Il détermine, façonne, ce que sera le réseau des réseaux dans l'avenir. Souhaite-t-on un outil au service de la répression sanglante, un outil de diffusion du savoir ? Un système d'interceptions massives ? Une place de marché géante ? Comment concilier la morale, l'éthique personnelle et celle des entreprises qui emploient ceux qui codent ? Les choix sont parfois cornéliens et d'ailleurs, certains salariés d'entreprises américaines protestent contre la volonté de leurs employeurs de travailler pour le Pentagone même si rien, bien entendu, dans la loi ne l'interdit à ces sociétés. Drones militaires, intelligence artificielle, reconnaissance faciale, robots tueurs, surveillance massive, les sujets de discorde sont nombreux, outre-Atlantique. Produire un certain code peut être éthiquement discutable. Mais une seule vérité s'impose à tous in fine : celle de la Justice. Et pour éviter la case Justice, l'éthique personnelle peut aider... Pour illustrer ce point, quelques exemples récents...

Flashback : Milieu des années 2000, Nicolas Sarkozy et George Bush s'efforcent de parvenir à normaliser les relations entre la Libye de Mouammar Kadhafi et le reste du monde. Les deux présidents oeuvrent à un retour sur la scène internationale de Tripoli. Avec cette « normalisation », les contrats commencent à pleuvoir pour la France. Système de communication radio pour l'armée, missiles antichars, accord sur le nucléaire civil... « Qu'est-ce qu'on va me reprocher ? De trouver des contrats ? De faire travailler des entreprises française ? » s'agace le président français lorsque certains évoquent les droits de l'Homme, peu respectés en Libye. Il faut dire que les relations avec ce pays ont été difficiles au fil des ans. Deux attentats pour lesquels ce pays est soupçonné d'être le commanditaire, ont marqué les esprits. Celui de Lockerbie en 1988 avec l'explosion en vol d'un vol de la Pan Am au dessus d'un village en Ecosse. Quelque 270 personnes perdent la vie. Le vol UTA 772 explose pour sa part en septembre 1989 au dessus du Ténéré au Niger et fait 170 morts dont 54 Français. Pour ce dernier attentat, la Justice française condamnera par contumace, en 1999, Abdallah Al Senoussi, le beau-frère de Mouammar Kadhafi, à la réclusion criminelle à perpétuité. Il était depuis, visé par un mandat d'arrêt international.

Mais voilà, 2007 est une autre époque et tout rentre dans l'ordre, surtout quand les contrats juteux sont à portée de signature. Dans le lot des entreprises introduites auprès du gouvernement libyen par le gouvernement français et l'intermédiaire Ziad Takkiedine, il y a une petite SSII aixoise. Sur le papier, elle emploie 800 personnes environ. Mais dans les faits, la majeure partie de ces employés sont « de la viande », des salariés intérimaires postés chez le client. I2E, c'est son nom, est déjà bien implantée dans le secteur militaro-industriel. Elle a participé à plusieurs projets, sur des avions de chasse, des bateaux de la marine ou les sous-marins Agosta vendus au Pakistan. IE2 est également présente dans le projet Sawary II avec l'Arabie saoudite. Ces deux contrats seront plus tard au cœur de l'enquête sur l'attentat de mai 2002 à Karachi contre les salariés de la DCN et d'un scandale politico-financier largement documenté.

I2E deviendra par la suite Amesys. Dans le grand mercato de contrats entre la Libye et la France, I2E est approchée pour mettre en place des outils de cryptographie. En 2006, deux salariés de la SSII, Renaud Roques, qui sera plus tard le chef de projet Eagle et Stéphane Salies, côté commercial, se rendent en Libye pour présenter leur produit Crypto Wall.

Mais très vite, côté libyen, Omar Salem, le directeur du renseignement militaire, aimerait savoir s'il est possible d'acheter un outil d'interception du trafic Internet.

Un Eagle pour les surveiller tous...

I2E/Amesys n'a pas de produit à proposer, mais se fait forte de le fabriquer. Omar Salem présente la SSII à Abdallah Al Senoussi, le chef des renseignements libyens et beau-frère de Kadhafi. En 2007, le contrat est signé et les premières livraisons interviennent l'année suivante. En 2009 l'outil est installé sur place.

Eagle, le produit développé par Amesys repose sur deep packet inspection (DPI). Il s'agit d'intercepter, grâce à des sondes, les paquets IP qui circulent sur le réseau, de les stocker et de les catégoriser. Une interface permet ensuite à un opérateur de reconstituer le trafic Internet d'une personne, en se basant sur une adresse IP, une adresse mail, un pseudo... On peut alors tracer des arbres de connaissances. Untel a discuté par mail avec telle autre personne qui elle-même, est en relation par chat avec une autre, suspectée dans une autre affaire et qui a chargé les pages de tel site Web...

Amesys va jouer le rôle d'intégrateur. Elle se tourne vers une société française pour les sondes. Qosmos, est une spin-off du laboratoire de recherche LIP6 de l'université Pierre et Marie Curie. Elle commercialise, en échange de royalties versées à la fac, des sondes DPI qui interceptent le trafic de manière passive. La coopération entre les deux entreprises finit part capoter et Amesys achète des sondes à l'allemand Ipoque. Les développeurs d'Amesys vont travailler sur le produit global livré à Abdallah Al Senoussi. C'est avec l'argent de ce premier contrat libyen qu'Eagle est développé. L'infrastructure a, depuis, été revendue à des pays comme le Qatar, le Gabon, le Maroc, l'Arabie saoudite, les Emirats Arabes Unis, l'Egypte. Tous étant un peu fâchés avec les droits de l'homme...

En février et juin 2011, Reflets.info dévoilait la vente par Amesys d'outils d'interceptions massives du trafic Internet (mails, chat, serveurs Web visités, etc.) à des dictatures. Le début d'un scandale à multiples rebondissements. L'un d'entre eux est l'ouverture, après de longues tergiversations, d'une instruction devant le Pôle Crimes de guerre du tribunal de grande instance de Paris, pour « complicité de torture ou acte de barbarie, traitements inhumains et dégradants ».

Du compilateur au bureau du juge

La professionnalisation et la militarisation du secteur de la sécurité informatique au cours des deux dernières décennies a eu une foule de répercussions. L'une d'elles et la hausse des salaires. Lorsqu'une faille « zero day » s'échange sur le marché autour d'un million de dollars, certains peuvent devenir moins regardants sur l'usage qui va en être fait. De même, coder pour un bout de projet comme Eagle, peut sembler anodin. Les services de renseignement français étaient au courant, expliqueront aux juges plusieurs employés. Le gouvernement lui-même n'avait-il pas introduit Amesys auprès des Libyens ? Comment se douter que Eagle allait servir à intercepter le trafic Internet d'opposants au régime, à les arrêter et à les torturer, comme cela a été expliqué par les victimes au juge du Pôle Crimes de guerre du tribunal de grande instance de Paris ? Peut-être simplement en se documentant un minimum sur la carrière sanglante de Mouammar Kadhafi ? En développant une éthique personnelle qui interdirait de mettre ses capacités au service d'un dictateur de cet acabit ?

Il n'y a pas que l'argent dans la vie et il n'est pas impossible que pour certains, le développement dans le cadre de tels projets soit motivé par le challenge technique et intellectuel. Parvenir à classifier tel ou tel type de trafic, contourner les protections mises en place par tel ou tel éditeur de logiciel... Mais ces explications (la rémunération ou le challenge technique) n'expliquent pas tout. Après la médiatisation de l'affaire dans toute la presse, y compris à l'international, les développeurs d'Amesys ont continué à travailler sur le même projet, cette fois pour le Maroc, le Qatar et beaucoup d'autres pays où les droits de l'Homme sont une option non disponible.

La plupart des personnes qui ont codé Eagle ont fait l'objet d'interrogatoires. Il sont passés de leurs compilateurs au bureau d'un juge où ils avaient été accompagnés par les forces de l'ordre. En février 2016, les enquêteurs qui planchent sur l'accusation de complicité de torture concernant Amesys, dans le cadre de l'instruction ouverte auprès du Pole Crimes de guerre du Tribunal de grande instance de Paris, ont réalisé une opération d'interpellations coordonnées. Le juge en charge du dossier à l'époque souhaitait entendre les développeurs avant d'entendre les patrons d'Amesys, Philippe Vannier et le responsable commercial de la société, Stéphane Salies. Sur une vingtaine de personnes intéressant le juge, une douzaine est entendue.

Les auditions révèlent qu'il n'y avait pas véritablement de discussions en interne sur les répercussions du projet Eagle dans les pays où il était installé, du moins jusqu'à la parution d'articles dans la presse. Pourquoi ? Simplement parce que tout le monde savait que le gouvernement français et les militaires étaient au courant de ce projet et l'approuvaient, résument les développeurs auditionnés. Quant à la direction, elle balayait les objections d'un revers de la main : « si c'est pas nous ce seront d'autres sociétés ».

« je pense qu'au sein de l'équipe on était tous un peu naïf, un peu lâches aussi, c'est à dire qu'on était bien où on était, on avait un salaire confortable, on voyageait, on touchait des primes en déplacement, c'était facile de fermer les yeux et de se convaincre que ce n'était pas si grave », explique l'un des informaticiens entendus.

« Forcément, il y a eu des discussions, notamment suite à la parution d’articles dans la presse. Je me souviens d’un reportage de Canal+, lundi investigations, qui ciblait la société Amesys. Au final, on en a peu parlé et on s’est dit que ce n’était pas de notre faute. Personne n’a quitté la société à ma connaissance pour ce type de motif », indique un autre.

Ce n'est pas complètement juste. Certains ont quitté le navire. Le scandale grossissant, certains vont développer une éthique ou une conscience, d'autres vont sans doute juger qu'il est préférable de s'éloigner avant que d'autres procédures judiciaires ne soient éventuellement ouvertes.

« Pour tout vous dire, quand j'ai vu à quoi ce produit servait et quels étaient les pays dans lesquels il était susceptible d'être vendu, j'ai souhaité quitter le projet. Personnellement je ne cautionnais pas intellectuellement de vendre ce type de produit vers des pays qui auraient pu l'utiliser pour maintenir des pouvoirs en place », déclare un autre. « Je ne comprenais pas pourquoi Julien continuait à travailler chez Amesys après les révélations qui ont été faites, notamment dans les médias. Tant que j'y ai travaillé ce n'était que des suspicions, plus tard il y a eu des éléments concrets, du coup plus personne ne pouvait ignorer ce qu'il se passait et comment le système était détourné. J'ai donc parlé de ça avec Julien. Mais il m'a répondu qu'aujourd'hui ce n'était plus pareil... Il y a quelque chose qu'il faut savoir, c'est que les patrons d'Amesys ont dû demander à leurs employés de ne pas parler à l'extérieur, encore moins aux anciens employés de leurs activités actuelles. Du coup Julien restait vague en me disant que c'était techniquement intéressant et que ça lui plaisait toujours », précise une personne entendue.

L'éthique est quelque chose de très personnel. Une sorte de Loi intérieure que l'on définit et que l'on s'impose. Des règles de vie pour être en accord avec soi-même. Ces règles reprennent généralement les grands concepts philosophiques, religieux, juridiques ou simplement humains, permettant de définir le bien et le mal, ce que l'on peut faire à autrui ou pas. Arrêter de penser ses actes, mettre en suspens son éthique pour continuer à avancer, c'est finalement entrer à petits pas dans la « banalité du mal » décrite par Hannah Arendt. Comme l'explique un des informaticiens auditionnés, l'entreprise elle même expliquait à ses salariés que si ce n'était pas elle qui vendait ce système à des pays fâchés avec les droits de l'Homme ce serait une autre... Ainsi, la vente de solutions permettant d'intercepter tout le trafic IP d'un pays devient un acte banal. Si on ne le trouve pas chez Darty, on ira à la Fnac...

Neuf ans après l'ouverture de la procédure, tout est au point mort en dépit de points juridiques impliquant Amesys qui ont été établis durant l'enquête. Les développeurs, mais surtout les responsables de l'entreprise de l'époque, Stéphane Salie et Philippe Vannier, profitent sans doute des risques d'image d'un volet non exploré par cette procédure. Personne au sommet de l'Etat ne veut voir s'étaler dans la presse les relations troubles entre les services de renseignement et Amesys. Ni que soient exposées les possibilités techniques et le cadre juridique particulièrement lâche offert par ces outils à l'Etat français pour opérer ses interceptions.

La militarisation du secteur de la sécurité informatique

« Aujourd'hui, le secteur de la sécurité informatique, c'est comme celui de l'aviation ou de la pharmacie, on est passé d'un truc de passionnés à des secteurs industriels essentiels, énormes. Nous sommes entrés dans l'ère de la militarisation. Nous, on publiait gratuitement les failles que l'on trouvait, aujourd'hui tu peux vendre une faille zero day un demi million de dollars. D’une sorte de contre-culture, on est passé à un marché », explique Marc Maiffret, l'un des premiers hackers des début du Web, à l'époque membre de l'équipe Rhino9. Marc Maiffret a ensuite fait fortune dans le domaine de la sécurité informatique.

Les salariés des géants du Web ne s'y trompent pas. Depuis plusieurs années, des employés de Google, d'Amazon ou de Microsoft protestent contre les projets de leurs entreprises avec le Pentagone. Google a par exemple abandonné la course pour le contrat JEDI de cloud pour le ministère de la défense américain sur pression de ses salariés. Amazon et Microsoft se sont disputé le contrat. Mais ici aussi, des voix se sont élevées contre l'idée que l'intelligence artificielle et la puissance de calcul offertes rendront encore plus « mortelles » les opérations des militaires.

Autre sujet de controverse, les robots ou la reconnaissance faciale. Ancienne employée de Google dont elle a démissionné, Laura Nolan a par exemple demandé à ce que les robots militaires guidés par des intelligences artificielles et non contrôlés par des humains soient déclarés illégaux au même titre que les armes chimiques. Peut-être a-t-elle pris trop au sérieux le documentaire « Terminator » ou peut-être a-t-elle simplement développé une éthique plus solide que certains de ses collègues. Quelque 450 salariés d'Amazon ont quant à eux signé une lettre demandant à leur patron Jeff Bezos de mettre un terme à la vente aux forces de l'ordre d'un système de reconnaissance faciale (Rekognition) en raison de sa propension à se tromper pour les personnes ayant une couleur de peau foncée. Timnit Gebru, la spécialiste de l'éthique en matière d'intelligence artificielle a pour sa part été licenciée par Google après avoir voulu alerter sur ce sujet dans une publication...

Ce que les opposants à ces contrats appellent le « business de la guerre », n'est finalement pas très différent des ventes d'armes classiques. Et ces dernières font de plus en plus appel aux développements informatiques complexes. Dans un univers mouvant et encore peu réglementé, la responsabilité est finalement renvoyée aux développeurs. Souhaitent-ils s'impliquer dans des développements qui pourraient être mortels ?

Le législateur en est encore à se demander ce qui est véritablement un système, une arme autonome. Certains estiment que pour parler de systèmes d'armes létaux autonomes (SALA), il faut que ceux-ci soient dépourvus de toute tutelle humaine et ne puissent être stoppés que par une destruction. Ce qui de facto place les systèmes d'armes semi-contrôlés dans une catégorie « acceptable ». Or l'intelligence artificielle et plus largement les système semi-autonomes sont encore balbutiants et sujets à des erreurs mortelles. Les voitures autonomes provoquent par exemple encore des accidents...

Sans aller jusqu'au robots tueurs, l'éthique des développeurs peut être sollicitée lorsqu'il s'agit de créer des outils de surveillance dédiés. Les révélations d'Edward Snowden en 2013 ont ouvert les yeux des non techniciens : ce qui circule sur Internet, circule la plupart du temps en clair et peut être intercepté par des entreprises ou des gouvernements. Pour éviter de perdre leurs clients de nombreux acteurs du numérique vont peu à peu déployer du chiffrement (SSL) pour protéger les contenus échangés. Les services de renseignement vont alors s'adapter. D'une part ils tirent de très nombreuses informations pertinentes avec les métadonnées et/ou le rapprochement entre diverses sources de données, d'autre part, s'ils veulent continuer à accéder au contenu (payload), il leur suffit de s'attaquer aux extrémités, c'est à dire à l'émetteur ou au récipiendaire. En d'autres termes, il suffit de pirater les terminaux (téléphones, ordinateurs, tablettes,...).

Hack me if you can

Quelques entreprises vont donc tirer leur épingle du jeu dans ce nouveau contexte post Snowden. Par exemple le groupe NSO (et sa société Q), Hacking Tream, Gamma International... Sur le long terme, toutes ont attiré l'attention des défenseurs des libertés publiques et certaines de la justice ou des institutions internationales. L'ONU s'est par exemple émue de l'utilisation des produits de Hacking Team au Soudan. L'analyse logique de l'éco-système de la sécurité informatique et plus largement des équipements réseau laisse présager des procès dans un avenir plus ou moins éloigné. La responsabilité de ceux qui ont codé les outils ne manquera pas d'être évoquée par les juristes.

Comme pour les systèmes s'attaquant à toutes les communications d'un pays, pour ceux qui visent les extrémités, il y a un challenge technique et donc intellectuel, qui peut attirer. Mais in fine, ces outils sont souvent utilisé par des régimes répressifs pour viser des opposants ou des minorités. Le laboratoire Citizen Lab de l'université de Toronto a publié nombre d'études sur l'utilisation de ces technologies à l'encontre des populations.

Si le rôle de ceux qui codent ces outils à finalité duale est essentiel pour leur développement, celui des commerciaux, qui favorisent leur vente ne doit pas être écarté. Autre pays, autre exemple, aux Etats-Unis, la société Bluecoat a été prise la main dans le pot de confiture en Syrie, bien qu'elle s'en défende. Le groupe Telecomix a découvert fin 2011 plusieurs machines Bluecoat responsables de la censure du Web syrien dans ce pays. Les logs de ces machines, librement accessibles ont été publiés sur Reflets.info qui a médiatisé cette affaire. Les reverse-proxy de l'équipementier américain étaient par exemple impliqués dans une attaque de type « man in the middle » : pour certaines personnes visées par les services de renseignement, les requêtes en HTTPS sur les pages de connexion aux réseaux sociaux étaient renvoyées en HTTP par les machines Bluecoat, permettant d'intercepter ensuite les identifiants et mots de passe. Dans un premier temps, Bluecoat a nié. Mais le simple fait que les machines communiquent avec leur base une fois installées, contredisait la thèse officielle. Le commerce de ce type de matériel avec la Syrie étant à l'époque interdit aux Etats-Unis, le département du commerce a ouvert une enquête. Bluecoat n'a pas été inquiétée. C'est un revendeur de Dubaï qui a endossé la responsabilité de cette vente et qui a payé une amende de 2,8 millions de dollars.

Dans le cadre de cet article, nous avons contacté plusieurs des meilleures écoles d'ingénieurs qui forment les génies du code de demain, afin qu'elles puissent exposer la manière dont elles éveillent leurs élèves aux risques juridiques et éthiques de leur futur métier. Aucune n'a souhaité répondre. Peut-être n'avaient-elles rien à dire ?

Cet article est une suite à ce papier sur les auditions des patrons d'Amesys