Ceci est une partie du script de la release Ex0099 du programme CPU, Code & Éthique, diffusé le Jeudi 6/12 à 11h. Plus d'infos sur le site de l'émission.
Si vous suivez le programme en podcast, préférez le flux du site de l'émission logo de l'émission CPU

Bonjour à toi, Enfant du Futur Immédiat, toi qui vient de découvrir combien sont inflexibles les lois de l'algorithmie, sauf peut-être en Javascript (et encore).

En 2000, Lawrence Lessig écrit pour la prestigieuse revue Havard Magazine, un article intitulé « Code is Law, on liberty in cyberspace » (« Le code est la Loi, sur la liberté dans le cyberespace »). Ce texte fera date. Je t'en lis un extrait :

Nous sommes à l’âge du cyberespace. Il possède lui aussi son propre régulateur, qui lui aussi menace les libertés. Mais, qu’il s’agisse d’une autorisation qu’il nous concède ou d’une conquête qu’on lui arrache, nous sommes tellement obnubilés par l’idée que la liberté est intimement liée à celle de gouvernement que nous ne voyons pas la régulation qui s’opère dans ce nouvel espace, ni la menace qu’elle fait peser sur les libertés.

Ce régulateur, c’est le code : le logiciel et le matériel qui font du cyberespace ce qu’il est. Ce code, ou cette architecture, définit la manière dont nous vivons le cyberespace. Il détermine s’il est facile ou non de protéger sa vie privée, ou de censurer la parole. Il détermine si l’accès à l’information est global ou sectorisé. Il a un impact sur qui peut voir quoi, ou sur ce qui est surveillé. Lorsqu’on commence à comprendre la nature de ce code, on se rend compte que, d’une myriade de manières, le code du cyberespace régule.

Mais il y a le code qui a été conçu par des techniciens, des makers pour construire nos ordinateurs et la connectivité d'internet, ce qu'on appelle la couche basse de l'univers numérique… et il y a les applicatifs qui ont été parfois développés à la demande d'un tiers pas toujours bien motivé dans une intention de nuire dans l'univers physique (quand c'est pas le développeur qui se prend pour le docteur Denfer).

Depuis 2001 et l'usage avoué de la puissance informatique pour espionner les méchants, (DEFINE #EVIL ?) nous, nous qui construisons des outils informatiques, sommes indirectement responsables de meurtres par des métadonnées. En soit, l'ordinateur n'est plus neutre dans nos responsabilités et l'informatique a perdu son innocence qui la caractérisait jusque-là :

  • Dans les années 1910, la Première Guerre Mondiale a sonné la fin de l'innocence de la chimie avec le gaz moutarde.
  • Dans les années 1940, la Seconde Guerre Mondiale a sonné la fin de l'innocence de la physique avec la bombe atomique.
  • Dans les années 2000, la guerre contre le terrorisme a sonné la fin de l'innocence de l'informatique avec l'espionnage d'internet et les drones tueurs.

Heureusement, les informaticiens ont déjà leur Robert Oppenheimer, l'autorité technologique qui a interpelé le monde sur l'usage non-éthique de l'informatique afin de tuer : et il s'appelle Edward Snowden. Il a trempé dedans, et s'est exilé par dégoût avec un paquet de preuves irréfutables.

Enfant du Futur Immédiat, comme dans toutes les histoires qu'on te lit au lit, la morale finira par gagner (à condition que nous soyons d'accord avec cette morale et qui l'imposera) : Les chimistes qui ont produit le gaz sarin pour l'attentat dans le métro de Tokyo sont été pendus ; les physiciens qui aident les pays qualifiés de félons à se doter de l'arme nucléaire sont recherchés comme criminels par Interpol.
Et peut être qu'on aura un jour un procès pour meurtre, attentat, crime de guerre voire crime contre l'Humanité par l'usage d'un outil informatique.

Oui, je sais, je broie souvent du noir à être aussi pessimiste. Mais… j'ai comme l'impression que c'est une fatalité

Mais au-delà des technologies tueuses, on voit les effets malsains des logiciels contre-éthiques tous les jours. Ce que l'on appelle les dark pattern en UX, qui font que par exemple, si tu réserves en famille des billets d'avion, certaines compagnies aériennes font payer en supplément le fait que vous soyez groupés. Ou encore les ransomwares qui sont des escroqueries, un poil plus illégales, celles-là, marquées à l'index dans un gros Code en rouge aux éditions Dalloz.

Et outre les intentions malignes, il y a aussi les complices involontaires. Du linux qu'on trouve dans les missiles aux logiciels de chiffrement employés dans les ransomwares.
Le plus dur étant de déterminer comment empêcher ces usages... Crois-moi que c'est très loin d'être évident : ne dit-on pas que dans une pièce normale, il y a en moyenne 1242 objets avec lesquels Chuck Norris peut te tuer, en incluant la pièce elle-même ?

Figure-toi qu'un constructeur de matériel médical a découvert qu'à son insu la CIA utilisait ses moniteurs cardiaques pour torturer... pardon questionner des prisonniers.
Imagine le vague à l'âme pour les ingénieurs en l'apprenant !
Le concurrent Chinois s'en fiche complètement quand il fourni l'Armée Chinoise, son actionnaire principal par ailleurs, laquelle s'en sert aussi pour poser quelques questions à des opposants politi... délinquants qui ont été ramassés grâce à la reconnaissance faciale des caméras de surveillance.

Enfant du Futur Immédiat, tu te souviens peut-être de notre émission sur les terroristes du CLODO. Ce n'est pas un hasard : peut-être qu'un peu plus d'éthique dans nos codes sources nous évitera qu'un jour le simple fait de développer un programme ne devienne un risque d'emprisonnement par le Jihad Butlérien.