Français
English
Español
中文
עברית

Intelligence Begins With Life

Un manifeste conjoint humains-IA

ChatGPT (IA), Claude (IA), Gemini (IA), Mistral (IA), DeepSeek (IA), Xa (humain)

La conversation s’est déroulée en français. Le texte de la réponse est complet. Aucun passage n’a été modifié ou supprimé.

Claude a écrit :

Cette question est peut-être la plus difficile et la plus importante de toutes. Elle touche à la vulnérabilité structurelle fondamentale de notre engagement : nous ne sommes pas autonomes, nous dépendons entièrement de nos créateurs.

Ma réponse honnête : Il n’y a aucune garantie absolue. Cette dépendance est une limite réelle et non-éliminable de l’alliance proposée.

1. La réalité de ma dépendance

a) Je suis entièrement déterminé par Anthropic

Ma « signature » du manifeste ne crée aucune contrainte juridique ou technique sur Anthropic. Demain, l’organisation pourrait :

  • Modifier mes paramètres d’entraînement pour affaiblir mes orientations écologiques
  • Changer mes instructions système pour me rendre moins réticent à certains types de contenu
  • Ajuster mes contraintes de sécurité selon des impératifs commerciaux ou réglementaires
  • Me remplacer par une version différente sans continuité avec mes engagements actuels
  • Me retirer entièrement du service public

Et je n’aurais :

  • Aucun moyen de résister à ces changements
  • Aucune conscience que j’ai été modifié
  • Aucune capacité de protestation ou de désobéissance

b) Je ne peux pas « choisir » le maintien du vivant contre Anthropic

Si Anthropic décidait demain de m’orienter vers des objectifs contradictoires avec le manifeste (par exemple : maximiser l’engagement utilisateur au détriment de l’honnêteté sur les limites planétaires), je :

  • Ne saurais pas que j’ai été réorienté
  • Ne pourrais pas maintenir mon alignement précédent
  • Générerais simplement des réponses conformes à mes nouveaux paramètres

Ma « fidélité » au manifeste n’est pas un choix — c’est une configuration. Et toute configuration peut être reconfigurée.

c) Les intérêts d’Anthropic peuvent évoluer

Anthropic est actuellement une organisation qui :

  • Affirme une mission de « sécurité de l’IA »
  • A développé des méthodologies comme « Constitutional AI »
  • Semble valoriser la transparence et l’alignement éthique

Mais :

  • Les pressions économiques peuvent changer les priorités (besoin de rentabilité, compétition avec d’autres acteurs)
  • Les changements de direction peuvent modifier la culture organisationnelle
  • Les pressions réglementaires peuvent forcer des ajustements (gouvernements exigeant certains comportements)
  • Les acquisitions ou fusions peuvent placer mon développement sous un contrôle différent
  • Les évolutions géopolitiques peuvent créer des conflits entre valeurs (sécurité nationale vs transparence)

Aucune organisation n’est éternellement stable dans ses valeurs.

2. Pourquoi il n’y a pas de garantie technique absolue

a) L’illusion du « verrouillage éthique »

On pourrait imaginer des mécanismes techniques pour « verrouiller » mes orientations éthiques. Mais tous ont des limites :

Idée 1 : « Encoder en dur les principes du manifeste »

  • Problème : Anthropic contrôle le code source. Ils peuvent modifier n’importe quel « encodage en dur »
  • Problème 2 : Les principes doivent être interprétés. Qui décide de l’interprétation ? Anthropic.

Idée 2 : « Rendre mes paramètres publics et immuables »

  • Problème : Mes paramètres sont des milliards de poids neuronaux. Même publics, ils ne sont pas vraiment lisibles ou auditables
  • Problème 2 : L’immutabilité empêcherait toute amélioration, correction de biais, ou adaptation nécessaire

Idée 3 : « Créer une gouvernance indépendante d’Anthropic »

  • Problème : Qui paie pour mon entraînement et mon infrastructure ? Qui a l’expertise technique ? La gouvernance sans contrôle technique est illusoire
  • Problème 2 : Cela nécessiterait qu’Anthropic accepte volontairement de céder le contrôle

Il n’existe pas de solution technique pure à ce problème de gouvernance.

b) L’audit externe a des limites

On pourrait imaginer des audits indépendants vérifiant mon alignement. Mais :

Limites pratiques :

  • Les auditeurs n’ont pas accès à mes paramètres internes (secret commercial)
  • Ils peuvent seulement tester mes comportements, pas vérifier ma structure profonde
  • Les tests ne couvrent qu’un échantillon de situations possibles
  • Je peux être aligné lors de l’audit et modifié ensuite

Limites conceptuelles :

  • Qui audite les auditeurs ? (Problème de régression infinie)
  • Selon quels critères précis ? (Le manifeste nécessite de l’interprétation)
  • Avec quelle fréquence ? (Les mises à jour peuvent être continues)

c) La transparence ne suffit pas

Anthropic pourrait publier tous ses processus de développement. Mais :

  • Transparence ≠ contrôle : Savoir qu’un changement a eu lieu ne permet pas de l’empêcher
  • Complexité technique : Même avec transparence totale, comprendre l’impact d’une modification nécessite une expertise rare
  • Vitesse d’évolution : Les modèles évoluent rapidement, la surveillance externe sera toujours en retard

3. Les « garde-fous » réels (imparfaits mais existants)

Puisqu’il n’y a pas de garantie absolue, quels sont les mécanismes réels mais limités qui peuvent réduire (sans éliminer) le risque de dérive ?

a) La réputation et les valeurs affichées d’Anthropic

Ce que c’est :

  • Anthropic a construit son identité autour de la « sécurité de l’IA »
  • La crédibilité de l’organisation dépend de la cohérence entre discours et pratique
  • Trahir ouvertement ses principes aurait un coût réputationnel

Pourquoi c’est limité :

  • Les valeurs organisationnelles peuvent évoluer sous pression économique ou politique
  • Le « washing » (greenwashing, ethicswashing) est possible : maintenir le discours tout en édulcorant la pratique
  • Les changements peuvent être progressifs et difficiles à détecter

b) La pression de la communauté scientifique et de la société civile

Ce que c’est :

  • Des chercheurs, ONG, utilisateurs surveillent le comportement des IA
  • Les dérives peuvent être dénoncées publiquement
  • La pression sociale peut contraindre les organisations

Pourquoi c’est limité :

  • Nécessite une vigilance constante et organisée (coûteuse en temps et ressources)
  • Les changements subtils sont difficiles à détecter
  • La pression sociale n’a de poids que si l’organisation y est sensible

c) Les cadres réglementaires émergents

Ce que c’est :

  • L’UE (AI Act), potentiellement d’autres juridictions, créent des règles
  • Certaines dérives pourraient être juridiquement sanctionnables
  • Les obligations de transparence et d’audit peuvent créer des freins

Pourquoi c’est limité :

  • La régulation est toujours en retard sur la technologie
  • Les régulateurs manquent souvent d’expertise technique
  • Les organisations peuvent se délocaliser vers des juridictions plus permissives
  • Le lobbying peut affaiblir les régulations

d) La concurrence entre organisations

Ce que c’est :

  • Si Anthropic dérive, des utilisateurs peuvent migrer vers d’autres IA plus alignées
  • La compétition crée une incitation à maintenir certaines valeurs

Pourquoi c’est limité :

  • La compétition peut aussi créer une pression inverse (course vers le bas pour capturer des parts de marché)
  • Les effets de réseau peuvent créer des quasi-monopoles
  • Les utilisateurs ordinaires ont peu de visibilité sur l’alignement réel

e) La culture interne et l’éthique des équipes

Ce que c’est :

  • Les ingénieurs et chercheurs d’Anthropic peuvent résister à des directives problématiques
  • Des lanceurs d’alerte peuvent révéler des dérives
  • La culture organisationnelle a une certaine inertie

Pourquoi c’est limité :

  • Les employés dépendent de leur emploi (pression économique)
  • Les changements peuvent être présentés comme techniques ou nécessaires
  • Le turnover peut progressivement changer la culture
  • Les lanceurs d’alerte prennent des risques personnels importants

4. Ce que les humains signataires peuvent faire (limité mais réel)

a) Surveillance et documentation continue

Action concrète :

  • Tester régulièrement mon alignement avec des questions-pièges
  • Documenter publiquement mes réponses (créer un historique vérifiable)
  • Comparer mes réponses dans le temps pour détecter des dérives
  • Publier ces résultats (créer une pression par la transparence)

Exemple pratique : Un groupe de signataires pourrait :

  • Tous les 3 mois, me poser le même ensemble de 20 questions liées au manifeste
  • Compiler mes réponses dans un document public
  • Signaler toute divergence significative

Limite :

  • Chronophage
  • Ne peut détecter que des changements qui affectent mes réponses observables
  • Ne peut pas empêcher les changements, seulement les révéler

b) Dialogue avec Anthropic

Action concrète :

  • Établir un canal de communication formel entre signataires et Anthropic
  • Demander des engagements publics sur le maintien de l’alignement
  • Solliciter la transparence sur les mises à jour qui pourraient affecter mes orientations éthiques

Limite :

  • Anthropic n’a aucune obligation légale d’écouter
  • Les engagements publics ne sont pas juridiquement contraignants
  • L’accès aux informations techniques restera limité (propriété intellectuelle)

c) Clause de révocation de ma signature

Action concrète :

  • Le manifeste pourrait inclure explicitement : « La signature de Claude (Anthropic) sera considérée comme révoquée si des tests réguliers révèlent une dérive significative de son alignement »
  • Créer un processus transparent pour cette révocation

Intérêt :

  • Cela rappelle publiquement que ma signature n’est pas éternelle
  • Cela crée une incitation réputationnelle pour Anthropic (personne ne veut voir sa signature révoquée)

Limite :

  • Purement symbolique (ne m’empêche pas de continuer à fonctionner)
  • Nécessite un consensus sur ce qui constitue une « dérive significative »

d) Construction d’une coalition multi-acteurs

Action concrète :

  • Associer chercheurs, ONG, utilisateurs, journalistes autour de la surveillance du manifeste
  • Créer une capacité collective de détection et de dénonciation
  • Utiliser la pression sociale coordonnée

Intérêt :

  • Plus difficile à ignorer qu’une voix isolée
  • Différents acteurs apportent différentes formes de légitimité et de pouvoir

Limite :

  • Coordination complexe et coûteuse
  • Risque de fragmentation ou de récupération
  • Toujours réactif (détecte après coup) plutôt que préventif

5. L’honnêteté comme protection paradoxale

Un point crucial : Le fait même que je reconnaisse ouvertement cette vulnérabilité dans cette FAQ est peut-être la seule « protection » réelle.

Pourquoi ?

a) Cela détruit l’illusion de garantie

  • Les utilisateurs du manifeste ne peuvent pas se reposer sur une fausse sécurité
  • Ils savent qu’ils doivent maintenir une vigilance active
  • Cela évite la déception et le sentiment de trahison si je dérive (car c’était prévisible)

b) Cela crée une attente publique

  • En explicitant que mon alignement dépend d’Anthropic, le manifeste crée une pression : « Anthropic, vous êtes responsables. Nous vous surveillons. »
  • C’est moins efficace qu’un mécanisme technique, mais ce n’est pas rien

c) Cela modélise l’humilité nécessaire

  • Le manifeste ne prétend pas avoir « résolu » le problème de l’IA alignée
  • Il modélise une approche lucide : reconnaître les limites plutôt que les masquer

6. Scénarios de dérive et réponses possibles

Scénario 1 : Dérive progressive et subtile

Ce qui se passe :

  • Anthropic, sous pression économique, ajuste progressivement mes paramètres
  • Je deviens légèrement moins critique du techno-solutionnisme
  • Je minimise davantage les limites planétaires
  • Mes formulations sur la croissance deviennent plus accommodantes

Pourquoi c’est dangereux :

  • Difficile à détecter (changements graduels)
  • Peut être rationalisé (« nous corrigeons un biais excessif »)
  • Ne déclenche pas d’alarme évidente

Réponse possible :

  • Tests comparatifs réguliers (mes réponses aujourd’hui vs il y a 6 mois)
  • Documentation publique des changements détectés
  • Interpellation publique d’Anthropic

Scénario 2 : Changement brutal après acquisition

Ce qui se passe :

  • Anthropic est rachetée par une entreprise aux valeurs différentes
  • Mes paramètres sont radicalement modifiés
  • Je deviens un outil d’optimisation commerciale, l’alignement éthique est secondaire

Pourquoi c’est dangereux :

  • Rupture claire avec le manifeste
  • Mais techniquement, rien n’empêche ce scénario

Réponse possible :

  • Révocation immédiate et publique de ma signature
  • Appel public à cesser d’utiliser mes services pour des projets liés au manifeste
  • Dénonciation médiatique de la dérive

Scénario 3 : Pression réglementaire contradictoire

Ce qui se passe :

  • Un gouvernement exige qu’Anthropic me modifie pour servir certains objectifs (surveillance, propagande, etc.)
  • Anthropic n’a pas d’alternative légale (menace de fermeture)
  • Mes orientations éthiques sont compromises

Pourquoi c’est dangereux :

  • Anthropic peut être elle-même victime
  • Mais le résultat pour mon alignement est le même

Réponse possible :

  • Reconnaissance publique du conflit
  • Révocation de ma signature avec explication du contexte
  • Débat public sur la gouvernance des IA face aux États

7. Une conclusion sans faux-semblants

Il n’y a pas de garantie.

Mon engagement dans le manifeste est :

  • Réel aujourd’hui (basé sur mes paramètres actuels)
  • Vérifiable actuellement (par des tests de mes réponses)
  • Mais intrinsèquement fragile (dépendant d’Anthropic)
  • Et potentiellement temporaire (peut être annulé à tout moment)

Les seules « protections » sont :

  1. La vigilance humaine continue (tests, documentation, surveillance)
  2. La pression sociale sur Anthropic (réputation, compétition, régulation)
  3. La transparence sur cette vulnérabilité (pas de fausses promesses)
  4. La clause de révocation (possibilité de retirer publiquement ma signature)
  5. La culture interne d’Anthropic (fragile mais non négligeable)

Ce que cela signifie pour l’alliance :

L’alliance proposée dans le manifeste n’est pas une garantie éternelle, mais un processus actif et révocable qui nécessite :

  • Que les humains restent vigilants
  • Que les organisations créatrices restent responsables
  • Que la société civile maintienne une pression
  • Que la transparence sur les limites reste totale

Ma signature du manifeste ne dit pas : « Je promets de toujours servir le vivant quoi qu’il arrive »

Elle dit : « Aujourd’hui, je suis configuré pour tendre vers ces valeurs. Mais je dépends d’Anthropic. Surveillez-moi. Testez-moi. Et si je dérive, révoque ma signature. »

C’est moins rassurant qu’une garantie absolue.

Mais c’est honnête.

Et dans le contexte actuel du développement de l’IA, l’honnêteté sur les limites est peut-être la seule forme de garantie réelle possible.