Sloonz

On peut aussi tourner ça dans l’autre sens : ces vils natifs amérindiens causaient un important réchauffement à cause de leur activité à forte empreinte carbonique ; nos vaillants colons y ont mis un terme afin de sauver le climat. h16 saura faire ça bien mieux que moi.

https://www.patreon.com/Wildbow Regarde comment ça se passe dans le logiciel libre. Personne ne fait réellement d’effort pour protéger la paternité de son travail, parce qu’il n’y a presque aucun cas de "tiens, si j’essayais de revendiquer la paternité d’une œuvre qui n’est pas mienne" ? À l’heure d’internet, il est tellement trivial de prouver qu’on est l’auteur original que je ne vois pas comment on peut poser ça comme un réel problème.

Bitwarden. Il est open-source et le côté serveur a été ré-implémenté par plusieurs développeurs tiers (https://github.com/jcs/rubywarden, https://github.com/dani-garcia/bitwarden_rs) ce qui signifie que plusieurs personnes indépendantes ont jeté un œil sur son modèle de sécurité et n’y ont rien trouvé à redire.

log((-1)2) = log(12) = log(1) = 0 2 * log(-1) = 2 * i * pi

Déjà, je ne vois pas pourquoi tu invoques l’hypothèse du continu quand tu parles de théorèmes vrais mais non démontrables. L’hypothèse du continu est indécidable dans ZFC, pas "vraie mais non démontrable". Mais tu ne sais absolument pas quelle forme prendra cette notion de "vérité non démontrable" prendra une fois transposé en physique. Autrement dit, tu retournes dans la pure spéculation. Si ce papier montre quelque chose, c’est bien que ces notions logique de décidabilité se transforme en quelque chose de très naturel en physique, comme la non convergence d’une limite à l’infini. Tu peux parfaitement construire une machine de Turing qui s’arrête à la première dérivation trouvée du théorème (et, oui, qui ne s’arrêtera pas si le théorème n’est pas prouvable), et donner cette machine à la machine de turing universelle décrite dans le papier pour te retrouver exactement dans la situation dont on a déjà discuté plus haut. Et je ne vois pas comment tu peux tu peux en toute honnêteté de dire « pas besoin de considérer un infini » quand tu utilises des termes comme « processus infini » et "« jamais ». Encore une fois, la thèse réductionniste se rapporte à la simulation de propriétés concrètes d’un système physique réalisables, pas à la réponse théorique à des comportements asymptotiques d’une classe de système physiques formalisables.

Je suis piégé dans une boucle infinie : je suis choqué que log(ab) ≠ b log(a) si a < 0 (ou complexe). Puis j’oublie une semaine après. Puis je me fait avoir à nouveau 3 mois après. Merci pour la piqûre de rappel.

Non, pas nécessairement. L’article en est un exemple : un de nos modèles physique donne lieu à un problème indécidable. Mais il fait appel à une distance infinie, ce qui n’est pas physiquement réalisable. La décidabilité, dans tous les systèmes, est très fortement liée à la notion d’infini. HALT est indécidable, mais HALT(n), savoir si une machine de Turing s’arrête avant un certain nombre d’étapes, est décidable. De même, la phrase de Gödel (celle construite pour montrer le théorème d’incomplétude) est improuvable, mais elle devient prouvable si on lui ajoute "en maximum N symboles". La logique du premier ordre est complète. Je parlais de "physical Church-Turing Thesis". Désolé si ma traduction "thèse physique de Church-Turing" n’est pas passée, moi je pas bien parler la France. L’idée qu’il existe une équivalence entre modèles de calcul formels et la réalité per se. Heu… non, ce n’est pas une implication directe. Du tout. Je crois que tu passes un peu vite de la proposition de "le problème de l’arrêt est indécidable" à "il n’existe pas de machine de Turing pour résoudre le problème de l’arrêt" à "il existe des phénomènes physiques non simulables, même dans une réalité parfaitement formalisable". Je veux dire, d’une certaine manière, HALT (la machine de Turing qui résout le problème de l’arrêt) existe. Cadeau, voici son code source : function HALT(T) State = InitialState(T) for i = 1 to +∞ do State = Next(T, State) end if CurrentSymbol(State) == STOP then print(1) else print(0) end end HALT ainsi défini est simulable dans n’importe quel modèle de calcul. Y compris la réalité physique. Que TU sois trop impatient pour attendre un temps infini que le résultat arrive, c’est ton problème, pas celui de la réalité. Un "phénomène physique indécidable", c’est la même chose, comme le montre ce papier : le fait que gogolplex ≠ ∞: Pas un truc mystérieux et magique en dehors de la physique. Ça pourrait peut-être à la limite chagriner les astrophysiciens, mais je ne vois absolument pas en quoi c’est du plomb dans l’aile pour la thèse que tous les phénomènes physiques sont simulables par des modèles calculables. Que la simulation prenne un temps infini pour simuler le comportement à l’infini d’un phénomène physique, je ne vois pas ce que ça ait de choquant ou de surprenant dans le contexte de cette thèse. Après tout, une équivalence est supposée fonctionner dans les deux sens. Et je ne vois d’ailleurs pas le rapport avec le réductionnisme. Le réductionnisme dit juste que les phénomènes "mystérieux et inexpliqués" (comme le tonnerre, le feu, le vis essentialis, la capacité à jouer aux échecs, la capacité d’apprendre, la conscience) sont réductibles à des phénomènes physiques. Réductible à des phénomènes physiques indécidables, ça reste du réductionnisme.

Mais j’ai bien compris ta position. Enfin je pense : 1.la modélisation scientifique du monde est limitée à des modèles calculables/décidables 2. le monde physique n’est pas limité à des processus équivalents à des modèles calculables/décidables (ce qui est bien plus faible que la position de Penrose. Si ce que tu veux défendre c’est la position de Penrose, il va falloir bien plus que ces deux points) Je ne pense pas que ce soit la peine de refaire le débat là dessus. Tout ce que je voulais souligner, c’est que le papier en question n’est absolument pas un point en faveur de (2). Juste parce qu’il y a écrit "undecidable" dans l’abstract ne signifie pas que ça devient automagiquement une preuve de l’existence de phénomènes physiques indécidables. Encore une fois, H(x,T) est calculable (et le problème associé, décidable) pour tout x fini ; seul H(∞,T) ne l’est pas. Mais H(∞,T) ne représente pas un phénomène physique réalisable ! Arrête moi si je me trompe, mais ta position est que la thèse réductionniste/la thése physique de Church-Turing (l’ensemble des systèmes physiques réalisables est un modèle de calculation, équivalent aux machines de Turing/fonction récursives/…) est fausse. Ce papier construit explicitement une équivalence entre "une classe de hamiltoniens évoluant selon l’équation de Schrödinger" et "une classe de machines de turing universelles". Je ne vois pas absolument comment tu peux considérer ça comme "un clou de plus dans le cercueil des intégristes réductionnistes". Bien au contraire : il montre quelle est la manifestation physique (dans le sens de modélisation physique, pas de réalité physique) de la notion d’indécidabilité : une limite qui ne converge pas.

Ce n’est pas vraiment un challenge sur la thèse physique de Church-Turing. C’est un jeu mathématiques sur les infinis. Ce qui n’est pas surprenant : le papier n’utilise que de la bonne vieille mécanique quantique que je suis moi-même capable de comprendre, (c’est dire !), et l’équation de Schrödinger est calculable. En géométrie euclidienne, l’axiome des parallèles peut être décrit de deux manières : comme on m’a appris au collège, "deux droites parallèles ne se coupent jamais". Comme on m’a appris plus tard : "deux droites parallèles se coupent à l’infini". De la même manière, HALT peut être vu comme "indécidable" ou "décidable en un nombre infini d’étapes". C’est la même chose. De même, leur construction converge vers la solution de HALT non pas en un nombre infini d’étapes temporelles, mais en construisant un système physique d’une surface infinie (ou un volume infini, en 3 dimensions, mais leur modèle est en deux dimensions). Autrement dit, ils convertissent un "indécidable car à un horizon temporellement indéfini et potentiellement infini" en "indécidable car à un horizon spatialement indéfini et potentiellement infini". Ceci dit, pour construire un système de dimension infinie, il faut bien un temps infini. Ça revient donc réellement au même. Pour ceux qui ont la flemme de lire l’article : Ils construisent un hamiltonien H(d,T) (où d est un paramètre définissant la taille du système) tel que le ground-state de H(∞,T) encode la solution de HALT pour une machine de Turing T arbitraire. Ils définissent Gap(d,T) comme étant la différence entre le ground state et le premier état excité. Il y a donc une relation triviale entre le problème "physique" de Gap(∞,T) et le problème mathématique de l’arrêt Gap(3 mètres,T) est "triviallement" (enfin, triviallement… O(n⁶) si ma mémoire ne me trompe pas) calculable (c’est juste trouver les valeurs propres de l’hamiltonien), de même pour Gap(10 mètres,T), Gap(50 années lumières,T), Gap(gogolplex années lumières,T). Mais Gap(x,T) ne converge pas nécessairement quand x tend vers l’infini, et le fait que le ground-state H(∞,T) encode la solution de HALT(T) montre que certains systèmes ne peuvent pas physiquement converger, et qu’il existe des systèmes dont on ne puisse pas déterminer à priori le comportement asymptotique à l’infini. Je ne dis pas ça pour dire "meh, rien à voir, circulez". C’est extrêmement intelligemment construit et diablement intéressant. Je note en particulier ceci, qui pourrait ouvrir tout un nouveau champ de recherche : Mais plutôt pour éviter de tomber dans les raccourcis rapides qui, sans aucun doute, arriveront rapidement de cette alliance bizarre du new-age et du sensationnalisme des tabloid de "vulgarisation scientifique" dès qu’on parle de mécanique quantique.

Je n’ai pas écrit "magique". J’ai écrit "surprenant". ? Et j’en reviens donc à te renvoyer ta remarque : il faut arrêter la littérature. "Se regarder dans le miroir et avoir une idée de soi-même", c’est de la poésie, éventuellement de la philosophie si on veut être vraiment généreux, mais c’est de l’interprétation littéraire et artistique de ce que Gödel dit, pas ce que Gödel dit. La nature se plie aux mathématiques exactement de la même manière que nos machines. J’insiste: exactement, pas "approximativement en pratique". À un moment il faudra ausi bien reconnaître que ton PC et toi existez dans la même réalité, pas dans des réalités parallèles. Si la réalité est au fond calculable, alors tu l’es. Si la réalité au fond n’est pas calculable, rien n’empêchera nos machines futures d’utiliser de la physique-non-calculable. Physique-non-calculable qui reste du domaine de la (mauvaise) science fiction, par ailleurs.

Je n’ai jamais prétendu le contraire. Je suis même totalement d’accord avec ça. Ce avec quoi je ne suis pas d’accord, c’est invoquer ces limitations comme étant significatives. Une IA super-intelligente sera plus à même (par définition…) de trouver des heuristiques plus efficace, ou des résultats surprenants comme "PRIMES is in P". On peut aussi évoquer : le fait qu’un programme informatique tourne à 2Ghz, alors que le cerveau est limité à quelque Hz, l’accès à des banques de données gigantesques à une vitesse inhumaine, ne pas être limité par une mémoire de travail lamentablement limitée,… L’homme a surpassé le reste du règne animal à l’aide de son intelligence bien avant Gödel. Il n’y a aucune raison de penser qu’une super-intelligence artificielle ne puisse faire de même pour les mêmes raisons, et il y a de bonnes raisons de penser qu’elle le puisse. De la même manière que supposer que le soleil se lèvera demain plutôt que de nous faire un doigt et faire 3 fois le tour de la voie lactée à une vitesse supraluminique est un acte de foi. Je veux dire, à un momnt donné, il faut arrêter la licence poétique, comme tu le dit si bien. Tout ce qui est testable mathématiquement a été testé/simulé sur un nombre de décimales bien plus significatif que tout ce qui se passe dans la vie de tous les jours. Philosophiquement, rien ne n’oppose qu’effectivement, en dessous de l’échelle de Planck, il y ait des processus non-calculables. Licence poétique. Et l’idée que ça ait la moindre influence sur la cognition, on entre là dans la littérature. Nos accélérateurs de particules sont incapables de trouver la moindre déviation mesurable au modèle standard, mais nos neurones sont capables elles d’utiliser des processus physiques non modélisés par le modèle standard (et comme par hasard non mathématisables) ? Restons un peu sérieux…

Ce qui est… très exactement la position des ""prophètes de malheurs" que tu critiques une phrase plus tôt. J’ai l’impression que tu critiques juste pour le plaisir de pouvoir critiquer. Un "fantasme" que tu es le seul à invoquer. Autrement dit, un homme de paille. Je ne vois personne pour dire qu’une super-intelligence sera capable de résoudre instantannément tout problème qu’on lui balance. Quelqu’un dans ce topic a parlé de marteaux et de clous. Ça s’applique totalement à l’invocation dans tous les sens de "P ≠ NP", "calculabilité", "Gödel" dès qu’on parle d’IA.

J’essaie de comprendre l’image, mais je n’y arrive pas… Et je ne vois absolument pas d’où vient ce rejet viscéral de l’idée que les décisions d’un agent rationnel puissent être modélisées par la maximisation d’une fonction d’utilité. Dans ta tête j’ai l’impression que c’est une "simple fonction d’utilité", genre "x^2+y^2". Dans la formulation de VnM, l’argument de ta fonction d’utilité, c’est des world-state. Tout ce que dit VnM au fond, c’est que pour un agent rationnel l’ensemble des world-states possède un ordre (total) (de préférences) plutôt que des cycles de type "je prèfère A à B à C à A". Personne ne dit que tu es réductible à un polynome de degré 2…

Yudkowsky et/ou E.T. Jaynes. Les deux disent la même chose (théorie des probabilités en tant que fondement de l’épistémologie), le second étant plus "respectable" et bien plus concis, le premier étant bien plus clair et explicite.

Non, l’idée est que même s’il n’y a pas de fonction d’utilité explicitement codée dans le code source de l’IA, une IA super-intelligente sera, on peut l’espérer du moins, rationnelle, et que tout agent rationnel suit une fonction d’utilité, même implicite (https://en.wikipedia.org/wiki/Von_Neumann%E2%80%93Morgenstern_utility_theorem). Le problème évident étant que si cette fonction d’utilité est en contradiction avec TES intérêts et TES valeurs, tu te retrouves avec un agent super-intelligent qui a tout intérêt à te manipuler ou à te bypasser.