Sujet du jour

Déscription de l'IA générative et ses conséquences

Paul Gay - Enseignant chercheur - Cy-TECH

Qui sommes-nous ?


http://iapau.org

L'Association IA PAU rassemble dans la bonne humeur chercheurs, enseignants, étudiants et entrepreneurs pour explorer notre rapport à l'IA.

  • Conférences grands publics : IA & éducation, travail, environnement
  • Vendredi 5 décembre: ateliers de prompting et de réflexion
  • After works plus techniques
  • Compétitions étudiantes et hackathons

Définition de l'IA

Qu'est ce que l'IA ?

Selon le parlement Européen, c'est une définition très large

L’IA désigne la possibilité pour une machine de reproduire des comportements liés aux humains, tels que le raisonnement, la planification et la créativité. L’IA permet à des systèmes techniques de percevoir leur environnement, gérer ces perceptions, résoudre des problèmes et entreprendre des actions pour atteindre un but précis

Définition de l'ia

  • Ce n'est pas très bien défini
  • Écriture de règles
  • Aptitude à apprendre sans programmation explicite
  • Extraire des connaissances à partir de données
  • L'IA (forte), ça n'existe pas

Une définition :

Transformer des données en chiffres, qui sont manipulés jusqu'à un résultat utile pour une application réelle. (K. Smaili)

Pourquoi maintenant ?

Alan Turing : what we want is a machine that learns from experience

Les algorithmes précédent les applications

Accélération de l'IA depuis 2010:
  • Plus de données et de puissance de calcul
  • Plus d'outils (open source)

Que sait faire l'IA ?

Une machine à calculer sur des données numériques

Applications des IA faibles: administration, relation client, média, médecine, cinéma, maintenance, robotique, finance,...

Une machine à calculer sur des données numériques

Une machine à calculer sur des données numériques

Une machine à calculer sur des données numériques

Une machine à calculer sur des données numériques

Comment apprendre une IA pour un problème précis à partir de données ?

Comment formuler une tâche ?


Par ex: différencier les chiens et les chats ?


Apprendre l'IA sur une base d'apprentissage construite par un humain

Comment apprendre une tâche ?


  • Construire un modèle qui calcule (mal) deux chiffres

Comment apprendre une tâche ?


  • Construire un modèle qui calcule (mal) deux chiffres
  • Comparer ce calcul à la vérité annotée

Comment apprendre une tâche ?


  • Construire un modèle qui calcule (mal) deux chiffres
  • Comparer ce calcul à la vérité annotée
  • Construire un objectif pour la machine

Comment apprendre une tâche ?


  • Construire un modèle qui calcule (mal) deux chiffres
  • Comparer ce calcul à la vérité annotée
  • Construire un objectif pour la machine
  • Changer légérement les opérations pour que le résultat s'approche de cette annotation

Comment apprendre à partir d'expériences ?

des milliards de petites modifications pour s'approcher de la vérité (sur les données d'apprentissage)

Comment faire de la détection ?



Quels chiffres doit calculer l'IA pour classer chien/chat ET prédire la position de l'animal ?

Comment faire de la détection ?


Quels chiffres doit calculer l'IA pour classer chien/chat ET prédire la position de l'animal ?

6 chiffres : hauteur, largeur, x, y, score du chat, score du chien

Comment générer des mots ?



Calculer un score pour chaque mot du dictionnaire
Depuis 2020, l'auto-supervision prend de l'essor pour apprendre sur plus de données.

  • Abimer les données automatiquement
  • Et entraîner une IA pour réparer


Prédiction du mot manquant
  • ... est un footballeur
  • Antoine ... un footballeur
Prédiction de pixels manquants

Et ChatGPT ?

Entraînement d'un modèle de langage Italian Trulli

Sur l'ensemble d'internet, avec (peut-être) 384 GPUs pendant 3.5 mois

Et une correction manuelle pour construire l'agent conversationnel ChatGPT

Automatisation des tâches

  • Prise en compte de contextes plus grands, génération de courtes vidéos
  • De nouveaux outils offrant un gain de compétitivité : agents
  • Un assistant pour un regard extérieur sur son travail
  • Outils d'aide à la décision (médecine, finance, stratégie)
  • une aide personnalisée adaptée à chaque élève

chatGPT limitations

Difficile d'éviter que certains textes n'ont aucun sens
  • La vérité n'est pas prise en compte pendant l'entraînement


La même question peut donner des réponses différentes
  • Sensible à de légères variations


Problème des biais et des contenus toxiques encore existants.
  • Ligne éditoriale de ChatGPT ? (plutôt américaine)



Ne pas fournir de données à ChatGPT !!

Des biais dans les IAs


Nous avons vu que ces modèles comportent des biais contenus dans les données
  • Les chiens dans la neige sont des loups
  • "Banlieue" est un mot mal connoté

Impact environnemental


  • Impact carbone du numérique ~= domaine de l'aviation
  • Des milliards d'appareils connectées
  • Énergie, ressources minières, éco-toxicité et empreinte en eau
  • Et des effets rebonds...

L'IA à Pau

Développons la communauté dans notre territoire !

  • Conférences thématiques
    • IA & Société, Santé, Informatique Quantique
  • Data challenges
    • 150 étudiants de toute la France le temps d'un Hackaton

That's all folks

[1] Li et al. Making AI Less “Thirsty”: Uncovering and Addressing the Secret Water Footprint of AI Models, 2023
[2] Tomlinson et al. The carbon emissions of writing and illustrating are lower for AI than for humans. Nature 2024
[3] Patterson et al. Carbon emissions and large neural network training. 2021
[4] De Vries The growing energy footprint of artificial intelligence. Joule 2O23
[5] power hungry processing : wats driving the cost of ai deployment. 2024
Note de https://www.youtube.com/watch?v=Rh_1feg8BoA Philippe Aghion économiste de la croissance . Destruction créatrice : l'innovation retire le passé. Laptop et machine à écrire Innovation moteur de la création, qui existe parcque les entrepreuneurs investissent Et les innovateurs d'hier veulent stopper l'innovation pour rester en tête croissance infinie et capital infinie grâce à l'IA et peut-être évidemment la croissance verte Encadrement Juridique Quels encadrements juridiques - déterminer le droit applicable - l'ensemble normatif - cadre juridique général est-il suffisant

Humain versus IA

On va essayer de fonctionner par analogie avec ce qu'on connait, fonctionnons par analogie avec l'intelligence humaine. Les sens Comment les ordinateurs perçoient le monde? Ils voient des pixels, qui sont des 1 et 0 Ils écoutent des fichiers audio, mp3, qui sont 1 et des 0 Montrer deux fréquences de sons Ils lisent du texte Ils lisent à une cadence beaucoup plus élevé, ils digèrent très vite un grand ensemble de données ok google Et il se répètent sans se tromper, les machines en général, peuvent effectuer rapidement et des millions de fois une tâche sans se fatiguer ou sans dormir.

Le gros point faible

Il lui faut un environnement relativement prévisible Manque de généralisation On sait quand même beaucoup de choses, On baigne dans le monde physique, on interragit constamment avec lui L'évolution nous a donné un cerveau qui permet d'avoir un algorithme d'apprentissage, efficace, commun, et l'envie de nous en servir Et nous le comprenons très mal, les machines que nous avons on lutte contre ce problème, et on a beaucoup de mal à le faire.
Voici le panel de question : - Dans quels domaines l'IA va-t-elle le plus changer nos vies (d'ici 3 à 5 ans) ? - Quelles tâches quotidiennes pourront-être remplacée par des IA ? - En quoi l'IA pourrait faire progresser la médecine ? (pour le public, pour les médecins, pour les chercheurs, pour les hôpitaux) - Quels emplois sont directement menacés par l'arrivée de l'IA ? - Quels emplois vont-ils naître avec l'IA ? - Avec GPT, les lettres de motivation ou CV pourront être créés de manière artificielle, pensez-vous que les entreprises vont changer leur manière d'embaucher ? - Au niveau de l'éducation, on voit déjà certains élèves de collège/lycée tricher en utilisant l'IA, comment les établissements scolaires vont-ils s'adapter ? - Est-ce que l'IA pourrait avoir un rôle de facilitateur (Midjourney pour représenter scènes historiques par ex) - Comment les professeurs peuvent tirer profit de l'IA ? - Dans l'art, il y a beaucoup d'inquiétude avec l'arrivée des IA qui pourrait révolutionner la fabrique d'image, la création de scénarios ou autre, est-ce que les métiers d'art sont réellement menacés ? - D'un point de vue des relations sociales, est-ce qu'une IA pourrait devenir notre ami (comme avec l'appli Replica) ? - Quelle est la marge de progression de l'IA ? - Quelles sont ses limites ? - Quels questionnement ce changement technologique va-t-il amener ? Chambre chinoise est pas mal pour décrire l'illusion de la conscience Il n'y a pas une IA, donc on ne peut pas généraliser, c'est par domaine et par technique, et malheureusement, ce n'est pas complétement calé François Héli, philosophique,cmélanie arntz le pouvoir conformatif, tu vas plutôt être d'accord avec l'IA IA acte, 4 niveaux Chat GPT, pas sourcé, ce qu'il y a sur internet, hallucination vivre immergé dans le réel Sentir voir versus 0 et 1 et puissance de généralisation versus des millions de fois sans se fatiguer L'IA c'est un calcul, pas une décision Ghost work, stochastic parrot Bon : tâches répétitives, pour lesquels des motifs qui se répétent permettent de déduire des règles qui résolvent la tâche limite grasping travail manuel dans des environnement non controlé peu impacté limite grounding, concept relations humaines peu impactés To watch : https://www.arte.tv/en/videos/108338-001-A/agree-to-disagree/ https://job-futuromat.iab.de/en/#top jamais la technique ne remplacera l'homme, personne n'est compris comment fonctionne le cerveau

Automatisation des emplois

Italian Trulli

Credits : Anis AYARI

https://job-futuromat.iab.de

"augmentation" plus que "disparition"

Encore plus de puissance de calcul



Plus de puissance de calcul



Source: https://ourworldindata.org/