• Porteur(s) du projet : Justine Gendreau (DSAA DG2), Damien MUTI DESGROUAS (Prof. de Numérique)
• Date : 05/2021
• Contexte : Macroprojet - 2021
• Fichiers :
• Lien :
• Capteurs/Actionneurs :
  • Une seule carte Arduino Uno
  • Résistances 1MO
  • Fils
  • 1 Bread Board

Dans le cadre de mon Macro-projet qui s’articule autour du jardin numérique mon intention a été de concevoir un cabinet de curiosité dans lequel le spectateur serait confronté à plusieurs expérimentations autour de la thématique de la plante digitalisée. L’expérimentation dont je vais vous expliciter s’intitule « Planta-phonique ». Cette expérimentation a germée tout d’abord avec cette envie de rendre visible l’invisible comme par exemple entendre le son d’une rose qui pousse.

L’objectif de mon expérimentation est d’intégrer la part du vivant dans mes réalisations quelle soit humaine ou végétale. Pour ce faire, j’ai souhaité confectionner une table de mixage qui produit du son et envoie de la vidéo par des interactions avec la main. Cette table de mixage est entièrement composée de plantes dont chacune, un son et une vidéo peut lui être associés. Cette installation rend audible et visible le chant des plantes. Les plantes agissent ici comme une interface.

Pour ce projet je me suis inspirée de Jean Thoby un pépiniériste qui voue une véritable passion pour le monde végétale. Jean Thoby avec l’aide d’ingénieurs, ont créer un instrument de musique. Par un système de boitier et de câbles (l’un fixé au sol et l’autre accroché à la plante) ils ont réussit à mesurer la résistance électrique afin de réaliser une traduction sonore de l’activité interne du vivant. Cette création renvoie l’illusion d’une forme de vie par un ornement sonore étrange. Cette partition végétale teintée de variations, de notes secondaires et de rythmes déstructurés retranscrit de manière métaphorique l’état de santé des plantes.

Une fois les câbles bien branchés sur la BreadBoard, insérer les trois autres fils dans les plantes. Vérifiez bien que la terre est assez humide pour que les plantes puissent être conductrices.

Ensemble des programmes Processing et Arduino :

• test_7plantes_sonores.zip

Télécharger et installer les librairies Processing sur l'IDE :

• Vidéo
• Sound
• Serial

Problèmes récurrents :

• Vérifier si c'est bien le bon port série.
• Si vous utilisez un mac laissez charger le programme pendant plusieurs minutes.
• Attention aux vidéos et musiques trop lourdes.
• Et si le programme ne marche toujours pas, vérifiez l'état de la connectique : les fils ne sont peut-être plus conducteurs ou la résistance n'est peut-être pas la bonne ?

1 ⇒ Processing : test_7plantes_sonores > Gestion_interactivite.pde

/** Plante sonore - Justine Gendreau
 *  Programme Muti */
/// librairies
import processing.sound.*;
import processing.video.*; 
import processing.serial.*;



// variables globales
PImage im; // une image
SoundFile[] son; // un son - un seul lecteur CD audio
Movie vid; // une vidéo - un seul lecteur DVD vidéo

// bouton image active ? // est-ce que l'image est active ? Si oui, on affiche l'image
boolean animation_active = false; // true ou false (2 valleurs possibles) => 1 bit (0 ou 1)

// bouton son actif ?
boolean son_actif = false;
float tempsDebutSon = 0; // temps du début de la musique a été joué

// bouton videos active ?
boolean video_active[];

/// dialogue avec la carte Arduino
Serial myPort;  // Create object from Serial class
int  inBuffer;      // Data received from the serial port
int donneePortSerie; // entier converti de la chaine de caractère reçue sur le port série

// seuil de détection
float seuil = 300;

// port serie
int nPlantes = 8;///////////////////// METTRE LE BON NOMBRE DE CAPTEURS /////////////// 
int[] serialInArray = new int[nPlantes];    // Where we'll put what we receive
int serialCount = 0;                 // A count of how many bytes we receive
int[] plante;                 // valeur lue pour chaque plante via le port série et Arduino
boolean firstContact = false;        // Whether we've heard from the microcontroller

// média associés aux plantes
String[] nomSonPlante;
String[] nomvideosPlante;


void setup() { // initialisation des paramètres d'affichage & chargement des sons, vidéos, etc.
  size(1300, 860);
  noStroke();
  background(0);

  // initialisation des variables globale
  im = loadImage("images/chien.jpg");

  // création et initialisation de tableau de valeur "plantes"
  plante = new int[nPlantes];
  for (int i=0; i<nPlantes; i++) {
    plante[i] = 0;
  }

  // son des plantes
  nomSonPlante = new String[nPlantes];
  //for (int i = 0; i<nPlantes; i++) {
  //  nomSonPlante[0] = "sons/inst"+(i+1) + ".mp3";
  //}
  nomSonPlante[0]= "sons/inst1.mp3"; 
  nomSonPlante[1]= "sons/inst3.mp3";
  nomSonPlante[2]= "sons/silence.mp3";
  nomSonPlante[3]= "sons/inst4.mp3";
  nomSonPlante[4]= "sons/inst5.mp3";
  nomSonPlante[5]= "sons/inst6.mp3";
  nomSonPlante[6]= "sons/inst7.mp3";
  nomSonPlante[7]= "sons/inst8.mp3";

  // chargement des sons
  son =new SoundFile[nPlantes];
  for (int i=0; i<nPlantes; i++) {
    son[i] = new SoundFile(this, nomSonPlante[i]);
  }

  // videos des plantes
  nomvideosPlante = new String[nPlantes];
  nomvideosPlante[0]= "videos/noir.mp4"; 
  nomvideosPlante[1]= "videos/noir.mp4";
  nomvideosPlante[2]= "videos/plante.mp4";
  nomvideosPlante[3]= "videos/noir.mp4";
  nomvideosPlante[4]= "videos/noir.mp4"; 
  nomvideosPlante[5]= "videos/noir.mp4";
  nomvideosPlante[6]= "videos/noir.mp4";
  nomvideosPlante[7]= "videos/noir.mp4";
  
  video_active = new boolean[nPlantes];
  for (int i=0; i<nPlantes; i++) {
    video_active[i]=false;
  }



  //println(son.duration());

  // chargement de la videos
  vid = new Movie(this, "videos/affiche.mp4");

  /// Port série
  // Print a list of the serial ports, for debugging purposes:
  printArray(Serial.list());

  String portName = Serial.list()[2];
  myPort = new Serial(this, portName, 9600);
}

void draw() {


  // print the values (for debugging purposes only):
  println("plante[0]=" +plante[0] + "  plante[1]=" +plante[1]  + "  plante[2]=" +plante[2]+ "  son[0].isPlaying()=" + son[0].isPlaying()
    + "  plante[3]=" +plante[3]  // + "\t" +"plante[4]= " +plante[4]  + "\t" +"plante[5]= " +plante[5]  + "\t" +"plante[6]= " +plante[6]  + "\t" + "plante[7]= " +plante[7] + "\t" 
    + "  video[0]=" + video_active[0]+ " video[1]= " + video_active[1]  + "  video[2]= " + video_active[2] + "  video[3]= " + video_active[3]);

  //printArray(plante);
  //printArray(video_active);

  ///////////////////////// interactivités liées aux plantes
  for (int i=0; i<nPlantes; i++) { // pour chacune des plantes
    gestionSonPlante(i);
    gestionVideoPlante(i, nomvideosPlante[i]);
  }

  //// affichage de la vidéo si la vidéo i est active ////////////////////////////////////////
  boolean une_video_active=false;
  for (int i=0; i<nPlantes; i++) {
    une_video_active = (une_video_active || video_active[i]);
  }

  if (une_video_active) {
    image(vid, 0, 0, width, height);
  } else {
    background(0); // fond noir
  }




  // affichage de l'animation//////////////////////////////////////
  //if (animation_active) {
  //  lancerAnimation();
  //}
}

2 ⇒ Processing : test_7plantes_sonores > test_7plantes_sonores.pde

///////////////////////////////// Plante /////////////////////////////////////////////////////
void gestionSonPlante(int i){
  
  if (plante[i]==255  && !son[i].isPlaying()) { // si la plante i est active
    // lancer le son associé à la plante i en boucle
    son[i].loop();
  }
  else if (plante[i]== 0 && son[i].isPlaying()){
    son[i].stop();
  }
  // animation de la plante i
  
}

//////////////////////////////////////////////// Video ///////////////////////////////////////////////////
void gestionVideoPlante(int i, String nomVideo) {
  if (plante[i]==255  && !video_active[i]) {  // video 
    // jouer le son SSI la distance est inférieur à un seuil, strictement supérieure à 0 et si la vidéo ne joue pas déjà
    // lancement du son
    lancerVideo(i, nomVideo);
  } else if (plante[i]==0 && video_active[i]) { //si la distance est supérieure au seuil ET que la video joue : arrêter la video
    vid.stop();
    clear();
    video_active[i] = false;
  }
}
void lancerVideo(int i, String nomVideo) {
  if (video_active[i] == false) { // la vidéo 1 ne tourne pas
    // chargement de la video 1
    vid = new Movie(this, nomVideo );
    vid.loop();
    video_active[i] = true;
  }
}
//////////////////////////////////////////////// animation ///////////////////////////////////////////////////
void gestionAnimation() {
  if (donneePortSerie > 100) { // on appuie sur la touche "espace" => lancer l'animation "image"
    animation_active = true;
  } else {
    animation_active = false;
  }
}
void lancerAnimation() {
  float x = 30 + random(-20, 20); // random sur la position
  float y = 30 + random(-20, 20);
  image(im, x, y, 200, 200);
}



////////////////////////////////////// Méthodes ///////////////////////////////
void movieEvent(Movie movie) { //// gestion de la vidéo
  vid.read();
}

3 ⇒ Processing : test_7plantes_sonores > SerialEvent.pde

void serialEvent(Serial myPort) {
  // read a byte from the serial port:
  int inByte = myPort.read();
  // if this is the first byte received, and it's an A,
  // clear the serial buffer and note that you've
  // had first contact from the microcontroller. 
  // Otherwise, add the incoming byte to the array:
  if (firstContact == false) {
    if (inByte == 'A') { 
      myPort.clear();          // clear the serial port buffer
      firstContact = true;     // you've had first contact from the microcontroller
      myPort.write('A');       // ask for more
    }
  } else {
    // Add the latest byte from the serial port to array:
    serialInArray[serialCount] = inByte;
    serialCount++;

    // If we have 3 bytes:
    if (serialCount > nPlantes-1 ) {
      for (int i=0; i<nPlantes; i++) {
        plante[i] = serialInArray[i];
      }
      //plante[0] = serialInArray[0];
      //plante[1] = serialInArray[1];
      //plante[2] = serialInArray[2];
      //plante[3] = serialInArray[3];
      //plante[4] = serialInArray[4];
      //plante[5] = serialInArray[5];
      //plante[6] = serialInArray[6];
      //plante[7] = serialInArray[7];

      // print the values (for debugging purposes only):
      //println("plante[0]= " +plante[0]  + "\t" + "plante[1]= " +plante[1]  + "\t" + "plante[2]= " +plante[2] );

      // Send a capital A to request new sensor readings:
      myPort.write('A');
      // Reset serialCount:
      serialCount = 0;
    }
  }
}

</code>

4 ⇒ Arduino : test_7plantes_sonores.ino.ino

//Import a library from the Arduino folder
#include <CapacitiveSensor.h>
/////////////////////////////// METTRE LE BON NOMBRE DE CAPTEURS /////////
byte Ncapteurs = 8;

//Select the two pins that will act as a capacitor
CapacitiveSensor   cs_2[] = {CapacitiveSensor(2, 3),// 10M resistor between pins 2 & 4, pin 2 is sensor pin, add a wire and or foil if desired
                             CapacitiveSensor(2, 4),// 10M resistor between pins 2 & 6, pin 6 is sensor pin, add a wire and or foi
                             CapacitiveSensor(2, 5),// 10M resistor between pins 2 & 11, pin 8 is sensor pin, add a wire and or foil
                             CapacitiveSensor(2, 6),// 10M resistor between pins 2 & 11, pin 8 is sensor pin, add a wire and or foil
                             CapacitiveSensor(2, 7),// 10M resistor between pins 2 & 11, pin 8 is sensor pin, add a wire and or foil
                             CapacitiveSensor(2, 8),// 10M resistor between pins 2 & 11, pin 8 is sensor pin, add a wire and or foil
                             CapacitiveSensor(2, 9),// 10M resistor between pins 2 & 11, pin 8 is sensor pin, add a wire and or foil
                             CapacitiveSensor(2, 10),// 10M resistor between pins 2 & 11, pin 8 is sensor pin, add a wire and or foil
                            };
long* capSensorVal ; // mémorise la valeur lue sur chaque capteurs

//Insert the minimum value provided by the sensor to detect the touch
int seuilDetection = 500; // seuil de détection sur la valeur donné par le capteur capacitif
const int ledPin = 13;

int* plante ;

// port série
int inByte = 0;

///////////////////// debug //////////////
boolean debug1 = false, debug2 = false;
////////////////////////////////////////////SETUP ////////////////////////////
void setup() {
  // start serial port at 9600 bps:
  Serial.begin(9600);
  while (!Serial) {
    ; // wait for serial port to connect. Needed for native USB port only
  }

  // création des tableaux
  capSensorVal = malloc(Ncapteurs * sizeof(long));
  plante = malloc(Ncapteurs * sizeof(int));
  // initialisation des tableaux
  for (int i = 0; i < Ncapteurs; i++) {
    capSensorVal[i] =  0;
    plante[i] = 0;
  }

  pinMode(ledPin, OUTPUT);
  // init des capteurs capacitifs
  cs_2[0].set_CS_AutocaL_Millis(0xFFFFFFFF);     // turn off autocalibrate on channel 1 - just as an example

  establishContact();  // send a byte to establish contact until receiver responds
}

void loop() {
  // if we get a valid byte, read analog ins:
  if (Serial.available() > 0) {
    // get incoming byte:
    inByte = Serial.read();

    long start = millis();
    for (int i = 0; i < Ncapteurs; i++) {
      capSensorVal[i] =  cs_2[i].capacitiveSensor(30);
    }

    if (debug1) {
      Serial.print(millis() - start);        // check on performance in milliseconds
      Serial.print("\t");                    // tab character for debug windown spacing

      for (int i = 0; i < Ncapteurs; i++) {
        Serial.print(capSensorVal[i]);                  // print sensor output 1
        Serial.print("\t");
      }
      Serial.println("");                // print sensor output 3
    }



    // test des valeurs des capteurs
    for (int i = 0; i < Ncapteurs; i++) {
      plante[i] = testCapteur(capSensorVal[i], seuilDetection);
    }
    if (debug2) {
      for (int i = 0; i < Ncapteurs; i++) {
        Serial.print(plante[i]);                  // print sensor output 1
        Serial.print("\t");
      }
      Serial.println("");                // print sensor output 3
    }
    else {
      // send sensor values: on envoie à Processing l'état de la plante - 0 : inactive; 255 : active
      for (int i = 0; i < Ncapteurs; i++) {
        Serial.write(plante[i]);
      }
    }
  }
}

void establishContact() {
  while (Serial.available() <= 0) {
    Serial.print('A');   // send a capital A
    delay(300);
  }
}

int testCapteur(long sensorVal, long seuilDetection) {
  // sensorVal : valeur du capteur
  // seuilDetection : seuil de détection

  if (sensorVal > seuilDetection ) {
    //Turn on the led
    digitalWrite(ledPin, HIGH);
    // plante i activée
    return 255;
  }
  //Touch undetected
  else {
    //Turn off the led
    digitalWrite(ledPin, LOW);
    // plante i inactivée
    return 0;
  }

}