TONER KEBAB WIKI

Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
====== Les images de la musique ======

  * Porteur du projet : Mélodie Souty
  * Date : 2016/2017
  * Contexte : Mémoire DSAA
  * Fichiers :
  * Lien :

===== Lectures =====
==== Bibliographie ====
  * **Ben Ayed**, Ines, //L’œuvre d’art sensorielle en tant qu’objet empirique//, mémoire en art et histoire de l’art, soutenu en 2014. \\
  * **Björk**, Steffan & Holopainen, Jussi, //Pattern in game design//, Charles River Media, 2005. \\
  * **Breton** (Le), David, //La saveur du monde. Une anthropologie des sens//, Ed. Métailié, 2006. \\
  * **Cabanne**, Pierre & **Duchamp**, //Marcel, Marcel Duchamp : ingénieur du temps perdu// / Entretiens avec Pierre Cabanne, Pierre Belfond, Paris, 1967.\\
  * **Couchot**, Edmond, //La technologie dans l’art//, Nîmes, Ed. Jacqueline Chambon, 1998.\\
  * **Couchot**, Edmond & **Hilaire**, Norbert, //L’art numérique//, Champs-Flammarion,
  * Paris, 2003. \\
  * **Gille**, Bertrand, //Histoire des techniques : Technique et civilisations, technique et sciences//, Gallimard, collection La Pleïade, 1978 \\
  * **Guéneau**, Catherine, « L’interactivité : une définition introuvable », Communication 
  * et langages, Armand Colin, 2005. \\
  * **Gueneau**, Catherine, « Du spectateur à l’interacteur », revue Métamorphose, 2006. \\
  * **Hegel**, G.W.F., Esthétique, Paris, Aubier, 1965. \\
  * **Malka**, Laurent, //L’art numérique: médiation et mises en exposition d’une esthétique communicationnelle//, mémoire en management interculturel et communication, soutenu en 2005. \\
  * **Molinet**, Emmanuel, //L’hybridation, un processus décisif dans le champ des arts plastiques//, thèse en art et esthétique soutenue à Metz en 2012.
  * **Morse**, Margaret, //Virtualities : Television, Media Art and Cyberculture (Theories of Contemporary Culture)//, Bloomington, Indiana UniversityPress, 1998. \\
  * **Nicolescu**, Basarab, //Transdisciplinarité. Manifeste//, Édition du rocher, 1996.
  * **Poissant**, Louise, L’interface : le passage d’une philosophie du goût à une philosophie de l’action in //Interfaces et Sensorialité//, Publication de l’Université de St Etienne, 2003. \\
  * **Raboisson**, Nathalie, //Esthétique d’un art expérientiel : l’installation immersive et interactive//, thèse en Esthétique, Sciences et Technologies des Arts, soutenue à Paris 
  * en 2014.\\
  * **Rham** (de), Patrick, //La création transdisciplinaire contemporaine en Suisse romande : problématiques et perspectives, mémoire en gestion culturelle//, soutenu en 2010.
  * **Trevitt**, John, préface de //Five Hundred Years of Printing//, **Steinberg** S.H., Oak Knoll Press, US, 1996. \\
  * **Weissberg** Jean-Louis, //Le Simulacre interactif//, Thèse de doctorat en sciences de l’éducation, Université Paris 8, 1985.
==== Sitographie ====
  * France culture podcast : https://www.franceculture.fr/emissions/place-de-la-toile/petite-histoire-de-linteraction-homme-machine
  * Conférence Bernard Stiegler : http://www.dailymotion.com/video/xb87ie_bernard-stiegler-partie-1-8-acteur_creation
  * Article de Jerôme Glissenstein : http://www.ciren.org/artifice/artifices_4/glicen.html
  * Article de Mohammed Chekour, Mohammed Laafou, Rachid Janati-Idrissi :  https://www.epi.asso.fr/revue/articles/a1502b.htm
  * Article d’André Bourguignon : http://grit-transversales.org/archives/revue/51/science1.html
  * Rapport d’étude sur la transdisciplinarité de Jacques Sirot et Sally Jane Norman : https://www.olats.org/livresetudes/etudes/norman.php#a311
  * Article d’Emmanuel Molinet : http://leportique.revues.org/851
  * Article de Jean-Pierre Balpe : http://articlesdejpbalpe.blogspot.fr/2013/02/lart-et-le-numerique.html?q=art+et+numerique


==== Documents complémentaires : articles de recherches scientifiques sur la synesthésie ====
  * **Audio visual correspondence between musical timbre and visual shapes.** Mohammad Adeli, Jean Rouat and Stéphane Molotchnikoff, 30 mai 2014.
  * **Musical space synesthesia : Automatic, explicit and conceptual connections between musical stimuli and space.** Lilach Akiva-Kabiri, Omer Linkovski, Limor Gertner, Avishai Henik, 23 septembre 2013.
  * **Is it for real? Evaluating authenticity of musical pitch-space synesthesia.** O. Linkovski, L. Akiva-Kabiri, L. Gertner, A. Henik, 18 Juillet 2012.
  * **Synesthetic Video: Hearing Colors, Seeing Sounds.**Teresa Chambel, Sérgio Neves, Celso Sousa, Rafael Francisco, Octobre 2010.
  * **COL.diesis: transforming colour into melody and implementing the result in a colour sensor device Sound-color synesthesia : to what extent does it use cross-modal mechanisms common to us all ?** Jamie Ward, Brett Huckstep and Elias Tsakanikos, 2006


===== Rencontres =====
**Stage au conservatoire National de région de Marseille :**
  * Suivi des cours de solfège collectif avec instruments dispensé par Valérie MONDESIR;
  * Suivi des cours de formation musicale collective pour des jeunes enfants dispensé par Sandrine MONTALBANO;
  * Suivi des cours d'électro-acoustique sous la direction de Pascal GOBIN;
  * Suivi des évaluations de fin de cycle des des cours d'électro-acoustique;
  * Suivi des évaluations des cours de composition, écriture, harmonie, contrepoint, fugue dispensé par Véronique POLZ et Régis CAMPO.

**Stage dans l'association Micro-sillon à Metz :** \\
Micro-sillon est composé de Thomas GERBER, Olivier BUCCHEIT et Sébastien CLAUDEL. Issue de milieu scientifiques, ou dans l'ingénierie, ils travaillent autour du son, du numérique et des interactions Homme-Machine.\\
Ce stage m'a ouvert à d'autres moyens techniques, de nouveaux logiciels et de nouvelles manières de programmation (MAX, Native Instruments), de nouvelles technologies permettant l'interaction entre l'Homme et la machine (Casque d'interface neuronale, Leap Motion) ainsi qu'à des protocoles essentiel dans le traitement numérique de la musique (MIDI, OSC). J'ai pu me concentrer sur mon macro-projet, tant au niveau technique qu'au niveau méthodique et théorique avec l'aide active de tout les membres de l'association. \\
\\
**Stage avec Guillaume Bertrand et le collectif 3615 Señor à Besançon :** \\
Guillaume Bertrand travaille majoritairement sur des projets de design interactif. Il travaille majoritairement sur Processing, Open Frame Work, ainsi qu'avec des cartes Arduino. La plupart des ses travaux sont destinés à des évènements ou des performances culturelles ou de médiation avec des écoles de la primaire à la faculté. Le collectif 3615 Señor rassemble des amateurs de bidouilles en tout genre, développeurs, metteurs en scène, intermittents du spectacle... Pour réaliser les idées des différents protagonistes de plus ou moins grandes envergures, pour que chacun puisse évoluer dans sa pratique du numérique selon ses envies. Ils pensent le collectif comme un forum de discussion. \\
Guillaume Bertrand est adhérent de l'association Super Señor, qui rassemble des freelances dans le domaine de l'image (graphistes, illustrateurs, relieuses...) tous réunis dans les mêmes locaux afin de partager les frais, la gestion et le matériel. Ce stage m'a permis de découvrir la vie d'une association et les aspects professionnels auquel ils sont confrontés. J'ai pu utiliser leur atelier de sérigraphie, rencontrer et échanger avec les différents adhérents, qui trouvaient chacun leur place et leur valeur à ajouter à l'ensemble de l'association. J'ai pu évoluer dans ma pratique technique sur Arduino, ainsi que dans mes connaissances électroniques (choix des composants, soudures...). J'ai participé à plusieurs projets, des réunions de projet avec tout les acteurs (commanditaires, techniciens, artistes...), ainsi qu'à des ateliers avec une classe de primaire dans le cadre des temps d'activité périscolaire. \\
\\
**Prise de contact avec Vincent Mignerot :** \\
Vincent Mignerot a la capacité d'être __synesthète__ et raconte ce phénomène sur son [[http://synestheorie.fr|blog]] ses expériences, met en ligne les vidéos de ses conférences et référence des projets artistiques en lien avec la synesthésie. Sa particularité l'a amené devenir chercheur en sciences humaines, et à crée le projet synesthéorie qui a pour but l'étude des synesthésies. Il cherche aussi à partager les sensations auquel il est sujet en collaborant avec des graphistes, musiciens et poète et en racontant ou en illustrant ce qu'il voit.

===== Mots clés =====
  * Algorithme
Un algorithme est une suite finie et non ambiguë d’opérations ou d’instructions permettant de résoudre un problème ou d’obtenir un résultat. (Wikipedia.org) \\
Un algorithme est un processus à effectuer pour répondre à un problème. Ce processus est toujours le même pour un même problème et l’algorithme est la description de la méthode à utiliser. Cette procédure de résolution de problème, décortique les étapes essentiels. Il suffit de donner l’algorithme d’un problème à un être humain ou à une machine pour que celui-ci puisse effectuer les bonnes actions dans le but de résoudre le problème. En d’autres mots, une machine (par exemple) va suivre la méthodologie de l’algorithme. \\
http://glossaire.infowebmaster.fr/algorithme/
  * Dispositif
Agencement spatio-temporel particulier, ensemble des éléments constituant une œuvre d’art, permettant son déroulement ou sa valorisation face au public. \\
Laurent Malka, L’art numérique: médiation et mises en exposition d’une esthétique communicationnelle, mémoire en management interculturel et communication, soutenu en 2005. \\
//« À la fois machine et machination (au sens de la méchanè grecque), tout dispositif vise à produire des effets spécifiques. Cet «agencement des pièces d’un mécanisme» est d’emblée un système générateur qui structure l’expérience sensible chaque fois de façon originale. Plus qu’une simple organisation technique, le dispositif met en jeu différentes instances énonciatrices ou figuratives, engage des situations institutionnelles comme des procès de perception. Si le dispositif est nécessairement de l’ordre de la scénographie, il n’est pas pour autant le fait des seules installations. Dans les bandes aussi bien sont actualisés certains réglages du regard ou des modes particuliers d’implication du spectateur. »// \\
**Duguet**, Anne-Marie « Dispositifs », dans Communications, numéro 48, 1988.
  * Ergonomie
L’ergonomie consiste à adapter le travail, les outils et l’environnement à l’homme (et non l’inverse). Ce qui est ergonomique est donc ce qui est adapté. \\
www.action-ergo.fr/Ergonomie-definition.html
  * Feedback
Action exercée sur les causes d’un phénomène par le phénomène lui-même. \\
Synonyme de rétroaction : processus déclenché automatiquement après une perturbation, visant à provoquer une action correctrice en sens contraire. \\
(Larousse.fr) 
  * Hybride 
Qui est composé d’éléments disparates. (Larousse.fr) \\
Hybridation : Croisement entre deux variétés, deux races d’une même espèce ou entre deux espèces différentes. (Larousse.fr) \\
  * Interaction Homme-machine (IHM)
L’interaction homme-machine désigne l’ensemble des phénomènes physiques et cognitifs qui interviennent dans la réalisation de tâches avec le concours de l’ordinateur. Les composantes de l’interaction homme-machine sont : 
  - L’utilisateur
  - accomplit une tâche
  - dans un contexte particulier
  - en utilisant un système informatique.
http://www.tornil.me/these/013-les-systemes-interactifs.html \\
Les interactions homme-machines (IHM) définissent les moyens et outils mis en œuvre afin qu’un humain puisse contrôler et communiquer avec une machine. Les ingénieurs en ce domaine étudient la façon dont les humains interagissent avec les ordinateurs ou entre eux à l’aide d’ordinateurs, ainsi que la façon de concevoir des systèmes qui soient ergonomiques, efficaces, faciles à utiliser ou plus généralement adaptés à leur contexte d’utilisation. (Wikiperdia.org)

  * Interactivité
Support de communication favorisant un échange avec le public. (Larousse 96) \\
Faculté d’échange entre l’utilisateur d’un système informatique et la machine par l’intermédiaire d’un terminal doté d’un écran de visualisation. (Larousse.fr) \\
//« L’interactivité désigne la (les) relation(s) des systèmes informatico-électroniques, avec leur environnement extérieur. L’œuvre interactive est un objet informationnel, manipulable. On peut distinguer deux registres de l’interactivité : celle avec un agent humain et celle sans agent humain. Dans ce deuxième cas, l’agent peut être des éléments de la nature ou de l’environnement. Avec l’art interactif, le spectateur et/ou l’environnement deviennent des éléments de l’œuvre, au même titre que les autres éléments qui la composent. »// \\
**Bureaud** Annick : http://www.olats.org/livresetudes/basiques/6_basiques.php
  * Art interactif
Forme d’art sollicitant l’interaction du spectateur par la manipulation de divers accessoires (souris, écran tactile, objets divers) mettant en marche un dispositif préprogrammé par l’artiste. Ces œuvres prennent souvent la forme d’installation multimédia interactif combinant sons, texte, images, mouvements scéniques, etc., et suscitant la participation active du spectateur au processus d’une œuvre aux possibilités multiples. \\
**Malka**, Laurent, //L’art numérique: médiation et mises en exposition d’une esthétique communicationnelle//, mémoire en management interculturel et communication, soutenu en 2005.
  * Interface
En informatique, jonction entre deux matériels ou logiciels leur permettant d’échanger des informations par l’adoption de règles communes ; module matériel ou logiciel permettant la communication d’un système avec l’extérieur. (Larousse.fr)
  * Machine
Objet fabriqué complexe capable de transformer une forme d’énergie en une autre et/ou d’utiliser cette transformation pour produire un effet donné, pour agir directement sur l’objet de travail afin de le modifier selon un but fixé. (Cnrtl.fr)
  * Numérique
Qui relève des nombres ; qui se fait avec des nombres, est représenté par un nombre. (Larousse.fr)
Art numérique \\
L’art numérique désigne un ensemble varié de catégories de création utilisant les spécificités du langage numérique. Il s’est développé comme genre artistique depuis le début des années 1960. (Wikipedia.org)
//«Dès le début du XXe siècle, cette question est au cœur de la démarche de plusieurs mouvements et groupes artistiques. Les dadaïstes ont fait la satire de la machine. Les futuristes italiens ont fait l’apologie de l’électricité et du monde industriel. Les constructivistes ont prôné l’intégration de l’art, de l’architecture et de la science. Dans les années 1950 et 1960, le courant a été nourri par la création de plusieurs groupes artistiques tels que Zero en Allemagne, le Groupe de Recherche d’Art Visuel (GRAV) en France et les Experiments in Art and Technology (EAT) aux États-Unis. Depuis, l’intérêt pour cette question se manifeste chez plusieurs artistes dont Douglas Davis, Paul Earls, Perry Hoberman, Milton Kosimar, Piotr Kowalski, Nam June Paik, Otto Piene, Wen-Ying Tsai, Woody Wazulka.»// \\
**Poissant** Louise, //Dictionnaire des Arts médiatiques//, Presses de l’Université du Québec, 1997.
  * Spectateur
Celui, celle qui regarde, qui contemple un événement, un incident, le déroulement d’une action dont il est le témoin oculaire. \\
Personne de référence regardant un spectacle, observant ou contemplant une œuvre d’art. Personne imaginaire qui sert de référence pour la mise en place d’un lieu scénique, la construction d’une œuvre d’art. (cnrtl.fr)
  * Synesthésie
Expérience subjective dans laquelle des perceptions relevant d’une modalité sensorielle sont régulièrement accompagnées de sensations relevant d’une autre modalité, en l’absence de stimulation de cette dernière (par exemple audition colorée). (Larousse.fr) \\
La synesthésie : lorsque le travail commun des différentes modalités d’intégration et d’interprétation du réel se montre à la conscience. \\
Le terme d’origine grecque “aisthesis” désigne la sensibilité, l’aptitude à avoir des sensations. Le préfixe “syn” signifie “ensemble”. Toutes les modalités d’intégration peuvent potentiellement se combiner mais certaines associations sont plus fréquentes, d’autres n’ont jamais été décrites.
la synesthésie est involontaire et automatique;
  * les représentations synesthésiques peuvent se déployer dans tout l’espace extra personnel du synesthètes, c’est-à-dire autour de lui;
  * les perceptions synesthésiques sont consistantes et génériques;
  * la synesthésie est mémorable, associée parfois à l’hypermnésie;
  * la synesthésie n’est pas linguistique, et en quelque sorte ineffable;
  * la synesthésie n’est associée à aucune pathologie;
  * Les sensations peuvent être émotionnelles : sentiment de certitude, conviction de réalité et de validité. Elles sont décrites parfois comme des «extase », des « accomplissements de soi-même ».
Définition de Vincent Mignerot. (synestheorie.fr)
  * Système
Objet fabriqué complexe capable de transformer une forme d’énergie en une autre et/ou d’utiliser cette transformation pour produire un effet donné, pour agir directement sur l’objet de travail afin de le modifier selon un but fixé. (Larousse.fr)
===== Prototypage =====
==== Présentation ====
Au fur et à mesure de son évolution, l’être humain élabore différentes représentations, ou paradigmes, pour comprendre son environnement et composer avec lui. La mécanique quantique, la politique des communs, mais également la programmation objet graphique, sont autant d’exemples de chemins de pensée singulièrement différents, novateurs, dans le tissu qui les a produits ; ces changements radicaux de vision permettent à l’individu de développer et compléter sa perception, et donc son intégration et son appropriation, de l’univers dans lequel il évolue. \\
Nous allons illustrer et expérimenter ce concept de paradigmes multiples, appliqué à l’univers sonore et musical, élément caractéristique de notre espèce. \\
Le macro projet propose au public un espace d’expérimentation de différents objets sonores, et de leurs représentations graphiques associées. Un panel d’expériences multi-sensorielles (graphique, sonore et haptique) permet l’exploration de différents paradigmes utilisés dans le domaine musical tels que la partition classique (solfège), la partition formelle de Xenakis, ou encore, la vision synesthésique. L’interaction directe entre le public et l’espace d’expérimentation par des contrôleurs dédiés permet une écoute active, immersive - et donc une perception accrue de ces différentes représentations de l’espace sonore, portant chacune leurs forces et leurs limitations.
==== Liste non exhaustive de paradigmes appliqué à l’univers sonore ====

• La partition classique (solfège) : une des façon de visualiser la musique la plus encrée dans la mémoire collective occidentale. \\
• La partition de Xenakis : Iannis Xenakis est un des premiers compositeurs à avoir utilisé un ordinateur pour créer de la musique à partir d’un algorithme mathématique. Il crée ses propres partitions avec des formes plus ou moins complexes qui suivent une trajectoire, pour créer et illustrer sa \\
• La synesthésie : c’est un phénomène neurologique par lequel deux ou plusieurs sens sont associés. Il existe donc plusieurs formes de synesthésie en fonction des associations sensitives. L’une d’entre elles associe la vue à l’ouïe et permet donc de voir la musique et les sons en formes colorées. \\
• Le live coding : le live coding est une technique de programmation permettant de créer des images, ou des sons en direct grâce à l’écriture de ligne de code exécutés en continu. \\
• La cymatique : c’est l’étude des formes visibles qu’engendrent des ondes sonores lorsqu’elles se propagent dans un milieu liquide ou solide. Par exemple, lorsqu’on disperse du sable sur une plaque que l’on fait vibrer à une fréquence donnée, les grains vont se regrouper à certains endroits et créer une forme. On trouve ainsi un large référencement des formes obtenues en fonction des matériaux, des formes de plaques, des grains rependus, et des fréquences de vibration.
==== Boite à Souty ====
• Interface de programmation envisagée : Max. \\
• Interactions Homme-machine : [[http://example.com|Leap Motion]] \\ 

{{:wiki:proto-memoires:melodie-souty:chainetechno.jpg?|}}
==== Proof of concept ====
**Illustration d'un premier paradigme : la synesthésie** \\
L’utilisateur peut se plonger dans l’environnement d’un synesthète. Le Leap Motion lui sert alors comme un térémine : plus sa main est basse, plus le son est grave, plus elle est haute, plus le son est aiguë. Les notes qu’il génère produisent des formes colorées issues de réelles recherches sur la synesthésie. \\
\\
{{:wiki:proto-memoires:melodie-souty:poc.jpg?300|}} \\
\\
**Réalisation et ajustements** \\
Ajout de boutons, qui s’enclenchent et se déclenchent lorsqu’on appuie virtuellement dessus grâce au Leap Motion. Ces boutons contrôleraient, à terme, les paramètres du son (hauteur, timbres, variations d’ondes...). Après l’appuie du bouton, une jauge apparaît pour quantifier les changements du son. On peut sauvegarder son changement en fermant le poing puis en désenclenchant le bouton. Sur les images, on change la hauteur de la note grâce au premier bouton. Les poings rouges sont les doigts de la main représentés à l’écran. \\
\\
{{:wiki:proto-memoires:melodie-souty:captures.jpg?|}}

===== Références =====
Murmur - Chaval Vert, 2Roqs, Polygraphik et Splank. \\
Murmur est une prothèse architecturale permettant la communication entre une personne et un mur sur lequel elle est connectée. L’installation simule le déplacement des ondes sonores en créant un pont lumineux entre le monde physique et le monde virtuel. Il y a une magie, une zone d’ombre dans la façon dont les ondes se déplacent. Murmur se focalise sur ce déplacement et engendre ainsi un dialogue non-conventionnel entre le public et le mur. \\
{{vimeo>67242728?medium}} \\
\\
===== Résumé de la recherche =====
 
J’ai toujours été convaincue de l’enrichissement que pouvait apporter ma pratique de la musique dans mon graphisme et inversement. Et c’est en découvrant les capacités des médias numériques que j’ai entrevu un moyen de faire dialoguer mes deux passions.
J’ai donc souhaité m’intéresser à la problématique suivante : **en quoi le numérique renouvelle le dialogue des sens ?** Je vais tout d’abord introduire ma problématique, pour ensuite développer les réponses que j’ai développé dans mon livret de synthèse. Nous parlerons ensuite du point de vue de Vincent Mignerot, chercheur et synesthète sur ces réponses, puis je vous présenterais ma recherche technique avant de conclure.

==== Retour historique ====

En m’intéressant dans un premier temps aux relations entre musique et image, je me suis aperçu qu’elles ont souvent inspiré les domaines artistiques. Elles représentent déjà un intérêt fondamental dans des disciplines comme le théâtre, le cinéma, ou même l’opéra, pour lequel Wagner élabore le concept d’art total. En voulant recréer la vie dans ses œuvres, il convoquait différents domaines artistiques, comme les arts plastiques, la danse, le théâtre, le chant, la sculpture, ou la poésie, jusqu’à envisager l’architecture de son propre théâtre. Ces intentions vont inspirer les mouvements d’avant-garde du XXe siècle, et les disciplines vont peu à peu dialoguer et proposer au spectateur de mettre en éveil plusieurs de ses sens.

Dans mon livret d’Histoire de l’art j’ai souhaité prendre connaissance d’une part des démarches de Wassily Kandinsky. Il est considéré comme le premier peintre abstrait, et ce sont ces relations entre musiques et images (et vraisemblablement sa synesthésie) qui l’ont mené à l’abstraction. D’autre part, je me suis intéressée à John Cage, car il se définit comme étant un artiste amateur mais polyvalent. Ainsi leur démarche s’opposent en plusieurs points : lorsque que Kandinsky traduit rigoureusement une partition musicale en point et en ligne, et qu’il s’impose un regard critique et une classification rigoureuses de ses démarches. Cage lui préfère que les arts dialogues en se différentiant les uns des autres et confie ses compositions aux lancés de dés. Ainsi cela les amène à considérer leur statut d’artiste autrement : Kandinsky exprime son âme au travers de ses œuvres et défends la spiritualité de l’artiste en prônant tout de même la rigueur dans la pratique. Cage se positionne plus en retrait, il n’exprime pas une identité propre reconnaissable à l’écoute (ou au regard) et souhaite que la volonté de l’artiste ne soit plus souveraine.

Aujourd’hui le numérique permet, non seulement l’implication d’autres sens que la vue et l’ouïe, mais elles permettent aussi d’impliquer le spectateur grâce à l’interactivité. Et c’est avec les œuvres interactives que l’art continu d’interroger la multisensorialité. De nos jours, elles sont de plus en plus présente et semblent être appréciées du grand public car elles proposent des expériences et des innovations techniques qui fascinent. J’ai souhaité dans ma synthèse induire l’idée que la pensée numérique qu’implique la réalisation d’une œuvre interactive, semble instaurer un changement de paradigme. D’une part, pour le créateur de l’œuvre, et d’autre part pour le spectateur.\\
\\
Je vais étayer ce point de vue en trois parties. Je commencerai par introduire les capacités multisensorielles du numérique afin de comprendre en quoi le numérique est une révolution. Ensuite, j’engagerais une réflexion autour de la posture du spectateur lorsqu’il se trouve face à ces œuvres interactives. Et enfin je questionnerais leur statut parmi les disciplines afin d’engager une discussion sur le statut de l’artiste. Car en effet, leur production nécessite plusieurs compétences hétéroclites.
==== Les capacités multisensorielles du numérique ====

Avant de commencer je vais définir deux mots clés importants qui vont souvent apparaître. Il est donc nécessaire de préciser le sens dans lesquels je vais les utiliser.
  * Premièrement l’interactivité qui sera envisagé comme la relation entre les systèmes informatiques ou électronique avec son public.
  * Deuxièmement la multisensorialité qui ne concerne pas uniquement le dialogue plusieurs des 5 sens, mais aussi toutes les modalités qui permettent la compréhension du réel.
Je vais maintenant développer plus amplement chacune des parties.\\
\\
Le numérique et la programmation font aujourd’hui partie de l’enseignement scolaire à différent niveaux (collège, lycée ou supérieur) et pour beaucoup de spécialités. Indéniablement les outils numériques font partie de notre quotidien, et leur fonctionnement devient pour les jeunes générations presque une évidence. On parle d’ailleurs communément de « révolution numérique », car il représente un nouveau système technique depuis la propagation des machines.\\
Le numérique est ce qui est fait de nombre. En informatique cela représente le codage binaire, avec les chiffres 0 et 1. Cela permet de créer, uniquement avec des chiffres, une couleur, une image, une vidéo, un texte, un son ou une musique. Bref, les médias principaux que nous connaissons. Dans ma fiche de lecture j’ai étudié des articles de Jean-Pierre Balpe, où il qualifie le numérique d’interopérable, dans le sens où les différents médias proviennent d’une source commune (le code) et diffusent chacun une perception sensorielle.\\
Au delà d’interpeller nos sens visuels et auditifs, il est possible de stimuler numériquement la plupart de nos 5 sens, mais aussi des modalités associés comme les mouvements ou la voix, ou d’autres plus indirectes comme l’équilibre ou la compréhension du temps, qui nous permettent d'interpréter le réel. \\
Ainsi, alors que le numérique est communément associé à la notion de virtuel,il permet d’interagir, d’interpeler, et presque tromper le corps. Aristote utilise le mot virtualis, à l’origine du mot virtuel pour définir son concept de la puissance, c’est à dire une action qui serait l’état potentiel, qui ne s’est pas encore déroulé. Et il l’oppose à l’acte qui lui est bien entrain de se produire. Ainsi les interactions que permettent le numérique sont bien ancrées dans le réel, faisant du numérique un véritable outil. \\
De plus, en permettant un feedback, c’est à dire un retour sur action, cela renvoi à notre perception du réel : lorsque l’on interagit avec des objets, des transformations s’opèrent (en grande généralité).
==== Une nouvelle posture du spectateur ?====

Cela nous amène vers un second aspect primordial qui fera l’objet de ma seconde partie : le rapport de l’œuvre interactive avec le spectateur. En effet, il semble passer d’une posture « passive » d’observateur à une posture « active » en participant à l’œuvre. Cependant, on ne peut pas affirmer que le spectateur est passif, car il apporte son regard, ou son écoute à une œuvre qui est crée pour lui. Ainsi, qu’est ce qu’apporte de plus l’interactivité ? \\
On distingue déjà deux types d’interactivité :
  * Le premier fait intervenir un dialogue Homme-machine de l’ordre de « l’action réaction ». C’est à dire qu’un seul résultat est possible pour un seul type d’action. Les interactions sont plus fermées, presque sans surprise, c’est ce genre d’interaction auxquelles nous sommes habitués lorsque l’on consulte un contenu sur internet : un clic sur un lien renvoit vers une page.
  * Le deuxième est plus ouvert, plus imprévisible, dans le sens où les actions à effectuer, bien qu’elles soit adaptés à l’utilisateur, lui permet une plus large expression.
Ainsi pour Jerôme Glicenstein, le spectateur devient un « sujet interactant ». C’est par sa singularité, et ce qu’il décide de faire de l’œuvre, qu’il va faire l’œuvre. Le corps du sujet-interactant est placé au centre de celle -ci, et, par son investissement sensori-moteur il va la révéler, en révélant de la même manière la présence de son corps. \\
Je me suis ensuite intéressée à ces interactions sensorielles. En effet, les médias numériques nous permettent un feedback, le plus souvent immédiat. On peut donc observer, ou ressentir les effets de nos actions sur l’œuvre et de cette manière, elle semble acquérir un caractère pédagogique. Si l’on s’en réfère à des théories de l’apprentissage par l'expérience, c’est en analysant l’effet de nos actions sur un objet, un environnement, ou situation, que l’on peut atteindre un apprentissage. Par exemple : si je bouge le bras vers la droite, un point sur l’écran se déplace, mais si je tape du pied, le point reste immobile, le déplacement du point est donc sûrement lié à mon mouvement. Ainsi je vais me demander comment je pourrais déplacer ce point dans un autre endroit ? Etc. Jusqu’à l’acquisition du geste interactif qui me permettra d’appréhender cet interface. \\
C’est en mobilisant des connaissances ou des schèmes d’actions déjà acquis, et en analysant les effets inconnus qui se produisent, que l’on peut en déduire un sens et atteindre une nouvelle compétence.\\
Ainsi, le numérique permet l’accès à de nouvelles manières de concevoir le monde, ou d’interpréter le réel grâce à un interactivité qui apprend non pas par une démonstration mais par une expérience.
==== Une discipline indiscipliné ====

En mixant les médias, en sollicitant plusieurs sens, comment peut-on positionner les œuvres interactives dans une discipline propre ? De la même manière, comment nomme-t-on l’auteur de ces œuvres ? Il semble qu’elles se positionnent entre ou parmi les disciplines et héritent souvent des qualificatifs d’inter, pluri ou transdisciplinarité. Ces termes sont cependant souvent ambigus. Ils trouvent leur origine dans le milieu scientifique, mais sont utilisés dans plusieurs domaines comme par exemple celui de l’éducation dans la formation des enseignants. \\
Les définitions de la pluridisciplinarité et l’interdisciplinarité sont proches. Elles consistent à faire collaborer plusieurs disciplines ou faire se rencontrer leurs moyens d’études pour une finalité globale. La transdisciplinarité cherche, elle, à dépasser les disciplines, leurs acteurs rejettent en quelque sorte le cloisonnement disciplinaire, et les résultats qui découlent de leurs travaux visent à créer un nouveau langage. De plus, ils cherchent à placer l’homme au centre des préoccupations, ce qu’il semble corroborer avec ce que nous avons dit précédemment.\\
Cependant, en plaçant l’homme au centre d’un art numérique, on effleure des raisonnements transhumanistes, qui correspondent aujourd’hui à une idéologie extrémiste.\\
Bien qu’Edmond Couchot nous rappelle que l’art et la science ont toujours été proche, et que les artistes ont toujours été polyvalents, il parle d’une « esthétique de l’hybridation » pour qualifier les œuvres qui utilisent des médias numériques. Or, le terme d’hybridation a souvent été utilisé, à différentes époques, dans l’histoire de l’art, pour qualifier des œuvres ou des courants qui utilisaient plusieurs influences dans une seule et même pratique. Le terme semble donc ambigu. Cependant, par hybridation, on entend aussi la création d’une nouvelle forme par l’association d’autres formes. En ce sens, les œuvres interactives sont peut-être l’expression d’un nouveau genre pour l’instant difficilement qualifiable. Elles proposent un fusion des disciplines, des compétences, des médias, des sens et des comportements, qui renouvelle la taxinomie artistique. \\
==== Un entretien haut en couleur ! ====

Au préambule des réflexions qui ont menées à l’élaboration de ce mémoire j’ai contacté Vincent Mignerot, un synesthète et chercheur indépendant pour lui communiquer mes intentions. Dans mon entretien avec lui, j’ai cherché à savoir quel était son positionnement face aux problématiques de ce mémoire en temps que témoin constant et involontaire de la multisensorialité.\\
Du latin syn, ensemble et aesthesis, les sensations la synesthésie définit un phénomène neurologique peu courant pour lequel la stimulation d’un sens engendre automatiquement et de manière simultanée une perception issue d’une autre modalité. Ses synesthésies sont multiples, avec le temps elles évoluent voir disparaissent. Aujourd’hui, il a des synesthésies mêlant le son et l’image, les chiffres et les couleurs, les lettres et les couleurs, la douleur et les images, les concepts abstraits et les images ainsi que le temps et les images.\\
Une grande partie de ses sensations se traduisent en formes colorées, comme si un graphiste avait crée un répertoire de forme pour qu’il comprenne le réel. Son parcours professionnel hétérogène l’amène à formuler l’hypothèse qu’il ne sait peut-être pas fonctionner dans un modèle circonscrit, comme le font ses sensations. Cependant, il reste un exemple isolé, les synesthètes ne sont pas tous éclectiques dans leur pratiques, et inversement. Cependant Vincent Mignerot crée des projets pour diffuser cet ouverture d’esprit et pour sensibiliser sur les sens, la sémantique, que peuvent communiquer les sens, sensations. Le numérique est un outil présent dans la sensibilisation à ces phénomènes, notamment, il prototype une interface web qui permettrait aux visiteurs de partager sa synesthésie sonore. Le numérique lui semble être un outil à la hauteur de la richesses de ses visions. \\
Cet rencontre avec Vincent Mignerot n’a fait que confirmer mon intérêt pour la relation entre le son et l’image, qui, bien qu’elle ai largement été utilisé dans les deux domaines artistiques, révèle toujours de nouveaux aspects.
==== Le Mélotron, créateur d'image sonore ====

J’ai souhaité, de ce fait, présenter cet intérêt dans mon prototype : le Mélotron. C’est une œuvre interactive qui permet de créer du son et de l’image via des interactions gestuelles. J’ai créer le Mélotron dans l’optique de la créer un nouvel instrument multisensoriel qui puisse permettre, en quelque sorte de devenir synesthète. \\
Après des recherches techniques sur les périphériques d’interactions, et sur les environnements de développement qui pourrait être utilisés, j’ai concentré mon attention sur un développement sur Max, une environnement de développement pour les données numériques, vidéo et sonore. Et sur un périphérique en particulier le Leap Motion qui permet la reconnaissances des mains et des des doigts. J’ai ensuite mis en place la structure suivante :\\
Le spectateur interagis avec des gestes, les mouvement de ses mains sont reconnus par le Leap Motion. Ces données sont interprétées le logiciel Max, projetés sur un mur et diffusées dans des hauts parleurs. Lorsque la main bouge de haut en bas, une note de musique passe de l’aigu au grave, et les couleurs d’une sphère changent. \\
J’ai continué ensuite des recherches techniques, car en créant la partie graphique de l’application, j’ai vite compris les limites du logiciel. J’ai donc créer le même concept de ce prototype avec Processing, un environnement de développement consacré à l’image. Cependant, la création sonore est fortement limitée comparé à Max. Je me suis donc intéressée à la communication des deux logiciels via un protocole OSC qui est un puissant format de transmissions de données. De cette manière je pourrais gérer le son sur Max et les images sur Processing. Il faudra ensuite définir quel sera le logiciel le plus performant pour interpréter les données reçues par le Leap Motion. 
==== Conclusion ====

Pour conclure nous avons vu que les relations entre le sonore et le visuel sont des problématiques courantes dans l’Histoire de l’art. Elles ont représenté pour Kandinsky et Cage, entre autre, un processus créatif qui a permis de se positionner en temps qu’artiste. Avec l’arrivée du numérique ces dialogues entre les disciplines continuent d’être ré-interrogés, à travers notamment les œuvres interactives.\\
Nous l’avons vu dans un premier temps, les techniques numériques permettent intrinsèquement l’interopérabilité entre les médias, et cela permet d’interpeler la plupart de nos 5 sens mais aussi d’autres modalités d’interprétations. Dans un second temps, ce genre d’œuvre implique un rapport au spectateur différent, voir même presque pédagogique. Il est troisièmement difficile d’inscrire ces œuvres dans une discipline propre, et l’on peut donc se questionner sur le statut de l’artiste. \\
Enfin, c’est en rencontrant un synesthète et en souhaitant aussi comprendre ses visions que le prototype a pu voir le jour. Ainsi j’ai pu expérimenter la création d’une œuvre interactive telle que je l’ai étudié tout au long de ce mémoire. \\
En envisageant un rapport entre les sens peut donc constituer une manière singulière d’exprimer sa vision du monde, et c’est ce qui m’a toujours conduit à considérer mes centres d’intérêts comme un tout légitime et cohérent. Je me suis beaucoup intéressée durant ces deux années de formation à l’électronique ainsi qu’à la programmation car leurs capacités m’ont permis d’exprimer à la fois ma sensibilité graphique et musicale. De plus, une réflexion chiffrée et algorithmique a toujours été pour moi une formalité. Ce sont toutes ces appétences qui ont trouvées une résonance dans les œuvres interactives.\\
Grâce à mes stages j’ai pu travailler aux côtés de professionnels passionnées par ces mêmes discussions. J’ai souhaité réaliser mes stages dans des structures qui me permettraient d’avoir un enseignement complémentaire au DSAA afin de confirmer mon statut de graphiste que je souhaite pluriel et plus accès vers la technique. J’y ai découvert les domaines de la musique assistée par ordinateur et des interactions Homme-machine, en confirmant mes compétences en électronique. \\
Avec ce mémoire j’ai souhaité montré que, la pensée interactive et sensorielle au travers des médias numérique, amène une certaine globalité dans la réflexion et dans la perception. Elle correspond à un paradigme, qui justifie les mutations actuelles du design en quête de collaboration entre les disciplines, de partage et d’entraide. \\
De cette manière, je souhaite faire évoluer le Mélotron. En ayant réalisé une bonne partie des défis techniques que je m’étaient imposés, je pourrais, incessamment sous peu, concevoir une direction artistique sonore et visuelle cohérente. Et, je souhaiterais créer un instrument mélangeant interactions gestuelles et tangibles, en ajoutant des boutons, capteurs ou vibreur etc. Je voudrais que le spectateur découvre un instrument plus qu’un périphérique d’interaction, qu’il reproduise la relation presque intime, que partage le musicien avec son instrument.\\
Ces images sonores que crée le Mélotron pourraient ainsi trouver leur utilité dans le domaine musicale. Par exemple, un label de musique indépendant à petit budget souhaitant une charte graphique cohérente pour les pochettes d'albums de leurs artistes ou pour les évènements qu'il organise pourrait utiliser le Mélotron et laisser aux musicien la libre création d'une image sonore qui leur correspond. On peut ainsi envisager la création d'affiche tactile, ou de pochette d'album tactile, pour que l'auditeur puisse entendre le visuel de la pochette.
TONER KEBAB WIKI

Outils pour utilisateurs

Outils du site

Outils de la page
