Introduction

Le geste est à lui seul la représentation de plusieurs idées et principes qui lui confèrent une importance que ce soit dans nos sociétés, dans la façon dont nous l’appréhendons, dans la façon dont nous l’utilisons.

Le geste, un langage

Ces mouvements que nous produisons tous les jours, que ce soit pour appeler quelqu’un dans la rue, pour accompagner nos mots, nos propos, pour leur donner une importance, un poids ou encore d’être eux-mêmes un système de langage pour nous permettre de se faire comprendre dans une autre société, par une personne d’origines différentes peuvent à eux seul être la représentation de notre société, d’une classe sociale, de notre état psychologique, morphologique et donc les décrypter, c’est dans un sens réussir à analyser et à comprendre son entourage sans forcément faire appel à un échange phonique.

Le geste, nouvel outil de création

Le geste qui peut avoir comme vocation, celui de créer un échange, d’accompagner un discours, a connu aussi d’autres usages, d’autres façons de l’envisager, de l’utiliser, afin de réaliser quelque chose de nouveau. Nous pouvons prendre comme exemple, les multiples domaines liés aux domaines artistiques et qui peuvent être l’art de la scène où nous pouvons voir les différentes catégories qui la composant comme la danse, le théâtre, mais aussi des domaines plus contemporains, liant les nouvelles technologies, et permettant la création de nouveaux systèmes de communication, permettant de nouvelles façons de transmettre une information, une sensation, une émotion ou encore de permettre au spectateur/visiteur, de s’émanciper de ce rôle de contemplation et de devenir acteur en devenant lui-même, l’outil créateur par l’usage de sa propre gestuelle qui permettra ainsi la création d’une œuvre singulière, car, les gestes que nous employons ne sont peut-être pas les mêmes dans une autre société, dans un autre pays.

Le geste réparateur

Dans la continuité de cette réflexion autour de la gestuelle et des installations interactives employant les nouvelles technologies ainsi que le geste, la combinaison de ces 2 critères peut permettre à un visiteur de découvrir de nouveaux gestes, d’agrandir sa panoplie gestique et donc d’agrandir son « vocabulaire » corporel. Mais dans cette idée aussi d’apprendre de nouveaux gestes, certains outils technologiques permettent là l’agrandissent de notre vocabulaire gestuel, mais aussi de les utiliser à des fins plus thérapeutiques. En effet, tout comme certaines disciplines de relaxations permettent par l’usage de gestes de se détendre, de reposer sont corps, ces différents systèmes numériques et interactifs permettent ainsi de faire découvrir à notre corps des gestes qui permettent une certaine sérénité.

— L'origine du geste, de l'animalité à l'intellect

Le commencement est le geste. Depuis longtemps l’homme se sert de gestes pour bâtir, pour construire, pour fonder une société. Le geste est ce paramètre, cette donnée qui nous permet d’être notre être-au-monde. Comme le dit Amélie Balazut « une ascension inégalée pour le reste du monde vivant, c’est produit pour nous du jour où nous sommes redressés en même temps que je perdais de façon définitive, la spontanéité gestuelle de notre animalité. En effet durant cette étape où l’homme s'est redressé en passant de quadrupède à bipède l’homme a échangé son animalité qui est dorénavant perdue par une humanité et un intellect retrouvé. L’accession à la bipédie permit à homme de libérer sa main de son rôle locomoteur, pour ainsi devenir le membre déterminant de son évolution biologique sociale et culturelle. Par la suite, le geste de la main initialement libérateur et tous ceux qui s’en suivront, initie ainsi cette longue histoire de l’homme à laquelle nous participons encore et depuis plus de 6 millions d’années. Le geste de la main inaugure en ce sens où il est à l’origine et donc en même temps à la jonction, à la charnière, au seuil entre un avant et un après en l’homme. Le développement de la gestuelle de notre main a parmi la réalisation d’outils, de développement techniques, artisanales de plus en plus performant, réalisé par des gestes de plus en plus répétés et précis années après années. Effectivement depuis longtemps, c’est la technique qui a été la grande pourvoyeuse de geste. C’est grâce à cette « techné » que l’homme a pu acquérir un savoir-faire, un savoir-manier, À la fois artisan et expert d’un corps en actes. De même par exemple dans la peinture, le développement gestique de notre main, a permis de passer d’une fresque murale dénonçant une bestialité et une spontanéité dans la représentation d’animaux, à des œuvres plus élaborés, par des gestes davantage contrôlés et maîtrisés.

— Une nouvelle façon de percevoir son corps, le début de la régression gestique

Après bon nombre d’années, de décennies, arrivé finalement au XXe siècle dans une société mécanisé, l’expansion industrielle qu’à connu cette époque fut condamné comme la grande faucheuse de gestes. L’artisan habile fut remplacé par l’ouvrier bégayant un avorton de geste sur des chaînes de montage ou le gros du travail était assuré par la machine, puis le robot. Cette nouvelle société délaissa le geste répété et appris durant de nombreuses années par l’homme, et le remplaça par le geste mécanique de la machine. En outre, cette nouvelle société révéla une nouvelle façon de voir le corps non plus comme une représentation de soi, comme un être-au-monde, mais tout simplement comme un organe qui fut démystifié, désacralisée par les nouvelles technologies comme les scanner I.R.M., donnant à voir des substances autrefois invisibles, imperceptibles et qui fut en définitive, exposés au reste du monde. Cette nouvelle façon d’appréhender le corps, de le voir, à conduit par la suite à sa dématérialisation, qui a amené par la suite, à cette représentation de nous-même sur le réseau que l’on nomme « avatar ». De plus, cette société montre une régression et contribue à ce que l’on peut appeler la standardisation du geste. Les nouvelles technologies comme notamment les smartphones, participent à cette standardisation des gestes prédéfinis. Ces gestes, nous les connaissons. Nous les employons à longueur de journée, que ce soit pour zoomer sur une image, la faire pivoter, descendre d’une page, monter ou encore changer d’image. Ces gestes qui portent le nom de « gestes interfacés » ou encore de « gestes simplexes », « gestes-codes », sont des gestes qui limitent l’expressivité de la main ainsi que sa spontanéité naturelle. C’est comme le décrit par exemple Baudrillard dans son livre « le signe des objets » comme la perte du gestuel d’effort impliquant la motricité de tout le corps au profit du gestuel de contrôle n’impliquant plus que le contact des « extrémités ».

— Vers une nouvelle façon de percevoir son corps et de libérer sa gestualité

C’est pourquoi, afin de libérer notre corps, de montrer une nouvelle façon de le percevoir, de l’aider à retrouver une gestuelle plus spontanée, moins contrôlée, certains artistes participent à la création de nouveaux systèmes interactifs permettant de mettre en avant notre vocabulaire gestique par le biais de ce que l’on peut appeler « les dispositifs ». Des artistes comme Adrien Mondot et Clair Bardainne, créent ainsi des espaces de narrations ou le spectateur devient à son tour acteur de l’œuvre. L’association de plusieurs personnes, possédant eux-mêmes une autre façon de se mouvoir dans ce dispositif, d’interagir avec elle, vont ainsi créer une narration unique. Au-delà de dispositifs interactifs utilisant des supports comme des écrans, nous pouvons citer un autre artiste, Yasushi Matoba avec son dispositif « aqua top display » qui met en avant le corps et sa gestuelle dans un dispositif employant l’eau, créant ainsi une nouvelle façon d’interagir avec cette nouvelle matière, ainsi qu’une nouvelle façon de percevoir notre corps et notre gestuelle de manières différentes tout en élaborant ensemble, un échange entre les sensations nées du geste corporel du regardeur/acteur, et celles qui sont engendrées par l’objet.

memoire-anglais.pdf

lu :

• Michel Guérin - Le geste entre émergence et apparence : Ethologie, éthique, esthétique
• Michel Guérin - Philosophie du geste
• Michel Bernard - Le corps
• Bertrand Tornil - Adaptations et Interactions gestuelles et haptiques, ciblé s utilisateurs. Vers plus d’utilisabilité et d’accessibilité these_bertrand_tornil.pdf
• Edmond Couchot
• jenny Slatman - l'imagerie du corps interne
• Claire Azema - le geste simplexe, construire la cohérence entre l'individu et son environnement fonctionnel
• Nanta Novello Paglianti - Corps contemporains, évolutions numériques et changements esthétiques
• Nicole Pignier - Le plaisir de l'interaction entre l'usager et les objets TIC numériques
• Vilem Flusser - Les gestes
• Etienne Armand Amato & Jean-Louis Weissberg - Le corps à l'épreuve de l'interactivité : interface, narrativité, gestualité

non-lu :

• Alain Berthoz - Le Sens du mouvement
• Jean-François Jego - Interaction basée sur des gestes définis par l’utilisateur : Application à la réalité virtuellejean-francois_jego.pdf
• Fanny Georges - Sémiotique de la représentation de soi dans les dispositifs interactifs. L’Hexis numérique fanny_georges.pdf
• Marcel Prousse - L'anthropologie du geste jousse_anthropologie_du_geste.pdf

Geste : Mouvement du corps, principalement de la main, des bras, de la tête, porteur ou non de signification. (Larousse)

Gestique : Ensemble des gestes, comme moyen d’expression d'une personne.

geste simplexe : dénomination globale catégorisant l’ensemble des gestes pratiques utilisés dans les dispositifs technologiques captant les mouvements et les déplacements du corps. Le geste simplexe est un langage corporel adressé directement à la machine. Ces gestes simplexes deviennent des gestes-codes. Le geste simplexe est à la fois mouvement et signe.

geste percussif : gestes réalisés sur les écrans.

geste motivé : presque un geste réflexe, visait à satisfaire une sensation interne de plaisir : tel geste apportait la satiété, la sensation de douceur, de chaleur, de bien-être,…

geste planifié : l’objectif plus seulement de faire bien ou mal, mais d’obtenir un résultat précis comme par exemple tracer un cercle, mettre l’extrémité d’un doigt dans une position donnée, etc. Il faut pour cela associer au geste les conséquences perceptives et sensibles et pas seulement un plaisir ou un déplaisir immédiat.

Geste interfacé : gestes produits dans/sur une interface quelle soit tactile ou bien au sein dans environnement interactif.

Interface : Dispositif qui permet des échanges et interactions entre différents acteurs.

geste préhensif : faculté ou l’action de saisir des proies ou autres objets avec la main. autrement dit la préhension consiste à appliquer des forces fonctionnellement efficaces avec la main sur un objet, pour réaliser une tâche donnée en respectant de nombreuses contraintes.

praxie : coordination motrice volontaire, orientée vers un but, et issue d’un apprentissage.

Phénoménologie : Étude d’un phénomène dont la structure se base sur l’analyse directe de l’expérience vécue par un sujet. On cherche le sens de l’expérience à travers les yeux d’un sujet qui rend compte de cette expérience dans un entretien ou dans un rapport écrit. La phénoménologie se classe donc fermement dans le paradigme constructiviste et suggère une vision du monde dans lequel la réalité est multiple. “La science de ce qui apparaît à la conscience” _E. Husserl (Wikipédia)

Synergologie : Discipline qui permet d’appréhender l’esprit humain à partir de la structure de son langage corporel. (synergologie.org)

Sémiotique : Etude du processus de signification, c’est-à-dire la production, la codification et la communication de signes. Etude née des travaux de Charles Sanders Peirce. En français, ce terme est souvent synonyme avec sémiologie (science des signes: « La science qui étudie la vie des signes au sein de la vie sociale.» _ Ferdinand de Saussure). (Wikipedia)

fonction sémiotique du geste : sert à faire connaître : désigner, communiquer; le geste véhicule une information (qui peut résulter de l’expérience culturelle).

fonction épistémique du geste : sert à connaître (un matériau, une surface,…) et est relative au tactile ou haptique (activation du sens tactilo-kinesthésique).

fonction ergotique du geste : sert à déplacer, modifier, construire des objets matériels; le geste est lié à la manipulation directe du monde physique.

déictique : geste de pointage ou de sélection. Ces gestes ont reçu beaucoup d’attention car ils correspondent aux principales tâches sur les systèmes interactifs actuels.

Proprioception : La proprioception (formé de proprio-, tiré du latin proprius, « propre », et de [ré]ception) ou sensibilité profonde désigne la perception, consciente ou non, de la position des différentes parties du corps. Elle fonctionne grâce à de nombreux récepteurs musculaires et ligamentaires, et aux voies et centres nerveux impliqués. La proprioception fait partie de la somesthésie. On emploie aussi le mot kinesthésie, avec un sens parfois légèrement différent.

Kinesthésie : perception consciente de la position et des mouvements des différentes parties du corps.

Schéma corporel : L’image du corps, notion héritée du schéma corporel, désigne la représentation du corps. Paul Schilder invente l'expression Image du corps en désignant par là une représentation à la fois consciente et inconsciente du corps. L’expression ne désigne pas seulement une connaissance physiologique, mais renvoie également au concept de libido et à la signification sociale du corps.

proxémie : La proxémie ou proxémique est une approche du rapport à l'espace matériel introduite par l'anthropologue américain Edward T. Hall à partir de 1963. Ce néologisme désigne d’après lui « l’ensemble des observations et théories que l’Homme fait de l'espace en tant que produit culturel spécifique ». L’un des concepts majeurs en est la distance physique qui s’établit entre des personnes prises dans une interaction. Ainsi, dans les pays latins, les distances entre les corps sont relativement courtes. En Afrique, elles sont souvent si réduites que le contact physique est fréquent. À l'inverse, dans les pays nordiques ou au Japon, les contacts physiques sont plus rares et ces distances plus importantes. Elles varient également selon les lieux où l'interaction se déroule, ce qui signifie qu'elles doivent être prises en compte par les architectes et designers. Elles sont par exemple différentes dans des lieux publics comme les ascenseurs ou les transports en commun.

Signe : Dit d’une marque, naturelle ou conventionnelle, désignant pour quelqu’un un objet ou un concept, et destinée à être interprétée par un tiers. En linguistique, un signe est la réunion d'un signifiant et d'un signifié. Les signes non verbaux permettent parfois de surmonter les barrières linguistiques, mais ils sont souvent liés à un contexte culturel particulier. (Wikipédia)

Anthropologie : Science qui étudie l’être humain sous tous ses aspects, à la fois physiques (anatomiques, morphologiques, physiologiques, évolutifs…) et culturels (socio-religieux, psychologiques, géographiques…). Elle tend à définir l'humanité en faisant une synthèse des différentes sciences humaines et naturelles. (Wikipedia)

Dispositif : «J’appelle dispositif tout ce qui a, d’une manière ou d'une autre, la capacité de capturer, d'orienter, de déterminer, d'intercepter, de modeler, de contrôler et d'assurer les gestes, les conduites, les opinions et les discours des êtres vivants.» _Giorgio Agamben, Qu'est-ce qu'un dispositif ?

Cognitives (sciences) : Sciences ayant pour objet de décrire, d’expliquer et le cas échéant de simuler voire d'amplifier les principales dispositions et capacités de l'esprit humain – langage, raisonnement, perception, coordination motrice, planification, décision, émotion, conscience, culture… (Universalis)

Ontophanie : Manifestation, apparition, révélation de l’être, de son existence ou de son essence. “Par phénoménalité des phénomènes, nous entendons la manière dont l’être (ontos) nous apparaît (phaïnomenon), en tant que celle-ci induit une qualité particulière de se-sentir-au-monde. Nous l’appelons ontophanie, au sens étymologique du terme tel qu’il a été initié par Mircea Eliade et qui signifie que quelque chose se montre à nous.” — (Stéphane Vial, L'Être et l'Écran, Paris, PUF, 2013, p. 110.)

Ontophanie numérique : la manière dont les êtres et les choses nous apparaissent à travers les appareils numériques ou sous l'effet de leur omniprésence, et qui peut être décrite à l'aide de onze caractéristiques : nouménalité, idéalité, interactivité, virtualité, versatilité, réticularité, reproductibilité instantanée, réversibilité, destructibilité, fluidité, ludogénéité.

Haptique : signifie « je touche », désigne la science du toucher, par analogie avec l'acoustique ou l'optique. Au sens strict, l’haptique englobe le toucher et les phénomènes kinesthésiques, c'est-à-dire la perception du corps dans l'environnement.

Adrien Mondot et Claire Bardainne sont 2 individus qui conçoivent des dispositifs mêlant corps et images. Ils s’interrogent sur comment le corps peut amener une nouvelle narration à un récit au travers de dispositifs interactif combiné avec de la danse et de quelle manière il est possible de « jouer » avec, de lui donner une nouvelle utilité.

Le dispositif se compose d’une interface de contrôle par le geste permettant de se déplacer et d’influencer un territoire imaginaire projeté dans la salle.

Apertures est une sculpture sonore interactive invisible et impalpable… à découvrir et explorer par le geste et l’écoute. Trois cadres suspendus, comme trois fenêtres ouvertes, offrent autant de points de vue différents sur un même paysage sonore à visiter. Dans cet espace de jeu musical collectif, le public est invité à constituer un trio interprétant une composition ouverte et interactive. Apertures est un dispositif musical sensible et réactif, questionnant la frontière entre lutherie numérique et installation interactive. Les gestes, jusqu’aux plus infimes, sont captés et interprétés pour moduler et pétrir la matière sonore, révélant fragment par fragment une pièce électroacoustique à trois voix. Le visiteur est l’interprète, le geste est l’instrument, les sens du toucher et de la vue laissent place à l’écoute et à l’imagination…

Footprints prend des instantanés de nos mouvements et pose des questions sur leurs restes. Est-il possible de rendre nos gestes tangibles? Comment est-il possible de faire un geste? Grâce à la surveillance de leurs mains en mouvement, les visiteurs créent des formes dans l’espace. Ces marques évoluent et se déforment au fil du temps. Les empreintes jouent avec l’espace entre l’espace privé et l’espace public. Il invite les visiteurs à aborder le problème, à y réfléchir, à le transcender.

Métamorphy est une oeuvre interactive, visuelle et sonore. Les spectateurs sont invités a toucher et explorer la profondeur du voile semi-transparent de l’installation. Métamorphy crée une ambiguïté entre un espace physique réel, un espace virtuel matérialisé par le reflet d’un vrai miroir, et un espace virtuel généré par les vidéoprojections d’un dispositif numérique. Dans cette création sensorielle, les reflets réels se confondent avec les images virtuelles, donnent l’illusion d’une réalité déformée.

A l’image d’une partition, les zones d’interaction dévoilent des matières sonores en sommeil sur les différentes zones du tissu. Enfin, lorsque plus personne ne touche le voile, celui-ci se retend et les matières virtuelles disparaissent. Seul le reflet du spectateur reste visible.

Cette installation nommée « R.E.D » entre en interaction avec le spectateur. A chaque fois que le spectateur passe devant l’oeuvre, les différentes pointes des triangles reliés à un fil, ce dressent pour donner l’impression d’un frisson, d’une peau vivante.

En vu de mon mémoire, j'ai pour objectif de développer des compétences dans la programmation, que ce soit pour programmer une kinect, un leap motion ou encore certains capteurs de mouvements, de distance avec arduino. Dans cet objectif, mes recherches de stages ce sont portées sur des agences qui utilisent grandement le design interactif afin d'apporter une narration nouvelle au sein d'espaces culturels et d'évènements.

Afin de pouvoir en fin d'année prochaine réaliser un prototype fonctionnel et intéressant, en lien avec ma thématique autour du geste au travers de l'interactivité (et je l'espère de ma problématique), je vais essayer de toucher un peu à tout, que ce soit le Leap Motion, la Kinect, les capteurs, etc. Afin de pouvoir constater des différents avantages, points forts et points faibles de chaques dispositifs que je mettrais au point.

NB : La liste est non-exhaustive donc modifications à apporter par la suite.

• Leap motion
• Kinect v1/v2
• Capteur de geste Arduino
• Carte Arduino
• Câbles pour branchements
• Makey Makey ?
• Myo ?

• Ordinateur Mac OS

• Processing
• SoundPlant

• Tutoriel prise en main Makey Makey
• Flossmanual Processing

• 4 mois
• Budget : pour l'achat d'un Leap motion (70/80€), peut-être un Myo (≈200€), peut-être Kinect v2 (≈110€)

• À déterminer

• Mélodie Souty
• Damien Muti
• ChevalVert
• ≈ Buzzing Light

• Stockage à la maison
• Si transports : valise

• Bibliothèques pour Leap motion, Kinect et Myo (si achat)