INTERACTION ENTRE MODALITÉS SÉMIOTIQUES : DE L'ICÔNE À LA LANGUE

Pascal VAILLANT

(Résumé de thèse)

SOMMAIRE :
1. Situation du sujet
2. Programme de recherche
2.1. Théorie sémiotique 
2.2 Application informatique
3. Idées développées dans la thèse
4. Application
5. Conclusion et perspectives 

Cette thèse explore quelques questions concernant la sémantique des icônes et son rapport avec la sémantique des langues naturelles.
Elle débouche sur une partie applicative : la réalisation d'un programme d'ordinateur « traduisant » des séquences d'icônes agrammaticales en phrases françaises, par des mécanismes d'analyse fondés sur une interprétation purement sémantique des messages.
Vous trouverez sur ce site un résumé général de la thèse (ci-dessus), ainsi que le texte du chapitre de présentation du système de traduction, PVI (Prothèse Vocale Intelligente ).

1. Situation du sujet

La présente thèse se situe dans le champ interdisciplinaire des sciences cognitives, et a pour but d'explorer les questions de l'émergence, de la circulation et de la traduction de sens entre systèmes de signes de nature différente, en particulier en ce qui concerne les rapports entre le signe iconique et le signe linguistique.

Le système cognitif humain manipule des signes et des représentations dans plusieurs modalités différentes, dont les plus illustrées sont l'image et le langage. Et malgré l'hypothèse axiomatique d'homogénéité des représentations mentales, formulé par des écoles théoriques comme le cognitivisme classique - pour qui toute opération cognitive manipule des symboles dans un format propositionnel -, on commence aujourd'hui à comprendre de mieux en mieux les fonctionnements sémiotiques spécifiques des modalités linguistiques ou non-linguistiques, et on cherche à mettre ceux-ci à profit pour améliorer tant la communication humaine que la communication homme-machine.

Or les expériences récentes, dans le domaine de la communication multimodale, restent avant tout des pratiques particulières et ne s'accompagnent pas d'une réflexion d'ensemble sur la question de la nature du sens dans les sémiotiques multi- ou inter-modales. Elles se situent souvent dans des contextes où une modalité est en position d'appoint par rapport à une autre, et n'ont pas rencontré la nécessité d'une description sémiotique capable de rendre compte des réelles différences et des points de rencontre entre modalités distinctes.

Notre travail a pour ambition de débroussailler quelques questions fondamentales de ce domaine d'étude pour permettre ensuite d'étudier rationnellement des systèmes sémiotiques iconiques aussi bien que linguistiques et de les mettre en rapport. Il débouche sur une application de traduction de séquences de pictogrammes en phrases françaises, qui met en oeuvre une approche novatrice dans le contexte applicatif des aides à la communication pour handicapés du langage.

2.1. Théorie sémiotique

Le problème posé à l'origine de ce travail de thèse, celui de la traduction de messages formulés dans un langage de pictogrammes en phrases en langue naturelle, nous a amené à revenir à la question de la nature spécifique fondamentale du signe iconique. C'est une étude bibliographique d'auteurs ayant abordé cette question du point de vue de la sémiotique (Peirce [1978], Eco [1968; 1975], Groupe µ [1992]) qui a amorcé nos réflexions sur le sujet de la nature de l'icône.

Les études, parfois difficiles, des mécanismes d'interprétation des images et leur inévitable comparaison avec le fonctionnement du langage révèlent vite le manque d'outils conceptuels applicables à des systèmes sémiotiques hétérogènes. La suite de nos efforts a donc porté sur la définition d'une grille d'analyse des différents systèmes de signes, qui puisse dépasser le cadre trop spécifique des concepts linguistiques - dont le placage strict sur d'autres modalités a conduit parfois à des impasses théoriques - tout en évitant l'illusion d'un modèle descriptif général.

Nous avons en effet acquis la conviction que beaucoup de systèmes sémiotiques non-linguistiques peuvent en vérité être décrits avec les outils méthodologiques d'une théorie sémiotique issue de la linguistique (comme la glossématique de Hjelmslev [1968]), à la condition que l'on les analyse chacun dans son genre spécifique, en tenant compte des conditions de production et de lecture, et en définissant toujours en premier lieu, de façon particulière, leur système sémiologique. Nous avons tenté d'étayer cette conviction par des études de cas.

Toujours en nous appuyant sur quelques études de cas, nous avons cherché à mettre à jour une description sémiologique des mécanismes d'interprétation des systèmes de signes multimodaux, que nous proposons de considérer comme des cas particuliers de systèmes de signes « composés », dont les éléments de base sont eux-même analysables dans des systèmes de signes plus simples.

2.2. Application informatique

Parallèlement au travail descriptif mené sur le terrain de la sémiotique, un projet d'application informatique linguistique a été conduit et développé au sein du groupe informatique du Laboratoire Central de Recherches de la société Thomson-CSF, dans le cadre d'un stage de thèse. L'objet du projet était la réalisation d'une prothèse vocale logicielle, implantable sur micro-ordinateur, et permettant aux handicapés du langage de communiquer avec leur entourage en désignant sur l'écran des pictogrammes, que le système logiciel doit ensuite traduire en phrases en français standard.

La conduite du projet a rendu nécessaire d'analyser les productions spontanées de séquences d'icônes des utilisateurs handicapés (des enfants infirmes moteurs cérébraux), afin de comprendre quels mécanismes sémiotiques y fonctionnaient différemment de chez les locuteurs normaux des langues naturelles, et d'y proposer des solutions adaptées. Ce travail nous a amené à nous documenter sur les aspects fonctionnels des handicaps cognitifs, afin de mieux en comprendre les implications.

Nous avons par la suite conçu et implanté un système de traduction fondé sur l'analyse sémantique et sur la génération de texte par substitution et adjonction d'arbres lexicalisés.

Une évaluation du système a été menée au cours du dernier semestre du projet, dans un centre de rééducation fonctionnelle du handicap ayant participé au projet.

Le programme de recherche sémiotique exposé plus haut nous a amené à formuler les idées que nous exposons ci-dessous.

 

1. La nature du signe iconique, qui le rend si particulièrement intéressant pour une communication plus « spontanée » ou plus « universelle », se définit traditionnellement (Peirce [1978], Morris [1946]) comme une « ressemblance » avec l'objet auquel il réfère. Une analyse un peu plus approfondie révèle cependant assez vite que cette conception est trop simpliste pour une caractérisation sémiotique de l'icône ; outre qu'elle ne rend pas compte des conventions culturelles en oeuvre dans les représentations graphiques canoniques des objets, elle conduit à une confusion généralisée entre signes et référents - confusion qui imprègne d'ailleurs toute la sémiotique peircéenne.

   La sémiotique structurale (représentée par exemple par Greimas & Courtés [1979]), en constatant la nature malgré tout conventionnelle des signes iconiques, se voit donc tentée d'éluder une bonne fois pour toute la question de sa sémiose, pour ramener l'iconicité sur le terrain des seuls signifiés - rendant ainsi l'image formellement équivalente à la langue.

   D'autres auteurs, cherchant néanmoins à rendre compte de l'évidence, ont essayé de justifier la spécificité du signe iconique en la fondant sur des transformations géométriques entre le référent et le signifiant. Le Groupe µ [1992] a pu ainsi proposer de considérer le signe iconique comme un cas particulier du signe en tant que relation triadique Signifiant-Concept-Objet, où la relation Signifiant-Objet serait immédiate.

   Cette conception ne permet pas de comprendre comment un signe peut être encore ressenti comme iconique après une chaîne de transformations parfois très longue, alors qu'il peut cesser brusquement de l'être lorsque l'on change de lieu ou d'époque. Eco [1975] , en ancrant les transformations entre objet et signifiant aux périodes d'institution de code, et en caractérisant celles-ci par l'inexistence d'un type duquel l'occurrence pourrait être copiée, introduit la dimension diachronique indispensable pour comprendre l'iconicité comme un phénomène culturel.

    

2. La description sémiotique des systèmes de signes iconiques, en particulier celle de leur fonctionnement interne, requiert l'utilisation d'une méthode et d'un vocabulaire d'analyse clair et non-ambigü ; or elle a souvent été réalisée avec les outils conceptuels de la linguistique (ce qui n'est pas mauvais en soi), mais sans claire conscience des possibilités de généralisation de ces outils conceptuels (ce qui conduit à des confusions).

   Ce phénomène s'est produit en particulier en ce qui concerne le concept de figure , qui en langue - du fait même de la structure sémiologique doublement articulée des langues - a le double sens de segment minimal du texte  et de segment dépourvu de signification . Or dans certains systèmes sémiotiques, ces notions ne se recouvrent pas.

   Nous proposons de reprendre pas à pas la méthode d'analyse systémique des textes de Hjelmslev [1968], en l'appliquant à d'autres sémiotiques que la langue, pour en dégager les concepts d'analyse communs à toutes les sémiotiques. Cet effort de généralisation exige avant tout une séparation de la question de la décomposition en composants signifiants élémentaires, et de la question des éléments fonctionnels de double articulation - questions qui sont amalgamées dans le cas de la langue, ce qui a rendu difficile leur perception distincte.

   Les derniers éléments de l'analyse auxquels arrive Hjelmslev [1968] sont les composants combinatoires atomiques des figures, qu'il appelle glossèmes. Ceux-ci se distinguent des figures, du point de vue de l'analyse de la chaîne de l'expression, en ce qu'ils apparaissent de façon syncrétique dans cette chaîne, relativement à la dimension d'extension du texte. Constatant que ces derniers éléments, dans certains systèmes sémiotiques articulés de manière différente que la langue, peuvent avoir une importance fonctionnelle beaucoup plus grande que dans celle-ci, nous proposons de leur conférer un statut à part et de les identifier comme caractères .

   La question des paliers d'articulation du sens doit par la suite, dans les études particulières se servant de cette grille d'analyse, être traitée indépendamment de la question de la séparation entre figures et caractères, qui concerne le seul signifiant.

   À la lumière de ces définitions, nous proposons de voir les systèmes sémiotiques multimodaux comme des systèmes complexes, dont les caractères, au palier d'analyse du texte dans son ensemble, sont eux-mêmes des textes au regard d'autres modalités sémiotiques plus élémentaires, subordonnées à celle du texte.

    

3. Ces notions étant clarifiées, nous avons tenté de reprendre la question de l'émergence du sens des signes iconiques, ou plus précisément des textes iconiques, question souvent mentionnée dans certains manuels comme la question de la grammaire de l'image .

   La décomposition de l'image en composants plus élémentaires a souvent été problématique, car s'il est relativement aisé, à certains niveaux d'analyse, d'y discerner des composants signifiants, il est en revanche généralement difficile d'y identifier des composants élémentaires (figures) et d'y transposer le concept de double articulation.

   Nous soutenons cependant que les images peuvent être analysée comme des langages (ce qui implique d'y distinguer une double articulation), à la condition (a) de ne pas vouloir le faire dans le domaine du général, mais de se tenir à des systèmes sémiotiques iconiques bien identifiés et bien délimités, et (b) de bien comprendre la complexité de disposition des éléments de l'image comme une diversité de relations topologiques découlant naturellement de sa bidimensionnalité, par opposition à l'unidimensionnalité de la langue.

   Cela étant, le principe fondamental de la « grammaire » de l'image reste à notre avis le même que celui de la grammaire de la langue : la projection de relations entre unités signifiées sur un plan syntagmatique de l'expression, déterminée par des règles d'écriture et de lecture. L'image est bien entendu infiniment mieux outillée que la langue, à cet égard, pour transposer des relations spatiales.

   L'image peut alors être vue comme un langage dont l'identification des unités est largement régie par des parcours interprétatifs (dont Rastier [1987] a montré également l'importance en langue), selon un canon herméneutique qui lui est propre. Nous proposons d'identifier les unités d'émergence du sens, ou les lieux où sont collectés les premiers indices interprétatifs, avec les formes de la Gestalttheorie . Le modèle de Palmer, repris par le Groupe µ [1992], rend compte de ce processus de sémiogenèse.

    

4. Dans les textes des systèmes de signes multimodaux, on met facilement en évidence l'interaction sémantique entre les différentes composantes modales, qui peut se décrire en première approche par le rôle d'interprétant joué par une modalité pour l'interprétation d'une autre.

   Après avoir rappelé que la multimodalité est déjà un fait au niveau des représentations mentales, un fait mis en évidence par la psychologie cognitive et ses recherches sur l'imagerie, nous cherchons à donner des exemples d'afférences de sens entre sous-modalités différentes de textes multimodaux. Ces exemples illustrent à notre avis le fait que dans tout texte multimodal, les modalités se partagent le contenu.

   Généralisée à l'intertextualité, la possibilité d'afférence intermodale explique que tout texte, qu'il soit linguistique ou iconique, a un vaste réseau culturel d'interprétants de différentes modalités.

4. Application

La partie pratique de ce travail de thèse comporte deux applications distinctes.

 

1. Une application descriptive, qui consiste en une description de trois langages d'icônes avec les outils développés dans la partie théorique. Ces trois langages ont une importance particulière, les deux premiers car ils constituent les formes normalisées des jeux de pictogrammes de communication les plus répandus dans le monde moderne (les pictogrammes généraux de signalisation, et les pictogrammes d'instructions figurant sur les machines), et le troisième (Blisssymbolics) car il est un exemple typique, et de portée internationale, de langage de pictogrammes utilisé pour la communication des handicapés du langage - sujet qui nous préoccupe dans cette thèse.

    

2. Une application informatique linguistique, qui consiste en un système logiciel, implanté dans le langage informatique Prolog, d'analyse de séquence d'icônes et de génération de phrases en langue naturelle. Ce système logiciel a été developpé pour la société Thomson-CSF dans le cadre d'un programme d'aide technologique aux handicapés.

   Les besoins particuliers des utilisateurs Infirmes Moteurs Cérébraux, identifiés dans une étude sémiologique et une analyse de corpus, rendent impossible l'application des méthodes habituelles du Traitement Automatique de la Langue Naturelle (TALN), à savoir l'analyse syntaxique. L'un des symptômes majeurs des productions sémiotiques de ces sujets est en effet l'agrammatisme (le type de dysphasie induit par l'infirmité motrice cérébrale est cousin de l'aphasie de Broca). Ce symptôme étant en outre d'origine lésionnelle, les possibilités de rééducation sont limitées.

   Nous avons donc développé un module d'analyse exclusivement sémantique, qui fonctionne en reconstruisant les relations sémantiques entre unités signifiées, sur la base d'informations stockées dans une base de données « lexicale » (iconique), et ceci grâce à un algorithme de calcul de plausibilité des interprétations.

   La génération en français est réalisée par hiérarchisation du réseau sémantique obtenu, et création d'un arbre (ou d'un groupe d'arbres) syntaxique correspondant, grâce aux opérations du formalisme des Grammaires d'Arbres Adjoints (en anglais, Tree Adjoining Grammars ou TAG) lexicalisées.

Les idées sémiotiques développées dans la première partie de notre mémoire constituent une approche théorique à visées descriptives qui fait la synthèse de différents résultats de travaux classiques de la sémiologie de l'image. Nous pensons en particulier avoir donné une vue d'ensemble cohérente, à des fins didactiques par exemple, du fonctionnement de l'image en tant que texte à interpréter. Pour ce qui est des outils descriptifs proposés pour l'analyse sémiologique de systèmes sémiotiques différents ou hétérogènes, nous les avons illustrés dans la partie descriptive de textes multimodaux et de langages de pictogrammes.

Nous tentons de montrer, en conclusion, que la question de la sémiotique intermodale se comprend dans l'hypothèse d'un matériau sémiotique virtuel (dont l'existence n'est pas « mentale », mais purement différentielle, dans un cadre systémique) commun - et d'un mécanisme sémiotique de base commun, l'afférence -, aux différentes modalités. Cette hypothèse peut rendre compte de la traductibilité  (théorique) des modalités les unes dans les autres. Il est alors possible d'analyser les phénomènes d'interaction entre modalités sémiotiques sur la base d'une grille descriptive comme celle que nous proposons, et de définir des modèles de mécanismes de traduction quand le système de signes s'apparente, au niveau de la variété des relations signifiées exprimables, à la langue (ce qui est le cas des langages de pictogrammes pour handicapés décrits ici).

Les essais sur site du logiciel développé, organisés grâce au partenariat entre Thomson-CSF et le centre de rééducation de Kerpape (Morbihan), ont montré en outre l'intérêt et la faisabilité des principes mis en oeuvre dans la partie applicative de cette thèse ; mais elles en ont également montré les failles, liées à l'organisation du lexique, gérée ici seulement à la taille d'une « maquette ». Les développements futurs de ces principes dans le champ du TALN (qui pourraient avoir d'autres applications que l'aide aux handicapés) requerraient un effort particulier sur la cohérence et la fiabilité du lexique.

Thèse « Interaction entre modalités sémiotiques : de l'icône à la langue », Université Paris-XI (Orsay), 1997. Effectuée sous la direction de François Rastier) .

[Continuer]

Vous pouvez adresser vos commentaires et suggestions à : pascal.vaillant@laposte.net