View
16.565
Download
13
Category
Preview:
Citation preview
Discurso verbal y no verbal
La teoría de la multimodalidad
Diferentes medios para significar…
Vivimos en un mundo no sólo de palabras, sino de sonidos, colores, gestos, olores.
De nuestro mundo construimos significados…ésta es nuestra actividad más propiamente humana.
Y comunicamos nuestros significados en mensajes hechos no sólo de palabras, sino de sonidos, colores, gestos, olores.
El lenguaje
El lenguaje es nuestro instrumento o recurso más sofisticado y poderoso para comunicar significados, pero no es el único.
Como habla, como emisión sonora en el tiempo, las palabras tienen ritmo, entonación, intensidad, factores que sirven para expresar emociones (ira, sufrimiento, alegría) y modalidad (decisión, incertidumbre, etc.) El habla en este sentido es hermana de la música (los instrumentos musicales originales son y se llaman “voces”) y origen de la poesía.
La escritura
Con la invención de la escritura, el lenguaje se traslada a un medio visual, al espacio de la vista. Adquiere una nueva permanencia difundiéndose a través de objetos: piedras, tablas, pieles y pergaminos, libros…
Y estos nuevos medios transforman profundamente los tipos de mensaje que se pueden propagar, las formas de entenderlos (“leerlos”), y los públicos que los pueden recibir.
La escritura
Los códigos
La ciencia lingüística define el lenguaje como sistema, y la semiótica (semiología) lo define como código (sistema estructurado de formas para significar).
La primera semiótica define cada medio de significación (lenguaje, representación pictórica, música, etc.) en términos de su propio código independiente (Saussure, Barthes, Metz, etc.)
Los recursos del mensaje
Pero la semiótica del siglo XXI ha comenzado a redefinir estos diferentes “códigos” de comunicación como recursos del mensaje.
El mensaje es el sitio donde los códigos se encuentran. Cada emisor, al comunicar su mensaje, emplea una serie de diferentes medios para significar, y cada medio tiene su propio potencial de significado.
Es en la intersección de estos potenciales que se elabora la significación del mensaje.
La multimodalidad
Cuando un medio de expresión y transmisión (la voz, un instrumento musical, tinta y papel, colores en un lienzo, arcilla o piedra en una escultura, etc.) se emplea consciente e intencionalmente para expresar significados, se puede llamar modo.
Cada mensaje emplea una conjunción de modos. Ésta es la base de la teoría multimodal.
Comunicación multimodal
Multimodalidad es un término empleado desde hace tiempo en la ciencias médicas y de la información, como también la ingeniería, para referirse a diferentes modos de visualizar la misma información…
¿Qué es multimodalidad?
Por ejemplo, en el Departamento de Neurocirugía de la Universidad McGill en Montreal, emplean una “varilla de visualización” para diferentes modos de “ver” el interior del cerebro del paciente.
La “varilla” en acción…
Teoría multimodal
Pero en estos campos, la multimodalidad es una herramienta, no una teoría.
La teoría semiótica multimodal nace en la última década del siglo XX en varias corrientes en Europa esencialmente, y ahora se ha extendido a través del mundo…
Algunos nombres…
En Suecia, Noruega, Alemania…Bunt, Beun, Granström, Allwood
En la Gran Bretaña…Kress, van Leeuwen, Jewitt
En Estados Unidos…Goodwin, Lemke, Norris, Scollon
En Italia, Suiza, Francia…Baldry, Thibault, Mondada, Fillietaz
En Hong Kong y Singapur…Jones, O’Halloran etc., etc.
Algunos trabajos pionerosG. Kress & T. van Leeuwen (1996),
Reading images. Londres: Routledge
G. Kress & T. van Leeuwen, (1998), Front pages: (The critical) analysis of newspaper layout. En: Allan Bell & Peter Garrett (eds.), Approaches to media discourse. Oxford: Blackwell.
G. Kress & T. van Leeuwen (2001), Multimodal discourse. Londres: Arnold
P. Thibault (2000), “The multimodal transcription of a television advertisement” en: Anthony Baldry (ed.) Multimodality and multimediality in the distance learning age. Campobasso: Palladino Editore
R. Iedema (2001), “Analyzing film and television” en T. van Leeuwen & C. Jewitt (eds.) Handbook of visual analysis. Londres: Sage
H. Bunt & R.J. Beun (eds.) (2001), Cooperative multimodal communication. Berlin: Springer
Y algunos títulos más recientes…
G. Kress et al. (2001) Multimodal teaching and learning. The rhetorics of the science classroom. Londres: Continuum.
G. Kress & T. van Leeuwen (2002) Colour as a semiotic mode: notes for a grammar of colour, Visual communication 1(3):343‑368
J. L. Lemke (2002) Travels in hypermodality, Visual communication 1(3):299‑325
Carey Jewitt (ed.) (2003) Multimodal Literacy. N.York: Peter Lang.
G. Kress (2003) Literacy in the new media age. Londres: Routledge
P. Levine & R. Scollon (eds.) (2004). Discourse and technology: Multimodal discourse analysis. Washington: Georgetown University Press.
S. Norris (2004) Analyzing multimodal interaction: a methodological framework. Londres: Routledge.
T. Van Leeuwen (2005) Introducing social semiotics. Londres: Routledge.
Teoría multimodal: un punto de partida
“All texts are multimodal” (Kress & van Leeuwen, 1998)
“All genres are multimodal” (Lemke 2003)
“From our data we can demonstrate that attention to one mode alone fails to capture the meaning of a communicative event; not just that it fails to capture all the meaning, but that it fails to capture thethe meaning.” (Kress 2001, Multimodal teaching and learning: the rhetorics of the science classroom)
En 1998 Kress y van Leeuwen publican su primer estudio realmente multimodal analizando las primeras planas de periódicos.
Comprenden que el lector del periódico no lee un simple texto verbal secuencialmente, sino que sus ojos recorren un espacio visual siguiendo un orden determinado por la prominencia visual y los vectores que conducen la mirada.
Caminos de lectura (1998)
Caminos de lectura: “reading paths”
“In densely printed pages of text, we suggest that reading is linear and strictly coded…”
“Newspaper front pages are read differently, and can be read more than one way… They are scanned before they are read…”
“In scanning the page, the reader will follow a certain reading path… Such reading paths begin with the most salient element, from there move on to the next most salient element, and so on.” Kress & van Leeuwen
“Front pages: analysis of newspaper layout” (1998:205)
Kress y van Leeuwen aplican los conceptos de análisis del espacio visual presentados en su libro de 1996, Reading images.
Investigan cómo ciertos objetos tienden a destacarse por su relativa prominenciaprominencia (salience).
La prominencia de un objeto se indica mediante su tamaño, su colocación, su color, o su brillo, con respecto a otros objetos…
La composición del espacio visual
Soldado más grande que civiles; posicionamiento a la izquierda = lugar “temático”, de mayor prominencia.
Prominencia por tamaño y posición
El helicóptero ocupa el centro del campo visual y se ve enorme al lado de la gente.
Prominencia por color y brillo (luminosidad)
Se aprecia fácilmente quién es el personaje principal de esta telenovela.
También analizan cómo determinados objetos o espacios se enmarcanenmarcan y se separan de otros (“framing”).
La composición del espacio visual
Imágenes enmarcadasImágenes enmarcadas Imágenes menos enmarcadasImágenes menos enmarcadas
Y por último, sostienen que diferentes partes del espacio visual tienen distinto valor valor informativoinformativo (“information value”).
Aplican el siguiente cuadro analítico para describir la composición del espacio visual…
La composición del espacio visual
Centro
MargenMargenIdealIdealDadoDado
MargenMargenRRealealDadoDado
MargenMargenIdealIdeal
NuevoNuevo
MargenMargenRRealeal
NuevNuevoo
Lo ideal = “la esencia idealizada o generalizada de la información”
Lo dado: foto de John Major
Ideal nuevo prominente: título
Real nuevo: Cuerpo del texto
Ilustramos estos conceptos con los ejemplos que ellos dan…
Hay dos polaridades aquí: izquierda- derecha y arriba-abajo
En esta foto, no hay polaridad izquierda-derecha ni arriba-abajo, sino entre el centro y los márgenesCentro: foto de dos hombres jugando al Monopolio
Margenes: artículos comerciales
Cuando se suman los dos modelos, tenemos lo que Kress & van Leeuwen llaman el tríptico
En esta foto sobre la nueva arquitectura en Londres para el milenio, vemos lo viejo a la izquierda (el Palacio de cristal de la época victoriana). A la derecha se ve el estilo actual, y los dos quedan unidos por los planes de arquitecto en el centro.
El modelo tradicional del tríptico viene del arte cristiano desde la Edad Media, en el que una figura central (generalmente Cristo o la Virgen María) sirve como punto de unión de otras escenas narrativas (las vidas de santos, como en este caso por ejemplo).
Pero es un modelo que sigue muy vivo en la actualidad…
Bellini, Santa María dei Frari, Venecia
El esquema del tríptico se emplea mucho en los periódicos electrónicos… la noticia se concentra en el espacio luminoso del centro.
Los vectoresLo que dinamiza el espacio visual son los vectores o
líneas de energía o contacto que lo atraviesan.
Son de dos tipos:
1. la línea de la mirada del espectador, la línea o camino de “lectura”
2. las líneas de fuerza representadas en el espacio (miradas, acciones, movimiento de figuras representadas o de fuerzas naturales, etc.)
Gracias a los vectores, los espacios visuales adquieren valor narrativo, representan o se leen como historias.
Sandro Botticelli, gran maestro del arte narrativo, emplea potentes vectores en su representación del nacimiento de Venus…
En las telenovelas, el vector de la mirada sirve para crear tensión narrativa
La calle de las novias
(TVAzteca)
Dos vectores de la mirada
Ideal
Real
Dado Nuevo
Vectores de la miradaNaturalmente, un personaje puede mirarnos a nosotros desde el espacio representado, en una mirada de “oferta” o invitación…
¿Cómo hacer un análisis multimodal? Un ejemplo de la publicidad.
Primero, enumerar los diferentes modos utilizados y decidir cuál se privilegia por el género en cuestión. En la publicidad, el lenguaje escrito generalmente constituye la base de la organización del mensaje, aun cuando explote elementos pictóricos, y el modo pictórico tenga mayor prominencia.
tema rema
real dado real nuevo
ideal dado ideal nuevo
Ejemplo: Comercial de Pantene
Final de la primera parte
Recommended