CLAM es un completo framework para hacer investigación y desarrollo sobre audio y música (esto también incluye aplicaciones para usuarios finales). Ofrece un modelo conceptual y herramientas para el análisis, la síntesis y el procesamiento de señales de audio. Tiene una interfaz muy amigable, es Software Libre, multiplataforma y esta escrito en C++ (en muchas de sus aplicaciones utiliza tiempo real).

A pesar de que tuvo su origen en una Universidad de Barcelona, España, la documentación en español sobre este framework es escasa, asi que me decidí a hacer una pequeña introducción sobre las cosas básicas, pero con links (eso si, la mayoria en inglés) para el que quiera ir más allá. Pienso que le puede servir a más de uno para empezar.

Básicamente hay dos perfiles: el de usuario final (de las aplicaciones) y el de desarrolladores que quieran escribir sus propios programas sobre este framework.

En este momento se compone de 4 programas principales:
 
NetworkEditor:
Es una aplicación que permite conectar módulos en forma de red de procesamiento al estilo pd (pero mucho más amigable), MaxMSP o Reaktor (o para los que usan matlab, tipo simulink). Estas redes se ejecutan en tiempo real y se pueden correr con jack, portaudio, LADSPA o VST como backend.
Una de las características más interesantes es que esta red se puede exportar y después correr con una interfaz gráfica diseñada con QTDesigner (ambos programas exportan a un xml que luego se corre con la aplicación Prototyper)

Recomiendo ver esta presentación: “Visual prototyping of audio applications”

Es decir, un usuario que no es programador puede armar complejos plugins o aplicaciones sin escribir una sola línea de código. También es muy útil para armar prototipos de futuras aplicaciones o desarrollos.
En este momento se esta integrando con LADSPA, lv2 y se planea reforzar aún más la posibilidad de usar plugins externos (como un módulo más) dentro del NetworkEditor y vicerversa, usar estas redes como plugins en otras aplicaciones.

Para el que quiera empezar, recomiendo esto:

• NetworkEditor tutorial
• Jugar con las varias redes de ejemplo que están en el directorio ‘example-data’

 
Annotator:
Es un programa para hacer transcripciones, en el estilo de Sonic Visualizer. Muy potente y con características que lo hacen único.

Para conocer más:

• Annotator tutorial
• Annotator: reconocedor de acordes en canciones
• Artículo en linuxjournal
• CLAM Music Annotator, chord analyzer

 
SMSTools:
Un analizador de señales de audio en el estilo de wavesurfer que soporta diferentes tipos de visualización como spectogramas, y todas las derivadas del módelo Sinusoides + Residuo asi como trasnformaciones complejas basadas en este modelo (gender change, pitch-shifting, morph, etc) y muchas otras cosas más (ver tutorial).

 
Voice2MIDI:
Convierte voz en MIDI. Esta comentado en este artículo de linuxjournal.

 
Para desarrolladores, sirve como entorno para realizar sus propias aplicaciones de forma fácil o como herramienta para hacer prototipos de sus futuras implementaciones.

Recomiendo:

• Empezar por la página wiki de desarrollo
• Anotarse en la lista de desarrollo y unirse al canal #clam en freenode
• Leer estos tutoriales “Constructing and playing a simple network“, “Loading and playing a simple network“, “Creating a minimal processing object” (hay varios más)
• El código esta bastante bien documentado, se puede consultar la versión online

Si uno quiere, puede aportar al proyecto mandando ‘patchs’ de código a los desarrolladores principales y hasta convertirse en ‘developer’ luego de haber mandado varios de ellos.

 
En fin, es un proyecto bastante grande y ambicioso. Incluso hay miles de desarrollos más sobre el mismo que no están en el ‘paquete principal’, pero me pareció útil dar un panorama general porque tal vez sea tan abarcativo que maree un poco para el que recién escucha algo de él.

Como ya dije, es multiplataforma y esta disponible para GNU/Linux (con paquetes para varias distribuciones), Windows y Mac (ver más y descargar)

Otro links interesantes:

• Página principal
• Wiki
• Approaching CLAM, where to start
• Artículo en linuxjournal

algorithms , audio , c++ , Castellano , CLAM , effects , free software , GNU/Linux , GPL , GSoC2007 , GUI , libraries , library , midi , music , noise , programming , projects , publications , signal processing , speech , standards

Share This/Compártelo

Es un modelo de análisis/síntesis para procesamiento espectral orientado a aplicaciones musicales y de audio. Se puede ver como una generalización de la STFT (transformada de tiempo corto) y los modelos sinusoidales. Básicamente añade flexibilidad a la STFT manteniendo buena fidelidad de sonido y una representación eficiente.

Este modelo también es conocido como SMS (Spectral Modeling Synthesis) y como HILN en el contexto de MPEG4.

Básicamente esta modelado como la suma de un conjunto de sinusoides (los “sobretonos” estables armónicos o no, las componentes determinísticas del sonido) más el residuo de ruido (modelado como un proceso estocástico) como dos componentes separadas:

donde y son la amplitud y fase instantaneas de la sinusoide respectivamente, y es la componente de ruido en el tiempo .
La fase instantanea de la ecuación es:

El primer paso del análisis detecta los sobretonos presentes en el espectro y los representa con sinusoides que varian con el tiempo . Luego se le resta al sonido original las componentes sinusoidales para obtener el “residuo” (ver el diagrama de bloques).

La señal residual es modelada como un proceso estocástico y se describe como ruido blanco filtrado:

donde es ruido blanco y es la respuesta al impulso de un filtro que varia con el tiempo evaluada en el instante .

El residuo comprende la energía debida a vibraciones no estacionarias y a cualquier otra componente energética de naturaleza no sinusoidal.

Algunas áreas donde este modelo se puede aplicar:

• análisis
• compresión de sonido
• separación de fuentes de sonido
• acústica musical
• percepción musical

Algunos links con más información sobre este modelo:

• Xavier Serra: “Musical Sound Modeling With Sinusoids Plus Noise“.
• Tesis de Xavier Amatriain: “Sinusoidal plus Residual Model“
• Libro DAFX: Chapter 10 - Spectral Processing.
• CLAM SMSTools: Introduction tutorial, more details.

Este tipo de cosas me hace acordar que tengo que postear sobre la tesis de Juan Vuletich: “Nuevas bases para el procesamiento de música en el dominio tiempo-frecuencia” (aca un paper sobre la misma idea) un enfoque diferente para este tipo de cosas (wavelets) que pienso que merece (como mínimo) un post entero lo antes posible.

audio , Castellano , CLAM , GSoC2007 , noise , publications , signal processing , sound , standards

Share This/Compártelo

Is an analysis/synthesis model for spectral processing oriented to audio and music applications. We can see it as a generalization of STFT and sinusoidal models, basically adds more flexibility to STFT while maintaining a good sound fidelity and efficient representation.

This model is also known as SMS (Spectral Modeling Synthesis) and HILN in the context of MPEG4.

Basically is modeled as the sum of a set of sinusoids (only the stable partials of a sound, harmonics or not, deterministic components) plus a noise residual (modeled as stochastic process) as two separate components:

where and are the instantaneous amplitude and phase of the sinusoid respectively, and is the noise component at time .
The instantaneous phase of the equation is:

The first analysis step detects partials present in the spectra and represents them with time-varying sinusoids. Then the sinusoidal component is subtracted from the original sound to obtain the remaining “residual” (see the block diagram).

This residual signal is modeled as stochastic process and is described as filtered white noise:

where is white noise and is the response of a time varying filter to an impulse at time .

The residual comprises the energy produced by not stationary vibrations plus any other energy component that is not sinusoidal in nature.

Some areas where this model could be applied:

• analysis
• sound compression
• sound source separation
• musical acoustics
• music perception

Some links with more info about this model:

• Xavier Serra: “Musical Sound Modeling With Sinusoids Plus Noise“.
• Xavier Amatriain’s Thesis: “Sinusoidal plus Residual Model“
• DAFX book: Chapter 10 - Spectral Processing.
• CLAM SMSTools: Introduction tutorial, more details.

These kind of things remembers me that I have to post about Juan Vuletich thesis: “New bases for music processing in the time-frequency domain” (ATM only in Spanish, here a paper about the same idea) a different approach of those kind of things (wavelets) which I think deserves a (at least) an entire post ASAP.


audio , CLAM , english , GSoC2007 , noise , publications , signal processing , sound , standards

Share This/Compártelo

Hi all! I’m Hernán Ordiales, this is my first post to Planet CLAM but not my first post at all, I’m blogging since last year but mostly in spanish…

what to say about me?
I live in Buenos Aires, Argentina. Among other things, I love programming, audio and music. I’m studying (mainly)Electronics Engineering and Computer Engineering at FIUBA and for luck (and my fun) I’ve a work in a project related with audio, programming and GNU/Linux. I also have interest in communications (networking, protocols, etc) and all kind of digital systems.

I enjoy very much using/developing under Free Software (of course GNU/Linux is my OS of choice) and I also help with the linux audio distribution called Musix GNU+Linux.

After a long time of follow Xavier Amatriain blog, last weeks I’m started to get involved with CLAM and with every step I’m discovering a lot of new wonderful things and designs that it had never seen by me in another audio projects.
I expect to contribute to and/or develop under CLAM ASAP. I think I’ll start blogging about my progress or new things developed with this framework soon (among other things).

For those who still don’t know much about CLAM project, I’d recommend you:

• CLAM web, wiki, general doc and screenshots.
• Xavier Amatriain’s PhD Thesis, this paper about design patterns: “A Data-flow Pattern Catalog for Sound and Music Computing” and many other publications.
• Main developers blogs: Xavier Amatriain, Pau Arumi and David Garcia.

Here, the “magic sentence” to start developing:

svn co http://iua-share.upf.edu/svn/clam/trunk clam 

I also encourage you suscribe to user & dev mailing lists, and log in #clam channel at freenode.net!

See you!

algorithms , audio , c++ , CLAM , effects , english , free software , GPL , GSoC2007 , libraries , midi , music , programming , projects , publications , signal processing , sound

Share This/Compártelo

Algunos ecos de lo que fue LAC2007:

• Fotos oficiales
• Back from LAC2007@TU-Berlin - The Aftermath y fotos
• Más fotos
• GNU/Linux Audio Conference en Berlín (repercusiones en LAU de este artículo)

Parece que todo el “streaming recolectado” va a estar disponible para bajar en esta dir: link.

Por otra parte, estos días (del 27 al 31 de marzo) se esta llevando a cabo en Frankfurt, Alemania, la exposición (creo más grande del mundo) de instrumentos, software y hardware musical y accesorios denominada Musikmesse.

Conclusión: LAC2007 en Berlin, Musikmesse en Frankfurt, parece que todo pasa por Alemania…

algorithms , alsa , audio , c++ , Castellano , codecs , conferences , effects , events , formats , free culture , free software , GNU/Linux , GPL , hardware , instruments , libraries , lutheria , midi , music , open source , programming , publications , python , signal processing , talks

Share This/Compártelo

Vía este post me entero de que hay una nueva publicación científica sobre procesamiento de música, audio y habla llamada EURASIP (”Journal on Audio, Speech, and Music Processing”)

y lo mejor de todo es que es abierta! (los artículos están disponibles online)

Según dice en su web, principalmente se va a dedicar a trabajos originales, pero también va a tener tutoriales y articulos de revisión, tanto de aspectos teóricos como prácticos del procesamiento de señales musicales, de audio y del habla.

algorithms , audio , Castellano , free culture , publications , signal processing

Share This/Compártelo

Del 22 al 25 de marzo de este año se desarrollaran las 5tas jornadas de Linux Audio Conference (LAC) en Berlin, Alemania.

LAC2007 tiene como objetivo reunir a desarrolladores y usuarios de linux y software de audio open source con el objetivo de compartir información y discutir sobre proyectos y música.

Puntos más importantes:

• Charlas públicas y workshops
• Conciertos
• Tutoriales
• Presentación de papers
• Audio en vivo/streaming de video
• Entrada gratuita a todos los eventos (excepto para los conciertos)

(info de prensa del evento aqui)

El programa detallado del evento aca (por días)

Títulos de las charlas y workshops:

• A Tetrahedral Microphone Processor for Ambisonic Recording
  Fons Adriaensen
• Renewed architecture of the sWONDER software for Wave Field Synthesis on large scale systems
  Marije Baalman, Simon Schampijer, Torben Hohn, Thilo Koch, Daniel Plewe, Eddie Mond
• Music Composition through Spectral Modeling Synthesis and Pure Data.
  Edgar Barroso
• A Software-based Mixing Desk for Acousmatic Sound Diffusion
  André Bartetzki
• pnpd, a new audio synthesis engine with a dataflow language
  Tim Blechman
• openSUSE JAD - Tutorials for installation and producing music
  Michael Bohle
• Integrating Documentation, End-User Support, and Developer Resources using *.linuxaudio.org
  Ivica Ico Bukvic, Robin Gareus, Daniel James
• Audio Metering and Linux
  Andres Cabrera
• Qtractor - A Audio/MIDI multi-track sequencer
  Rui Nuno Capela
• Compiling Simulink Models as SuperCollider UnitGenerators
  Martin Carlé, Sönke Hahn
• Python for Sound Manipulation - A versatile creation environment Tutorial
  Renato Fabbri and Fábio Furlanete
• Developing Shared Tools: a Researchers Integration Medium Workshop
  Fábio Furlanete and Renato Fabbri
• Visual prototyping of audio applications (CLAM)
  David Garcia, Pau Arumi, Xavier Amatriain
• Interfacing Pure Data with Faust
  Albert Gräf
• Faust Hands On Demo
  Yann Orlarey and Albert Gräf
• Proposal for an XML format for Time, Positions and Parts of Audio Waveforms
  Jens Gulden and Hanns Holger Rutz
• JJack: Using the JACK Audio Connection Kit with Java
  Jens Gulden
• Model Driven Software Development with SuperCollider and UML
  Jens Gulden
• Offener Schaltkreis, An interactive Sound Installation
  Christoph Haag, Martin Rumori, Franziska Windisch, Ludwig Zeller
• Stereo, Multichannel and Binaural Sound Spatialization in Pure-Data
  Georg Holzmann
• Canorus - a music score editor - Workshop
  Reinhard Katzmann, Matevz Jekovec
• Buzztard Music Production Environment Demo
  Stefan Kost and Thomas Wabner
• The One Laptop Per Child (OLPC) Audio Subsystem
  Jaya Kumar
• Musical Signal Scripting with PySndObj
  Victor Lazzarini
• Stochastic Composition with SuperCollider
  Sergio Luque
• Beyond open source music software: extending open source philosophy to the music with CODES
  Evandro Manara MILETTO, Luciano Vargas FLORES, Daniel Eugenio KUCK, Marcelo Soares PIMENTA and Jerome RUTILY
• pure-dyne
  Aymeric Mansoux, Antonios Galanopoulos and Chun Lee
• Getting Linux to produce Music fast and powerful
  Hartmut Noack
• Firewire Audio on Linux - Demo
  Pieter Palmers
• The Linux MIDI Studio - A workshop with Dave Phillips
  Dave Philips
• From resistors to samples: Developing open hardware instruments using Arduino, Pure Data and Processing - Workshop
  Recursive Dog collective (Dolo Piqueras, Emanuele Mazza and Enrique Tomás)
• Video Editing with the Open Movie Editor
  Richard Spindler
• Developing LADSPA Plugins with Csound
  Rory Walsh and Victor Lazzarini
• Real-Time Multiple-Description Coding of Speech Signals
  Jan Weil, Kai Clüver, and Thomas Sikora
• blue: a music composition environment for Csound
  Steven Yi
• Livecoding with SuperCollider
  Alberto de Campo

Link a las descripciones de cada uno de los papers: abstracts

Update:

• Más info sobre “Qtractor - A Audio/MIDI multi-track sequencer” en el blog de Rui Nuno Capela: posts “Thoughts on Readyness” y “The Road to Berlin“.
• “Audio Metering and Linux“ de Andrés Cabrera es una exposición sobre los diferentes sistemas y estándares de medición de nivel de audio y de volumen. Además, presenta el estado de medición de audio en linux y propone una aplicación en la que esta trabajando que puede hacer diferentes tipos de medición de audio con logging, histogramas, etc. Para los interesados, el paper lo pueden ver aqui y el código aqui.
• Sobre “Visual prototyping of audio applications“ (del proyecto CLAM), más info en “See you in Berlin“.

Update 2:
Hay streaming de audio y video en tiempo real de todas las conferencias y conciertos (luego también estará en diferido)

• El programa
• Info sobre el streaming

acoustics , algorithms , audio , c++ , Castellano , CLAM , codecs , conferences , effects , español , events , free software , GNU/Linux , libraries , midi , music , open source , programming , publications , python , signal processing , talks

Share This/Compártelo

Hace bastante tiempo (antes del comienzo de este blog), formé en wikipedia en español el Wikiproyecto Audio, principalmente debido que en su momento la información sobre audio en esa enciclopedia estaba bastante desorganizada e incompleta (por ejemplo ni siquiera existía audio como categoría). Aunque con altibajos, creo que ese área ya quedó mucho mejor y aumentó bastante la cantidad de artículos, sobre todo gracias a las contribuciones de los usuarios Marb y Jose.zapata (con excelentes artículos sobre acústica). Por otra parte, desde que tengo este blog, lo que hago habitualmente es completar (o crear) artículos en wikipedia a partir de la información que vuelco en mis propios posts. Y por supuesto, también hago lo inverso (me nutro de la información allí alojada para mejorar mis escritos).

Los objetivos de este Wikiproyecto son:

• Completar la información sobre audio de wikipedia en español.
• Discutir la organización de los temas, categorías, subcategorías.
• Contribuir con la Categoría:Audio y artículos referentes al procesamiento digital de sonido.

Actividades

• Recopilar información: encontrar fuentes donde apoyarnos, como la wiki en inglés y otros recursos que podamos usar.
• Aportar con traducciones y material propio.
• Crear plantillas, formatos comunes, etc.
• Crear artículos nuevos.
• Ampliar otros artículos.
• Clasificar los artículos, por ejemplo colocándolos en la subcategoría más adecuada.
• Desarrollar los esbozos sobre el tema localizados en Categoría:Wikipedia:Esbozo audio

Bueno, sigo invitando a quienes quieran sumarse a este wikiproyecto para completar aún más esta excelente enciclopedia libre .

acoustics , audio , Castellano , español , free culture , projects , publications

Share This/Compártelo

Hoy me encontré con un interesante y bastante completo “wikilibro” (libros de contenido libre y abierto que cualquiera puede editar) sobre acústica, llamado: “Acoustics”

En el mismo podemos encontrar los fundamentos básicos de la acústica, psicoacústica y acústica de recintos, asi como también aplicaciones en la música, psicoacústica, industria del transporte, etc.

El libro se encuentra bajo la GNU Free Documentation License.

El índice:

Read the rest of this entry »

acoustics , books , Castellano , español , free culture , instruments , publications

Share This/Compártelo

Este es un libro sobre procesamiento digital de señales de Steven W. Smith (Ph.D.) que esta disponible de forma gratuita en internet para consultar o descargar.

Contiene las las técnicas básicas del DSP como convolución, recursividad y análisis de Fourier y muestra aplicaciones en diversos campos como audio y procesamiento de imágenes, redes neuronales, compresión de datos, etc. También se le dedica bastante espacio al diseño y uso de los filtros digitales.

Lo único malo que le veo es que los ejemplos de los programas están hechos en BASIC y no en C++ o matlab (o algunos de sus clones) que lo hubiese visto mucho más útil.

Link al libro: The Scientist and Engineer’s Guide to Digital Signal Processing

algorithms , audio , books , Castellano , effects , español , programming , publications , signal processing

Share This/Compártelo