Séminaire de Master : Vers des procès verbaux multimédias automatisés

Les recherches en informatique connaissent actuellement un engouement important pour l'enregistrement et l'analyse de réunions, principalement parce que les réunions sont hautement multimodales, ce qui est une caractéristique essentielle afin de concevoir et d'implanter les systèmes de communication à venir. De nombreux projets de recherche se concentrent actuellement sur l'analyse et l'annotation de réunions afin d'améliorer l'indexation et donc la navigation sur des corpus multimédias de réunions.

L'objectif de ce séminaire est de faire un état de l'art complet sur les projets actuels d'enregistrement et d'analyse de réunions, de les comparer, et de définir leurs forces et faiblesses, par exemple en les comparant avec l'approche suivie par l'université de Fribourg (http://diuf.unifr.ch/im2).

Ainsi, il sera demandé à chaque étudiant de choisir un groupe de recherche parmis ceux listés ci-dessous, de lire les articles correspondants, de les synthétiser et finalement de les présenter en fin de séminaire. De plus, un rapport de 4-6 pages devra synthétiser les lectures et présenter les travaux de recherche du groupe choisi.

Les étudiants intéressés doivent s'annoncer au plus vite auprès de Denis Lalanne ou de Rolf Ingold puisque le nombre d'étudiants sera limité à 6-8 personnes (i.e. les premiers inscrits).

Quand?

  • Le vendredi 12 Novembre de 14h à 17h :

    • Présentation du séminaire et survol des différents projets d'analyse de réunions [PPT] ;
    • Présentation du meeting room project de l'université de Cornell et comparaison avec les travaux de l'universite de fribourg sur l'identification d'images de document basse-resolution.[PPT] ;
    • Présentation des travaux de recherche du groupe IM2.DI de Fribourg [PPT] ;
    • Choix des projets par les étudiants de master.

  • Le vendredi 26 Novembre :

    • de 9h30 à 12h30 (Regina Mundi S-0.113, plan d'acces):
      • Pierre Wellner : Présentation des travaux de recherche de l'IDIAP sur l'analyse de réunions [PPT];
      • Jean-Yves LeMeur et David Bourillot : Présentation des travaux de recherche du CERN sur l'enregistrement, l'indexation et la visualisation d'archive de conférence ;
      • Présentation des travaux de recherche de l'ISSCO de l'université de Genève;
      • Andrei Popescu-Belis: "Shallow Dialogue Annotation (SDA) and its use in a Transcript-based Query and Browsing interface (TQB)" [PDF];
      • Agnes Lisowska:"Archivus : A multimodal dialogue-driven interface for accessing the content of recorded meetings" [PPT]
      • Stéphane Marchand-Maillet (VIPER group, university of Geneva): "Multimedia data collection: searching vs browsing".
    • de 14h à 16h (Regina Mundi S-0.113, plan d'acces): IM2 workshop on HCI.

  • Le vendredi 10 decembre au DIUF, de 14h à 16h :

    • Dalila Mekhaldi : Thematic alignment of static documents with recorded speech [PDF];
    • Jean-Luc Bloechle : Multimodal document integration through electonic documents logical structure extraction.

  • Le vendredi 17 decembre 14h, salle de reunion du departement d'Informatique :

    • Professeur Rolf Ingold : Quelques regles et conseils pour bien reussir une presentation ecrite et orale de resultats scientifiques [PPT].

  • Le vendredi 21 janvier de 9h à 14h (Auditoire 0.403 batiment Histologie) : Présentation des étudiants de master.

    • Carnegie Mellon University ISL: SKULTETY Christophe [slideshow PDF] [report PDF] ;
    • eClass: GENASCI Marco [slideshow PDF] [report PDF] [more... latex, xsi sources];
    • Ricoh Innovation: Lawrence Michel [slideshow PPT] [report PDF];
    • FXPal: GENASCI Luca [slideshow PDF] [report PDF];
    • Microsoft Research: Christian Spicher [slideshow PPT] [report PDF].

Liste des groupes de recherche à étudier :

CMU: Interactive Systems Laboratories Project

http://penance.is.cs.cmu.edu/meeting_room/ http://www.is.cs.cmu.edu/js/

Bett, M., Gross, R., Yu, H., Zhu, X., Pan, Y., Yang, J., Waibel, A.: Multimodal meeting tracker. Conference on Content-Based Multimedia Information Access (RIAO-2000), Paris, France (2000). [PDF]

Klaus Zechner, Automatic Generation of Concise Summaries of Spoken Dialogues in Unrestricted Domains. Proceedings of the 24th ACM-SIGIR International Conference on Research and Development in Information Retrieval, New Orleans, LA, September 2001 [PS]

Smith, M.A., Kanade, T.: Video skimming and characterization through the combination of image and language understanding techniques. In International Workshop on Content-Based Access of Image and Video Databases (CAIVD 98), Bombay, India (1998) pp. 61-70. [PDF]

Harmony & DSTC

http://www.metadata.net/harmony/

S.Little, J.Geurts, J.Hunter, "Dynamic Generation of Intelligent Multimedia Presentations through Semantic Inferencing", ECDL 2002, Rome, September 2002 [HTML]

Hunter, J., Little, S.: Building and indexing a distributed multimedia presentation archive using SMIL. In Proceedings of the 5th European Conference on Research and Advanced Technology for Digital Libraries (2001), pp. 415-428. [HTML]

More on: http://archive.dstc.edu.au/RDU/staff/jane-hunter.html

FX Pal

http://www.fxpal.com

Chiu, P., Kapuskar, A., Reitmeier, S., Wilcox, L.: Room with a rear view: Meeting capture in a multimedia conference room. In IEEE Multimedia, Volume 7 Issue 4. (2000) pp. 48-54. [PDF]

Uchihashi, S., Foote, J., Girgensohn, A., Boreczky, J.: Video manga: generating semantically meaningful video summaries. In Proceedings of the seventh ACM International Conference on Multimedia, Orlando, Florida, United States (1999), pp. 383-392. [PDF]

MiniMedia Surfer: Browsing Video Segments on Small Displays Maryam Kamvar, Patrick Chiu, Lynn Wilcox, Sandeep Casi, and Surapong Lertsithichai, CHI 2004 short paper, April 27, 2004. [PDF]

Hyper-Hitchcock: Authoring Interactive Videos and Generating Interactive Summaries Andreas Girgensohn, Frank Shipman, and Lynn Wilcox, Proc. ACM Multimedia 2003. pp. 92-93, November 2, 2003. [PDF]

Generation of Interactive Multi-Level Video Summaries Frank Shipman, Andreas Girgensohn, and Lynn Wilcox Proc. ACM Multimedia 2003. pp. 392-401, November 2, 2003. [PDF]

Georgia Tech - ClassRoom 2000 - eClass

http://www.cc.gatech.edu/fce/eclass/index.html

Brotherton, J.A., Bhalodia, J.R., Abowd, G.D.: Automated capture, integration, and visualization of multiple media streams. In Proceedings of the IEEE International Conference on Multimedia Computing and Systems. (1998), pp. 54. [HTML]

Gregory D. Abowd, Lonnie D. Harvel and Jason A. Brotherton "Building a Digital Library of Captured Educational Experiences", Invited paper for the 2000 International Conference on Digital LIbraries, Kyoto, Japan, November 13-16, 2000. [PDF]

ICSI Berkeley

http://www.icsi.berkeley.edu/Speech/mr/index.html

A. Janin, J. Ang, S. Bhagat, R. Dhillon, J. Edwards, J. Macias-Guarasa, N. Morgan, B. Peskin, E. Shriberg, A. Stolcke, C. Wooters, B. Wrede, "The ICSI Meeting Project: Resources and Research", NIST ICASSP 2004 Meeting Recognition Workshop, Montreal, May 2004. [PDF]

B. Wrede and E. Shriberg, "The Relationship between Dialogue Acts and Hot Spots in Meetings", Proc. IEEE ASRU Workshop, St. Thomas, US VI, December 2003. [PDF]

B. Wrede and E. Shriberg, "Spotting "Hot Spots" in Meetings: Human Judgements and Prosodic Cues", EUROSPEECH 2003, Geneva, September 2003. [PDF]

Microsoft Research

http://research.microsoft.com/~rcutler/DM/dm.htm,

http://research.microsoft.com/users/zhang/WhiteboardArchiving/,

and many other interesting papers on: http://research.microsoft.com/~lhe/

Cutler, R., Rui, Y., Gupta, A., Cadiz, J., Tashev, I., He, L.w., Colburn, A., Zhang, Z., Liu, Z., Silverberg, S.: Distributed meetings: a meeting capture and broadcasting system. In Proceedings of the tenth ACM international conference on Multimedia., France. (2002), pp. 503-512. [PDF]

L. He, Z. Liu, and Z. Zhang, "Why Take Notes? Use the Whiteboard System," in Proc. International Conference on Acoustics, Speech, and Signal Processing (ICASSP'03), Vol. V, pp.776--779, Hong Kong, April 2003. [PDF]

Liwei He, Elizabeth Sanocki, Anoop Gupta, Jonathan Grudin, Comparing Presentation Summaries: Slides vs. Reading vs. Listening. Proceedings of ACM CHI 2000. [PDF]

Le NIST

http://www.nist.gov/speech/test_beds/mr_proj/index.html

http://nist.gov/speech/tests/rt/rt2004/spring/

Ricoh Innovation

http://rii.ricoh.com/

Dar-Shyang Lee, Berna Erol, Jamey Graham, Jonathan J. Hull and Norihiko Murata*, Portable Meeting Recorder, ACM Multimedia 2002, pp. 493-502. [PDF]

Klemmer, S.R., Graham, J., Wolff, G.J., Landay, J.A.: Books with voices: paper transcripts as a physical interface to oral histories. CHI 2003, In Proceedings of the conference on Human factors in computing systems (2003) pp. 89-96. [PDF]

Jamey Graham and Jonathan J. Hull A Paper-based Interface for Video Browsing and Retrieval, 2003 IEEE International Conference on Multimedia and Expo (ICME), Baltimore, July 6-9, 2003. [PDF]

Les autres ( présentés durant le séminaire )

Cornell University

Mukhopadhyay, S., Smith, B.: Passive capture and structuring of lectures. In Proceedings of the seventh ACM international conference on Multimedia, Orlando, Florida, USA (1999), pp. 477-487. [PDF]

Fribourg

IM2.DI

  • Denis Lalanne, Rolf Ingold, Didier von Rotz, Ardhendu Behera, Dalila Mekhaldi, Andrei Popescu-Belis (in press) - "Using static documents as structured and thematic interfaces to multimedia meeting archives". In Bourlard H. & Bengio S., eds. (2004), Multimodal Interaction and Related Machine Learning Algorithms, LNCS, Springer-Verlag, Berlin, 8 p. [PDF]

ISSCO

http://www.issco.unige.ch/

IDIAP

www.idiap.ch

P. Wellner, M. Flynn & M. Guillemot, "Browsing Recordings of Multy-party Interactions in Ambient Intelligent Environments," in the workshop on "Lost in Ambient Intelligence" of the ACM CHI 04, International Conference on Human Factors in Computing Systems, Vienna, Austria. [PDF]

VIPER (University of Geneva)

http://viper.unige.ch/

Vincenzo Pallotta and Afzal Ballim and Stephane Marchand-Maillet and Agnes Lisowska, "Towards Meeting Information Sytems: Meeting Knowledge Management", in International Conference on Enterprise Information Sytems (ICEIS 04), Porto, Portugal, 2004 [PDF].