KPK 322, Puheen analyysi, syksy 2008

"Kielellisten ja ei-kielellisten piirteiden toteutuminen foneettisina (artikulatorisina, akustisina ja auditiivisina) muuttujina ja kyky tutkia niitä."

Suoritustapa: Kurssi (80 työtuntia) suoritetaan

  • perehtymällä puheen analyysin käsitteisiin ja menetelmiin
  • palauttamalla näihin perustuva kurssityön raportti.

Kurssiraportti

Kurssiraportin (10-20 sivua) rakenne on kolmiosainen:

1. Johdanto-osuuteen kerätään käsitekartta (mind map, asiasanalista tai "leikekirja")

  • muistiinpanoja istunnoissa käytetyistä lähteistä
  • oleelliset kurssin aiheet
  • esimerkkejä ja lainauksia
  • viittauksia istunnoilla käytettyihin tai muuten löytyneisiin tiedon lähteisiin

2. Mittaus- ja tutkimusosuuteen kirjoitetaan selostus itse tehdystä mittauksesta tai tutkimuksesta.

  • työn aihe
  • tavoite, aineisto ja hypoteesi
  • aihetta käsittelevää kirjallisuutta, artikkeleita
  • mittaukset
  • tulosten analyysi
  • pohdintaa

3. Lähdeosuuteen kerätään viittauksia raportissa käytettyihin

  • lähteisiin,
  • kirjoihin,
  • artikkeleihin ja
  • materiaaleihin.

Kurssin istuntojen "päiväkirjat"

(käsiteltyjä aiheita, lähteitä, muistiinpanoja)

1. istunto

Agenda 31.10.2008

  • kurssin sisältö
  • tekstiaineisto ja muut lähteet
  • kurssin työvälineet (R?)
  • mittaustehtävän suunnittelu
  • raportin aihe
  • käsitteitä

Huomioita

  • Kurssilla on käytetty aiemmin Python-projektityön apuna monistetta, joka on 3. kerroksen kirjahyllyssä (merkitty tekstillä kpk322 puheen analyysi)

Prosodian analysointi puhesignaalista:

  • perustaajuus
  • aika
  • äänekkyys
  • formantit

Huomioita

  • Esimerkki puheesta: Tutkitaan Praatilla puhesignaalia ja spektrogrammia

Lähteitä:

Signaalinkäsittelyä:

  • taajuus ja aika
  • amplitudi
  • vaihe
  • näytteistys ja diskreettiaikaisuus
  • tallennus ja diskreettiarvoisuus

Prosodiaa:

  • "intonaatio"
  • sävelkorkeus ja -kulku
  • äänekkyys
  • kesto

Laskennallisia haasteita:

  • perustaajuuden löytäminen
  • spektrin analyysi
  • psykoakustiset mitta-asteikot
  • synteesin muodostaminen
  • asteikot: Hz, mel, Bark
  • spektrogrammit

Sovittu kurssiraportin muoto:

  • 1.-3. istunnoilla kerätään aiheista "käsitekartta" tai muistiinpanoja, joista tiivistetään lopulliseen kurssiraporttiin "asiasanalista" tai "glossary"

  • 4.-6. istunnoilla hankitaan omaa mittausaineistoa, hahmotetaan kiinnostava kysymys ja tutkitaan sitä lähdemateriaalin valossa. Tästä kirjoitetaan lyhyt tutkiva referaatti lopulliseen kurssiraporttiin.

1. istunnon tehtävä:

  • selitekartta tämän istunnon aiheesta (tässä esitetyt ranskalaiset viivat, asiaa selostavia web-linkkejä ja omia muistiinpanoja)

2. istunto 7.11.2008

2. istunto 7.11.2008

Luettavaa: John Coleman, Introducing speech and language processing

  • luvut 1-4 (poislukien ohjelmakoodit)

Agenda:

  • The Big Picture
    • puhesignaalin digitaalinen mallintaminen
      • Amplitudi
      • bits per sample (esim 8, 16, 24, 32)
      • äänentaso dB = 10*log10(P) = 20*log10(A)
      • Näytetaajuus (8000 Hz)
      • Nyqvist-taajuus
    • koodaus ja siirto
    • äänen tuotto signaalista

  • Fourier-muunnos, FFT
  • signaalinkäsittelyä R:llä
    • esim funktiot sin, abs, fft, barplot
    • spektrin mallinnus (taajuuskomponenttien amplitudit)

  • tiedostomuodot
    • tutkitaan käytettäviä tiedostomuotoja Praat-ohjelman avulla (esim aiff, wav, raw)

3. istunto 14.11.2008

  • nauhoituksia studiossa
  • esimerkkejä Praat-ohjelmalla
  • Suunnitellaan rapotin aiheita: HyKpk322s2008Aiheita

4. istunto 21.11.2008

Aiheita:

Tehtäväksi

  • Valitaan rapotin aihe
  • Tehdään äänityksiä / valmistellaan dataa omaa työtä varten
  • Etsitään aihetta käsitteleviä artikkeleita

5. istunto 28.11.2008

  • autokorrelaatio (jatkoa, katso R-sivulta toteutus)
  • esimerkkejä menetelmien sovelluksista
  • havaintoja omasta aineistosta
  • kurssityön tilannekatsaus

6. istunto 5.12.2008

  • nauhoituksia studiossa
  • oman kurssiraportin työstämistä
  • esimerkkejä vastaavista menetelmistä, tutkimuskysymyksistä yms.
  • yhteenveto
  • keskustelua
Topic revision: r13 - 2008-12-05 - SeppoNyrkko
 
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2018 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback