- 相關推薦
基于情感識別的實時交互式音樂可視化研究論文
音樂可視化的實現(xiàn)形式與解決方案可謂精彩紛呈。音樂可視化有著廣泛的應用:音樂分析、信息檢索、表演分析、音樂教學、音樂認知、情感表達、游戲娛樂。基于不同的應用，會有不同的系統(tǒng)設計方案。在教學領域，可能會強調(diào)音符、樂器、旋律、和聲方面;在音樂廣場，通過控制的相關技術來實現(xiàn)音樂噴泉，著重表達噴水的花型組合變化、水柱高低、遠近變化等;在大型表演、酒吧、展覽現(xiàn)場，可能會更強調(diào)畫面帶來的強烈的視覺沖擊;在游戲領域，可能會著重表現(xiàn)音樂自身包含的情感因素，通過虛擬角色的面部表情、動作變化及場景的變換來實現(xiàn)，等等。
4.1用戶接口及系統(tǒng)構(gòu)架
本系統(tǒng)設計為基于情感識別的實時交互式音樂可視化系統(tǒng)，采用一個可選的虛擬角色進行情感動作表達。系統(tǒng)需要減少系統(tǒng)負載和同時能夠?qū)崟r性地進行一音樂分析和可視化表演，從現(xiàn)場表演的麥克風和電子琴的音樂輸入中提取出來的音樂特征通過相關信息處理和數(shù)據(jù)過濾，然后發(fā)送到音樂動畫腳本和引擎，最后通過虛擬角色進行音樂情感的動作表達。本文希望允許用戶與虛擬角色有一個沉浸式的交互體驗，計算機的顯示屏幕無法滿足大型展覽、表演現(xiàn)場的要求，虛擬現(xiàn)實的沉浸感也要求突破計算機顯示尺寸的限制，使用大屏幕顯示，可以采用圓柱型、洞穴狀、或者矩形塊拼接的大屏幕進行逼真顯示，強制性制造出強勁的可視化效果。為了滿足這個要求，可以把這個虛擬環(huán)境顯示到一個大屏幕上，比如矩形塊拼接的大屏幕或洞穴狀的大屏幕，該屏幕可以提供實體大小的立體圖像，希望大屏幕立體顯示和人們的自然的用戶輸入方式可以縮短虛擬與現(xiàn)實之間的距離，通過這種方法，用戶可以體驗到這種與三維實體大小的虛擬場景的現(xiàn)實性的交互而產(chǎn)生的幻覺，允許用戶與觀察者體驗這種表演者與虛擬角色之間的真正的交互而產(chǎn)生的強制性的沉浸感。能用一種很自然的音樂表達方式與虛擬角色進行交互也是很重要的。因此，本文應該確保一旦設計為該方式的系統(tǒng)運行起來，用戶僅僅需要提供MIDI控制器或者麥克風的音樂輸入方式就可以與程序進行交互。麥克風與MIDI控制器應該放置在特定的位置，以便當用戶實時表演時可以很方便地觀察到虛擬角色的反應。能夠體現(xiàn)音樂情感，同時又具體極強的可觀賞性和趣味性的音樂可視化系統(tǒng)是本文的追求。本文將圍繞音樂情感為中心建立一個音樂可視化系統(tǒng)，可以用來音樂分析和音樂可視化，通過對現(xiàn)場表演的實時語音及MIDI處理輸入，通過處理、分析，最后映射到虛擬角色中。系統(tǒng)以麥克風和電子琴作為輸入?yún)?shù)，通過處理，提取出相關的音樂特征，隨后進行情感檢測處理，實時性地用虛擬角色面部表情和動作變化、虛擬場景的變換來表達情感因素，最后通過大屏幕進行顯示。
圖4一2音樂感知過濾層流程圖
音樂感知過濾層的作用是雙方面的。一方面，系統(tǒng)需要分析復雜的音樂數(shù)據(jù)輸入流，以便提取有意義的音樂特征來準備后面的相關工作。另一方面，為了保證能模擬人類對音樂的情感反應的要求，系統(tǒng)需要采用前人對音樂情感方面的研究方法來組織這些特征。為了使角色得到音頻信息流中的有用信息，系統(tǒng)需要將這種流變成一種簡單的格式。因此本文在系統(tǒng)框架中添加了這種額外的音樂感知過濾層。在這一層中系統(tǒng)通過分析輸入的音頻信息，提取出重要的音樂特征，然后再將該層的結(jié)果作為輸入傳送給角色及場景認知層。為了對現(xiàn)場音樂表演中進行特征提取，系統(tǒng)對麥克風和電子琴的輸入進行處理。本文采用MIDI接口和錄音設備從現(xiàn)場音樂輸入流中提取重要的特征，通過一系列變換處理，可以得到感興趣的特征如歌聲的音高、歌聲的振幅、歌聲的音調(diào)、描述歌手音色的數(shù)據(jù)等。同時，系統(tǒng)也對電子琴輸入的特定的和音感興趣，可以將輸入的MIDI信息與預定義的和音信息相比較，然后提取出匹配的和音信息。這樣，對現(xiàn)場原始數(shù)據(jù)進行處理之后，就生成了音樂的數(shù)字化描述。最后再將這些提取出來的音樂特征發(fā)送到特征記錄器中進行下一階段的處理，以便滿足復雜的實時的音頻分析的要求。
4.2.1特征提取
西方調(diào)式音樂，至少是由一系列音高、持久度和振幅組成，都是由一些和聲結(jié)構(gòu)的規(guī)則約束的。通過Hevner、Famsworth等人140，4’l的研究實驗表明，音樂是可以表達情感的，即使對不懂音樂的人來說，他們也會感知到音樂中的一些潛在的和聲規(guī)則產(chǎn)生的音樂情感，同時做出相關的情感反應。在此音樂可視化系統(tǒng)中本文采用這些情感規(guī)則來處理音樂輸入，讓虛擬角色獲得認知技能。在認知層中，本文假定輸入的音樂是有調(diào)的，這樣可以方便在認知層中對音樂情感意義的處理。因為該層提取出來的音樂特征在表演者和虛擬角色的整個交互過程中是最重要的，所以本文把主要精力放在對該感知層的處理上，在介紹該層時需要不少篇幅。對于電子琴的和音輸入，處理方法比較簡單，利用電子琴通過MIDI接口將音樂信號發(fā)送到計算機，根據(jù)電子琴的參數(shù)規(guī)格可以很方便地得到現(xiàn)場彈奏的音高、持久度、速度、力度等信息。樂音體系首先是由于唱歌實踐的結(jié)果而形成的，因此樂音體系中大部分的音是人的嗓音可唱的音。由于器樂的發(fā)達，就得用每秒鐘振動16次到4000次之間的若干音來補充樂音體系。雖然如此在樂器上最富于表現(xiàn)力的音域和人聲唱歌的音域是近乎一致的(頻率范圍大約為60到l000Hz)。
對于麥克風輸入的歌聲的處理，系統(tǒng)可以通過錄音設備得到的數(shù)據(jù)，分析其頻率和振幅，參考國際標準音高(即鋼琴上小字一組的A)對應的頻率為440Hz，每一個八度之間頻率增加一倍，比如C比上一音階的C，D比上一音階的D的頻率增加一倍。中間的頻率，按照十二平均律公式算出來:由此可以得到所有音高。振幅與音量、持久度有關，音量可以由系統(tǒng)自定義，將處于某一范圍的振幅認為是音高對應的音量，持續(xù)的時間即為音高的時值，或稱持久度。
4.2.2特征組織
為了組織和音內(nèi)容的輸入，本文采用現(xiàn)在通用的音樂編碼系統(tǒng)【59]。該編碼系統(tǒng)的核心是采用一種字母表的概念，選定一個參考的字母元素，其它所有元素就可以通過與這個參考元素的關系來描述出來。本文的音樂可視化系統(tǒng)需要編碼現(xiàn)場音樂輸入的特征信息，因此，本文選擇調(diào)的主音來作為參考音符。所有的后面感知到的音符都將使用該參考元素進行編碼，因為它們都與調(diào)式音階的主音相關。下面舉一個例子來說明這種編碼系統(tǒng):在C調(diào)音樂中，主音音符C，將作為參考音符。如果選擇的字母表是半音階(一個音階包含12個半音)，D(即c上的
大二度)將用字母表中在主音參考音符之上的2步來代表，而喇即C上的小三度)則用字母表中在主音參考音符之上的3步來代表。音符是由音高和持久度組成的，上面描述的音樂編碼系統(tǒng)是針對音高的，再結(jié)合在電子琴中彈奏的持久度，系統(tǒng)可以描述每一個歌聲片斷中的音符。為了決定哪一個音符是被表演者強調(diào)的，本文可以采用這樣的方法:當某音符有別于周圍其它的音符的時候就可以認為該音符是被強調(diào)的，比如增大的音量或者高低音符間的突然的轉(zhuǎn)變。通過第三章提出的螺旋模型和調(diào)性確定算法，分析音高序列的前面若干個音高事件，確定該音樂的調(diào)性、節(jié)奏和速度，然后將特征提取階段得到的音高序列轉(zhuǎn)換為旋律，得到的所有這些數(shù)據(jù)就放到特征記錄器中，以便為下一階段的處理做好準備。4.3角色及場景認知層
基于該層的感知處理，角色評估接收到的數(shù)據(jù)，決定應該如何反應。角色需要分析它們接收到的輸入和決定一個大致的反應行為。在該層中，角色的個性是由如何感知事件進而影響角色的內(nèi)部狀態(tài)來定義的。本節(jié)將描述系統(tǒng)的動畫角色是如何模擬一個對感知到的音樂特征的情感的理解的。
4.3.1情感檢tll
在認知層中，由感知層發(fā)送過來的信息需要被接收和分析，用來模擬虛擬角色的內(nèi)部狀態(tài)。特征組織器中包含了這些現(xiàn)場音樂表演的信息(歌聲音程、每個歌聲音符的重要性數(shù)據(jù)、關于歌聲節(jié)奏的信息以及用戶彈奏的和音數(shù)據(jù))。然后本文需要模擬一個對感知數(shù)據(jù)的認知意識，因為角色需要有一個通過動作表達出來的感興趣的內(nèi)部狀態(tài)。音樂表演的認知意識可以采取多種形式。當聽到一個關于愉快的特別的旋律時，角色可能會感覺到快樂，或者當接收到一系列感覺恐怖的特定的和音，角色則可能會進入一個恐懼的狀態(tài)。為了給角色的認知創(chuàng)建一個有意思的和靈活的認知層，本文選擇了Cooke在文獻[431中對音樂的研究，特別是對音樂情感的研究。Cooke在文獻[43}中的經(jīng)典研究為本文提供一個全新的視角來觀察音樂和情感之間的更一般性的關系。為了實現(xiàn)這種像角色喜歡一些特定的旋律而不喜歡另外一些，系統(tǒng)可以創(chuàng)建一個針對音樂理論特征的足夠靈活的角色用來模擬情感反應。Cooke己經(jīng)從大量的音樂片斷中識別特定的特征，使用一種更一般性的方法提出使用在調(diào)式音樂中的一些特定的特征用來表現(xiàn)特定的情感概念Cooke識別出音階中所有十二個音符的基本的表達功能。如果一個旋律里包含很多小三度的實例，Cooke認為這些片斷的恰當解釋應該是表達出“難以接受的”或者是“悲傷的”情感。很多著名的包含小三度的表達悲傷情感的音樂作品實例可以映證這個結(jié)論，例如Strauss的《蒂爾小丑》中蒂爾被處死的地方。
相反，Cooke引用美國流行歌曲《Polly一woll夢doodle》來說明大三度是代表“和諧的”或者“愉悅的”情感。通過應用這種對音樂旋律的規(guī)則，系統(tǒng)可指定現(xiàn)場音樂表達的認知意義。系統(tǒng)的音樂感知過濾層通過特征提取，對現(xiàn)場音樂的上下文描述了所有的音樂旋律中的音符。了解這些以后，本文可以很容易地將音高關聯(lián)到Cooke提出的情感上下文。這種情感上下文可以用來修改動畫角色的內(nèi)部狀態(tài)并月.觸發(fā)相關的反應行為。該音樂動畫系統(tǒng)使用一個“驅(qū)動系統(tǒng)”來控制角色的行為。很多電腦游戲玩家都很熟悉這種機制，即這樣的驅(qū)動系統(tǒng)是操作在一定原則之上的，那就是一旦特定角色特征的級別達到了一個觸發(fā)的最大值或者最小值，角色的行為就被觸發(fā)。例如，當角色的能量驅(qū)動達到最小值時，它就趴下睡覺，而當能量驅(qū)動達到最大值時，它就馬上爬起來。系統(tǒng)的角色就是使用這種驅(qū)動系統(tǒng)來表達它們的情感狀態(tài)的。根據(jù)Cooke的理論，小三度意味著悲傷，而大三度則表示快樂。系統(tǒng)的角色可以有一個“快樂驅(qū)動”，當歌手唱出一個包含很多大三度的旋律時，這個級別值就增加，而如果是小三度則減小。既然系統(tǒng)的感知層也可以分配相應的意義值到每一個歌唱音符，“快樂驅(qū)動”的增加量或者減少量也可以由音符的意義值決定。提取出來的其它的音樂特征，如和音、歌唱音色等，也可以用來影響角色反應的驅(qū)動。在現(xiàn)場音樂表演期間，對音樂輸入的認知處理允許動畫角色維持一個變化中的情感狀態(tài)。音樂動畫表達層使用動畫來可視化角色行為，這種情感狀態(tài)隨后可以通過表達層傳達給觀眾。
4.3.2其它因素的認知
在情感色彩方面，調(diào)式是音樂的一種極重要的表現(xiàn)手法，因為它能表現(xiàn)內(nèi)容的某引起重要情調(diào)。在這方面說來，每一調(diào)式由于它的表現(xiàn)能力而在各種類型的作品中被應用。調(diào)式和內(nèi)容的各種關系是極少有例外的。例如普通總是以大調(diào)來表現(xiàn)勝利，小調(diào)來表現(xiàn)悲傷、憂愁�？墒钦{(diào)式能如此廣泛應用還是因為作品中的內(nèi)容是由許多手法，如調(diào)式、旋律的方向、旋律中的音程、節(jié)奏、速度、音的強弱變化、音的力量、音區(qū)、音色等的結(jié)合來表現(xiàn)的，而式在這必需的結(jié)合中不
過是手法之一。完美的可視化呈現(xiàn)需要考慮多方面的因素，除了上述因素對情感方面的表現(xiàn)力之外，還應考慮它們對其他心理感受的表現(xiàn)力。例如高的音高與低的音高相比，表現(xiàn)為亮、高、輕、小、敏捷;強的音比弱的音相比，表現(xiàn)為大、重、近;慢的音與快的音相比，表現(xiàn)為大、重、慢、穩(wěn)重;快的起音與慢的起音，表現(xiàn)為生硬、果斷、急躁、兇狠t421。
4.4角色及場景表達層
角色需要展示可視化的動作來表明它們認知的狀態(tài)。當一個動畫角色己經(jīng)處理了感知的數(shù)據(jù)并且決定做出怎樣的身體反應行為時，這些行為將會通過動畫的形式表達出來。該音樂動畫系統(tǒng)在運行時生成了這些動畫，可以通過一種過渡的動畫來逐步地添加到各種不同的預定義的姿勢之間。動畫的行為在情感或強度之間變化，從而體現(xiàn)出虛擬角色的認知狀態(tài)。本節(jié)將描述角色和場景表達層是如何工作的。
4.4.1將音樂映射到行為
在認知層中，角色的內(nèi)部狀態(tài)被定義好了。然后這種內(nèi)部的狀態(tài)通過表達層中自動生成的動畫來實現(xiàn)可視化。為了完成這種音樂可視化效果，系統(tǒng)需要創(chuàng)建一種足夠復雜的角色用來產(chǎn)生行為，這種行為被使用者和觀察者認為將是音樂輸入的及時反應。角色需要監(jiān)視感知層的數(shù)據(jù)，從而決定如何反應。每一個角色需要注意特定類型的數(shù)據(jù)并且忽略其它的數(shù)據(jù)。有些角色可能對所有的歌聲的音高和振幅感興趣，而其它的角色僅僅關心從鍵盤輸入的大小和弦。這些決策是由設計出角色的程序設計者做出的，即角色只對特定數(shù)目的特征感興趣。下面就以一個角色來舉例說明。當用戶唱出一個高于中央C的音高，在為該事件負責的音樂感知過濾層中，就在特征記錄器的旋律中就寫下該音高事件的發(fā)生。該角色監(jiān)視旋律中的音高信碩十學位論文第四章音樂可視化系統(tǒng)設計與實現(xiàn)息，當感知到該事件的時候，它的注意力就馬上集中起來。該過程是由一段動畫來表示的，即角色當事件的發(fā)生時轉(zhuǎn)變?yōu)楸磉_出一個“專心的”狀態(tài)。如果該角色長時間地沒有聽到任何歌聲，則它變得很無聊，然后開始趴下睡覺。只有當用戶選擇發(fā)出另一個相似的音高，它才醒來，在這段時間里它的注意力不太集中，會忽略掉一些小小的噪聲。這種行為控制類型被稱為驅(qū)動機制，即對角色的每一個狀態(tài)都匹配一個驅(qū)動。更完善的驅(qū)動機制是，每一個驅(qū)動都有一定的級別值，驅(qū)動系統(tǒng)監(jiān)視每一個狀態(tài)的當前的級別，當?shù)竭_閉值時刁‘觸發(fā)相應的行為。在上例中，與角色內(nèi)部狀態(tài)相關的是“無聊的”級別值，當角色的“無聊的”驅(qū)動達到一定的閩值時，它就開始睡覺。當它聽到用戶發(fā)出相關的聲音時這種“無聊的’，級別值就減小，而當用戶不發(fā)聲的時候該級別值就增大。這是在用戶輸入與角色行為之間的一個很簡單的映射例子。如果角色能夠展示更加復雜的行為，那將是更有趣的事情。例如，當聽到一個低音的音高時，角色就慢慢地扭轉(zhuǎn)頭，而當它感知到一個很具攻擊性的聲音時，當就突然轉(zhuǎn)移它的注意力。在感知到高音C時它甚至捂住耳朵。當然，這些行為都是角色設計者設定的。設計者選擇角色的動作來模擬音樂輸入，同時也決定著如何進行急劇的或是平滑的過渡用來展示音樂情感。
4.4.2動畫的實現(xiàn)方法
計算機動畫是計算機圖形學和藝術相結(jié)合的產(chǎn)物，綜合利用了計算機科學、藝術、數(shù)學、物理學和其它相關學科的知識，在計算機上生成豐富多彩的虛擬真實畫面。一般來說，計算機動畫分為關鍵幀動畫、變形動畫、過程動畫、關節(jié)角色動畫和基于物理的動畫。過程動畫指的是動畫中物體的運動或變形由一個過程來描述。最簡單的過程動畫是用一個數(shù)學模型去控制物體的幾何形狀和運動，如水波隨風的運動。較復雜的則包括物體的變形、彈性理論、動力學、碰撞檢測等。基于物理模型的動畫技術考慮了物體在真實世界中的屬性，如具有質(zhì)量、轉(zhuǎn)動慣矩、彈性、摩擦力等，并采用動力學原理來自動產(chǎn)生物體在各個時間點的位置、方向及其形狀。此外，動畫師不必關心物體運動過程的細節(jié)，只需確定物體運動所需的一些物理屬性及一些約束關系，如質(zhì)量、外力等，引入了轉(zhuǎn)動慣量、彈性系數(shù)和阻尼等概念，把分析計算分解為水平和垂直兩個獨立的方向，通過這種簡化，系統(tǒng)可以進行實時模擬，為了達到實時的效果，在一定假設條件下化簡模型和運動求解是非常必要的。本文的系統(tǒng)可以綜合運用上述幾種方法。角色模型若是基于彈性關節(jié)的骨架模型，這就是關節(jié)動畫。動作姿態(tài)的變換若是由動態(tài)方程控制的，交互控制和碰撞檢測都用到了無質(zhì)量的彈簧模型，這就是基于物理的動畫方法。系統(tǒng)的腳本是姿態(tài)的順序編排，可以把腳本的每一行看作是一個關鍵幀，但這里的插值過程是系統(tǒng)根據(jù)物理原理自動完成的。其實用交互控制模型以設計姿態(tài)，也可以看作是模型由靜止狀態(tài)的變形過程。
4.5系統(tǒng)的模擬實現(xiàn)
為了論證本文中主要的算法、解決方案的正確性與可行性，本節(jié)簡化了前面提出的系統(tǒng)并模擬實現(xiàn)了該系統(tǒng)。該模擬系統(tǒng)的相關設計與顯示結(jié)果如下所述。以Microsoft叭suaiC十+6.0作為開發(fā)環(huán)境，選擇基于對話框的MFC應用程序進行模擬。采用MIDI文件模擬現(xiàn)場音樂信號輸入，即便如此，本節(jié)仍實時分析音樂數(shù)據(jù)流，而不是對輸入的音樂全篇處理后再進行分析，并在特定時間觸發(fā)相應事件。只考慮音高特征，忽略速度、力度等特征。只考慮音樂在情感方面的表現(xiàn)力，忽略其對其它心理感受的表現(xiàn)力。在情感檢測方面，只考慮本文第二章中提到的基本術語的情感色彩，對單個的音程、和弦不予考慮。采用圖片集模擬角色的腳本動畫庫。
4.5.1數(shù)據(jù)結(jié)構(gòu)
音高事件(即音符)主要包括音高、起音、落音、時值、力度等信息，因此自
(1)調(diào)性確定算法
基于本文第三章提出的螺旋模型和調(diào)性確定算法進行實現(xiàn)，在音高事件的個數(shù)到達預定義的數(shù)目時調(diào)用該調(diào)性確定函數(shù)，其偽代碼如圖4一6。初始化音效中心poiniCE為原點;初始化當前總Tick數(shù)nTicksum為0;
(2)情感匹配算法
在情感匹配之前，需要預定義一些情感術語，本模擬系統(tǒng)參考本文第二章中的情感術語如圖4一7。與死相聯(lián)系著的絕望的情感，白外返回的痛苦情感，即對悲哀的接受或屈服、消極的忍受或與死亡相聯(lián)系的絕望圖4一7情感匹配術語然后再對音樂的實時旋律進行情感匹配，以小調(diào)為例，其偽代碼如圖4一8。試確定的調(diào)性的調(diào)式為小調(diào))道
4.5.2模擬結(jié)果
運行后的模擬界面如圖4一9(a)�！氨O(jiān)聽”用來打開MIDI文件，模擬角色對現(xiàn)場音樂信號輸入的監(jiān)聽，當演奏的音符數(shù)超過預定義的個數(shù)16時，點擊角色所在的圖形區(qū)域，程序以消息框的形式提示當前音樂采用調(diào)性確定算法得到的調(diào)性，如圖4一9(b)。通過實驗，該模擬程序?qū)Ω饕魳返那?6個音符確定的調(diào)性如下:巴赫的《C大調(diào)賦格曲》，C大調(diào);巴赫的《E小調(diào)賦格曲》，E小調(diào);巴赫的《G小調(diào)賦格曲》，G小調(diào);貝多芬的《熱情奏鳴曲》，G小調(diào);德彪西的《月光》，Db大調(diào);李斯特的《圣誕之歌》，F(xiàn)大調(diào);肖邦的《雨滴》，Db大調(diào)。通過本模擬程序，進一步驗證了螺旋模型和調(diào)性確定算法的正確性。
圖4一9模擬界面及調(diào)性確定
確定了該首音樂的調(diào)性之后，系統(tǒng)就開始對音符序列進行情感匹配，并實時更新各情感驅(qū)動的級別值，當某情感驅(qū)動的級別值到達它的閩值時就觸發(fā)相應的動作。如圖4-10(a)，貝多芬的《熱情奏鳴曲》是在法國大革命時期英雄主義思想的啟示下創(chuàng)作的，其中那明晰生動的節(jié)奏，那熱情奔放的旋律，那星馳電擊的電流，無不深刻地體現(xiàn)了“人類的良知”，充分顯示了在戰(zhàn)斗洗禮中的英雄們那悲壯激烈、堅貞不屈的崇高精神。又如圖4一10偽)，李斯特在他的作品《圣誕之歌》中，極力表現(xiàn)一種天使和孩子們的天真、純潔和純粹的幸福。圖4一10模擬系統(tǒng)的情感表現(xiàn)
4.6本章小結(jié)
本章首先簡述了現(xiàn)有的音樂可視化系統(tǒng)的實現(xiàn)技術，指出其相關的應用領域。然后著重闡述了本文擬采用的音樂可視化系統(tǒng)的解決方案，提出了系統(tǒng)處理流程，并對各個環(huán)節(jié)如音樂感知過濾層、角色及場景認知層、角色及場景表達層進行了比較詳細的介紹，描述了相關的實現(xiàn)原理及處理方法。由于麥克風輸入的歌聲數(shù)據(jù)量很大，所以本文提出的系統(tǒng)只對這些數(shù)據(jù)提取一些主要的音樂特征如音高、振幅等，從而滿足實時性的要求。對于電子琴輸入的和音信息，系統(tǒng)也只對其中特定的信息感興趣，那就是與角色動作相關的情感信息。實現(xiàn)了模擬系統(tǒng)，進一步論證了螺旋模型和調(diào)性確定算法的正確性以及系統(tǒng)解決方案的可行性。角色的多樣性、動作集、碰撞檢測、花草山水、風雪煙霧、顏色變化等問題，有待進一步研究。
第五章 結(jié)論
現(xiàn)代社會，隨著工作節(jié)奏的加快和工作壓力的增加，人們愈加需要休閑和娛樂。信息技術的娛樂應用也就成為計算機應用的一個重要發(fā)展方向。同時，隨著計算機技術的發(fā)展，音樂可視化日益得到研究機構(gòu)和公司的重視，出現(xiàn)了各種音樂可視化系統(tǒng)。音樂可視化有著廣泛的應用:音樂分析、信息檢索、表演分析、音樂教學、音樂認知、情感表達、游戲娛樂。
5.1工作總結(jié)
本文通過對基于情感識別的實時交互式音樂可視化研究的初步探討，工作總結(jié)如下:
(l)研究了國內(nèi)外現(xiàn)有的音樂可視化系統(tǒng)。詳細地論述了音樂可視化的相關內(nèi)容，重點介紹了音樂可視化的研究內(nèi)容、研究進展。
(2)總結(jié)和分析了音樂情感方面的研究。圍繞音樂到底是一種怎樣的藝術、表現(xiàn)了一種什么樣的世界、能否表達情感以及如何表達情感等問題進行描述，對音樂的心理學也作了簡單介紹。
(3)提出了螺旋模型及調(diào)性確定算法。提出了一種螺旋模型，在此基礎上提出調(diào)性確定算法，并通過理論及實例論證了模型和算法的正確性和實用性。 (4)提出了系統(tǒng)設計方案及實現(xiàn)了模擬系統(tǒng)。闡述了本文的系統(tǒng)采用的解決方案，描述了系統(tǒng)流程及處理機制，并實現(xiàn)了一個系統(tǒng)簡化版本的模擬系統(tǒng)，有著較好的效果。
5.2研究展望
(l)音樂特征的提取
音樂中有各種各樣的特征，如頻率、振幅、音色、音調(diào)、音高、音長、和弦、速度、響度、節(jié)拍及近來提出的一些新的特征，如能量、過零率、頻譜矩、頻譜流、帶寬、帶周期、噪音幀率等。音樂中有如此多的特征，對每種特征都進行提取是很耗費時間的，也是很不現(xiàn)實和沒有必要的。因此，應該根據(jù)音樂可視化的應用方面的要求，提取出音樂中的那些必要的特征，忽略或者去除那些不必要的特征，從而縮短程序運行時間，達到實時性等方面的要求。在交互式的音樂可視化系統(tǒng)中，對于不同輸入設備(如麥克風和MIDI輸入設備)得到的數(shù)據(jù)，對其特征提取的方法也應該是不一樣的。此外，音樂的風格也是多樣化的，最大的分類是嚴肅音樂和流行音樂，而流行音樂下有鄉(xiāng)村音樂、民謠、爵士樂、搖滾樂、流行美聲等分類，如果能在對音樂的特征提取過程中得到音樂的分類，然后采用不同的可視化風格來反映這些不同的音樂風格，效果一定會更好一些。因此，在特征提取過程中得到音樂風格的特征，是音樂可視化進丫步的追求目標。
(2)對音樂的情感檢測與情感表達
音樂既是一種娛樂方式，也是抒發(fā)作曲者和歌手情感的手段。情感因素是音樂中的一個重要的特征，在音樂可視化研究中越來越受到重視。因此，必須建立一個完善的情感檢測以及情感表達機制。這種情感檢測機制應當是綜合性的，包括對音樂風格的分析、對音樂與情感關系的準確刻畫、聯(lián)覺中的各音樂特征與情感的對應。情感表達機制還應擴充表達情感的角色的動作集，盡可能準確地表達出盡可能多的情感。
(3)以用戶為中心的系統(tǒng)設計
應用系統(tǒng)的設計應該以用戶為中心，也就是說要有靈活的圖形用戶界面(GuD，實時性地反應用戶的操作，用戶的操作和輸入的方式要盡可能地簡單，而輸出的結(jié)果要盡可能完美，等等。這就要做好用戶需求調(diào)查和分析。在設計音樂可視化系統(tǒng)之前，必須要對用戶的需求進行調(diào)查和分析，以此來確定系統(tǒng)的用戶類型和應用類型，如教育方面的音樂教師和學生，商業(yè)娛樂方面的大眾人群等，從而設計相應的可視化系統(tǒng)。
(4)場景對象和動作建模
WindowsMediaPlayer中的可視化效果是音樂可視化的雛形，并為音樂可視化提供了一個有用的參照。但是它的可視化效果過于簡單和單調(diào)，使得用戶感覺到這些可視化模式與所播放的音樂之間并沒有什么關系，只是有一些微小的變化重復出現(xiàn)而己。這種面向大眾的音樂可視化的娛樂應用，應該要另辟蹊徑，采用場景以及角色對象來實現(xiàn)，角色對象可以是各種擬人化的動物、花草樹木、自定義的動畫角色甚至人本身，而場景對象可以是山河湖泊、花草樹木等。為了避免角色的動作種類太少或者場景對象的種類太少而產(chǎn)生的單調(diào)性，以及表達音樂中各種復雜的情感因素，就必須盡量擴充角色的動作集，增加場景對象的種類。
(5)虛擬現(xiàn)實技術的硬件和軟件支持
音樂可視化要有好的沉浸感，就要用到虛擬現(xiàn)實技術。這就需要解決相關的硬件設備和軟件技術方面的支持問題。硬件設備方面，三維立體聲設備、大屏幕主要有洞穴狀、圓柱型或者由矩形塊拼接成的大屏幕)投影設備等是必不可少的。大屏幕的立體顯示、實體大小的虛擬角色以及用戶輸入接口的最自然的方法都可以幫助減少現(xiàn)實和虛擬的距離，讓用戶體驗與虛擬角色之間的真正的交互過程，從而產(chǎn)生強制性的沉浸感。軟件技術方面，如碰撞檢測算法，以此來確保虛擬角色的行走路徑和活動范圍的合理性;豐富的特效，如模擬火焰、水流、煙霧、雨雪等，光照、陰影等，花草樹木隨風擺動、實時水波等;觸發(fā)機制和動作定義，由特定的音樂特征觸發(fā)角色相應的動作，通過給定的幾個參數(shù)就可以實現(xiàn)各種動作等。
(6)機群并行處理問題
由于視覺效果是對音樂播放的補充，因此，不能由于處理可視化效果而占用了大量的CPU處理時間而使得音樂本身播放的不連續(xù)或者可視化效果的不連續(xù)因此，一個效果好的音樂可視化系統(tǒng)需要性能優(yōu)化的算法以及高性能的計算機(也包括高性能的顯卡和聲卡)等方面的支持。如果要實現(xiàn)的算法和功能足夠復雜，如三維的虛擬現(xiàn)實技術，則需要將多臺計算機組成一個網(wǎng)絡，進行機群并行處理操作，由不同的計算機處理不同的功能，在盡量短的時間內(nèi)實現(xiàn)總體功能。
致謝
光陰似箭，回顧碩士研究生三年，首先要感謝我敬愛的導師黃東軍教授。在本論文完成的過程中，導師注入了極大的心血，給予了悉心的指導，導師的及時指點和幫助使我不致迷失方向，并在老師的指導下得到研究動力和靈感。導師不僅教授給我研究方法，還對我的生活悉心照顧，讓我更加明白人間有情，更加端正學習態(tài)度、熱愛生活。導師嚴謹?shù)闹螌W態(tài)度、孜孜不倦的進取精神給我留下了深刻的印象。上研以來，由于家里的一些原因，我一度處于人生的低谷，是導師，給予我很大的關心，時刻牽掛著我的生活、學習情況，讓我真真切切地感受到了老師那種長輩對晚輩無微不至的關懷和悉心的培養(yǎng)。我在學業(yè)上的點滴進步都飽含了導師的心血。感謝信息科學與工學院的全體老師，特別是陳松喬教授、徐德智教授、王國軍教授和沙莎教授在我撰寫論文過程中提出的寶貴意見和無私幫助。感謝楊珊、童卡娜、李晶晶、陳濤、文展等同門與我一起走過碩士研究生階段的美好時光。感謝吳俠、賀建新、周偉、胡周軍、陳斌華等好友在學習和生活上的每一份無私的幫助。最后還要感謝我的母親，母愛深深，每一份感動都化為我學習中的動力。感謝我的妹妹，一直以來她都給我極大的鼓勵和支持。感謝屈文波、屈黎明、屈苗等摯友，給我生命中注入樂趣與活力。特別感謝我的朋友王煥云，她給我的關心和督促，使我能全心全意的投入到研究工作中去，不曾懈怠，順利的完成我的學業(yè)，并在我求職時給我加油打氣。在此，我謹向所有關心和幫助我的人表示最衷心的感謝!
【基于情感識別的實時交互式音樂可視化研究論文】相關文章：
基于頻率分析的實時濾波器研究04-30
基于FPGA的實時圖像處理技術研究04-28
基于RS理論的間隔調(diào)速實時校正控制模型研究04-28
基于中學音樂欣賞教學主體參與研究的論文04-27
基于職業(yè)能力培養(yǎng)的通識教育探析論文05-02
基于Web的實時答疑系統(tǒng)04-30