2012年12月26日 星期三

多媒體的應用

1.在教育上之應用
A.   多媒體電腦輔助教材目前已有許多的 CD-Title 提供各學門的電腦輔助教材可參看各校圖書館蒐集之光碟.
B.    遠距教學可將主播室之教學利用高速網路傳達到遠方使得教師與學生能利用多媒體之技術達到現場互動之教學效果

2.在娛樂上的應用
A.   電動玩具: 圖片、影像和聲音早已在各式各樣的電動玩具中派上用場, 市面上可看到個人電腦上的電動玩具, 也有許多大型機台的電玩 (arcade game)
B.   電影: 電影中常會使用到各種無法在真實環境中做出的效果, 例如爆破, 外太空, 恐龍等. 利用電腦產生動畫及特殊音效, 早已在電影電視中大行其道. 最有名的動畫電影為株羅紀公園, 玩具總動員等
C.    主題公園: 一般主題公園都是針對某個特定的主題 (如原住民文化) 來規劃的, 只透過靜態的公園擺設, 加上一些定期與不定期的活動, 會讓參觀者有搔不到癢處的感覺, 如果能夠藉由多媒體 (如影片, 音效及虛擬實境等) 來加強參觀者的印象, 自然能達到更好的展覽效果
D.    互談式電影 (interactive movie), Iron Helix ( Drew Pictures 出品), 觀賞者可直接參與劇情之發展, 以達互動娛樂的效果

3. 政府服務
    政府可以利用多媒體電腦建構 Kiosks 環境, 提供都市導覽、資料查詢及各項政府便民之
服務功能. 如此可以節省許多人力, 並能夠提高行政效率. 同樣也可以利用網路傳遞公文或
是公報等資料, 更可降低不必要的運費等開支

4. 醫學 醫生在開刀之前, 可以利用虛擬實境的技術, 模擬真實開刀的場景, 做為手術前之規劃, 如此可以提高手術的成功率, 也可以事先讓病患家屬了解開刀的過程


多媒體在生活上的應用將會愈來愈廣泛, 人類的未來也和電腦愈來愈接近, 相信如果能善
電腦、網路及多媒體等工具, 必能提升生活品質


動畫媒體

動畫原理和視訊類似,都是利用視覺暫留原理來產生畫面上的連續動作效果,並透過剪接、配樂與特效設計所完成的連續動態影像動畫。
兩者間主要的區別,在於對事物及動作的描述方式不同。動畫是以繪圖軟體或手繪(如卡通)畫面內容以圖畫方式來描述,可以有比較誇張的動作出現,視訊則是以攝影機的單格拍攝實際物體的景象來呈現,所以呈現的動作與情境較為符合現實。
動畫原理
動畫的基本原理,也就是以一種連續貼圖的方式快速播放,再加上人類「視覺暫留」的因素,因而產生動畫呈現效果。
什麼是「視覺暫留」現象?指的是您的「眼睛」和「大腦」聯合起來欺騙自己所產生的幻覺。當有一連串的「靜態影像」在您面前「快速的」循序播放時,只要每張影像的變化夠小、播放的速度夠快,您就會因為視覺暫留而產生影像移動的錯覺。


所謂動畫就是將畫好的連續畫面,快速 播放後,例如每秒播放30張圖(又稱為「畫格」),由於人類眼睛「視覺暫留」的原因,導致雖然是分解動作,看起來卻像是連續的動作般,電影的原理亦相同, 下圖即模擬以十二張繪製連續的圖片,連續播放後產生的效果(一般平面印刷的講義無法表現動畫的效果,但是如果製作成HTML網頁,效果即可展現)。

視覺暫留:光對視網膜所產生的視覺,在光停止作用後,仍保留一段時間的現象,其具體應用是電影的拍攝和放映。原因是由視神經的反應速度造成的,其時值是二十四分之一秒。是動畫電影等視覺媒體形成和傳播的根據。比如:直視太陽數秒後,人眼將殘留一個強光源的影像。我們日常使用的日光燈每秒大約熄滅100餘次,但我們基本感覺不到日光燈的閃動。這都是因為視覺暫留的作用。所以,要達成最基本的視覺暫留效果至少需要10fps(參考視頻幀率)。

二、電腦動畫
(a) 2D
  1. 物體模塑 (Modeling)
  2. 性質(Material) 賦予
  3. 時間軸上決定關鍵畫框 (Key Frame)
  4. 畫面預演 (Preview)  必要時重複步驟 3
  5. 動畫錄製 (Generation)
 (b) 3D
       最常藉由三視圖在平面螢幕上展現
透視投影最能顯現物體的遠近效果
可藉由基本元件,經布林運算、掃掠、形變等技術組合而成
最終的基本單元,多為網格化的三角或四角片
 不固定形體的元件最難處理


傳統動畫製作(設計)
編劇
撰寫腳本,包含主角造型特色
設計故事板或決定『關鍵畫框』位置

傳統動畫製作(製作)
依景物的層次分開製作
繪製變動部分
組合背景與主體等

GIF 平面式動畫
單一檔案來儲存連續的多張影像內容
適合以網頁瀏覽器觀看
製做成本低,步驟較簡易




GIF 平面式動畫
無法與「聲音」結合
只能使用256色的色盤
無失真式影像壓縮比偏低,不利網路傳輸

向量式 vs 點矩陣式
數學模型,精確計算
計算耗時,誤差掌握不易
原始資料壓縮比通常較高
數位化資訊,縮放易產生失真
可進行影像特效
適合紋理貼圖
2D平面動畫製作
物體模塑 (Modeling)
性質(Material) 賦予
時間軸上決定關鍵畫框 (Key Frame)
畫面預演 (Preview)  必要時重複步驟 3
動畫錄製 (Generation)
3D立體模型建構
最常藉由三視圖在平面螢幕上展現
透視投影最能顯現物體的遠近效果
可藉由基本元件,經布林運算、掃掠、形變等技術組合而成
最終的基本單元,多為網格化的三角或四角片
不固定形體的元件最難處理


立體模型塗彩顯像
骨架外框的顯示效果雖然可視為預覽的一種方式,但無法克服隱線與隱面問題

常數法塗彩-每個面都是純色
表面法塗彩-考慮面與光線角度關係
頂點法塗彩-考慮頂點與光線角度關係

擬真塗彩
光跡追蹤與熱輻射成像法
考慮光線的反射、折射等效果
計算成本大幅增加
立體動畫製作
編劇完成腳本
化  妝  師-模塑各類角色特徵
武術指導-角色的移動與轉場(動畫師)
燈  光  師-場景打光著色
攝  影  師-運鏡找特寫
剪  接  師-後製作

環場全景圖 
模塑價值,真實感營造不易
瀏覽必須滿足『互動式』需求

提供全景圖線上瀏覽,除了製作成本可大幅降低,第一印象容易建立。

環場全景圖製作
維持360度水平拍攝,避免光線過度變化
取景點考量需要能夠涵蓋整個空間,以避免視野死角
自然地切換取景點
台北市政府廣場
(參見附檔)
多層次物體模型
在不影響視覺品質效果下,依物體距離觀察者的遠近,來選擇不同精細程度的物體模型,以降低整體計算成本,好讓虛擬實境系統可以達到即時互動要求。

紋理貼圖亦是另一種節省整體計算成本的常用技巧。


來源 
web.ydu.edu.tw/~hjw/course/media/FCH05.ppt 
www.drmaster.com.tw/TrialBook/mu30005-ch06.pdf

視訊媒體



視訊,就是會動的影片,是由一連串些微差異的實際影像組成,當快速放映時,利用視覺暫留原理,影像會產生移動的感覺。




類比視訊
類比視訊的信號傳輸是利用有線或無線的方式來進行傳送。所謂類比信號是一種連續且不間斷的波形,藉由波的振幅和頻率來代表傳遞資料的內容。不過這種信號的傳輸會受傳輸介質、傳輸距離或外力而產生失真的現象。
數位視訊
數位視訊是以視訊信號的01來記錄資料,這種視訊格式比較不會因為外界的環境狀態而產生失真現象,不過其傳輸範圍與介面會有其限制。由於數位視訊會產生大量的資料,這會造成傳輸與儲存的不便,因此發展出AVIMOVMPEG視訊壓縮格式

數位視訊剪輯
一個完整的視訊系統除了電腦硬外配備外,還必須包括視訊來源與編輯軟體。底下我們將系統組成以表格表示如下:



剪輯流程
視訊來源設備
輸入/擷取視訊至電腦上成為數位視訊檔案
ƒ使用剪輯軟體編輯、加上特效、製作字幕
輸出至影帶或製作VCDDVD

視訊數位化
視訊資料是由一個個連續畫面或頁框所構成,在連續播放的情形下,由於視覺暫留原理,而可視為連續的視訊。其中類比視訊是直接利用一張張類比影像來產生,具有固定的畫面更新頻率。
至於而數位視訊則是由一張張的數位影像 (以像素為單位) 所構成,當數位視訊在不壓縮的情況,為了達到連續動態的要求,若以640x480 (pixels/frame)60分鐘的一段全彩數位視訊而言,在NTSC規格下每分鐘就要:
30*60*640*480*3(全彩影像需要24bits/3bytes)*60 => 約為 92.7 GB

視訊壓縮
視訊壓縮的原理其實相當簡單,因為視訊資料量也像音訊資料,允許壓縮過後的視訊在還原時可以有容許某種程度的「失真」現象。
視訊壓縮與一般圖像壓縮的最大不同之處,在於必須要求更高的壓縮比例,因此針對視訊必需有更進一步的壓縮技術才行。

MPEG
MPEG是一個協會組織 (Motion Pictures Expert Group)的縮寫,專門定義動態畫面壓縮規格,是一種圖像壓縮和視訊播放的國際標準,並運用較精緻的壓縮技術,可運用於電影、視訊、及音樂等。
所以MPEG檔的最大好處在於其檔案較其他檔案格式的檔案小許多。

MPEG-1MPEG-2
MPEG-1用於VCD及一些視訊下載的網路應用上,可將原來的NTSC規格的類比訊號壓縮到原來的1/100大小,在燒成VCD光碟後,畫質僅相當於VHS錄影帶水準,可在VCD播放機上觀看。
MPEG-2相容於 MPEG-1,除了做為DVD的指定標準外,於1993年推出的更先進壓縮規格,較原先MPEG-1解析度高出一倍。還可用於為廣播、視訊廣播,,而DVD提供的解析度達720 x 480,所展現的影片品質較MPEG-1支援的錄影帶與VCD高出許多。

MPEG-4
至於MPEG-4規格畫壓縮比較高,MPEG-4的壓縮率是MPEG-21.4倍,影像品質接近DVD,同樣是影片檔案,以MP4錄製的檔案容量會小很多,所以除了網路傳輸外,目前隨身影音播放器或手機,都是以支援此種格式為主。例如以MPEG 4儲存2小時的影片,則約需要650 MB的硬碟空間,這可以放入一片CD片內。

Avi
Audio Video Interleave,即音頻視訊交叉存取格式,是由微軟所發展出來的影片格式,也是目前Windows平台上最廣泛運用的格式。它可分為未壓縮與壓縮兩種,一般來講,網路上的avi檔都是經過壓縮,若是未壓縮的avi檔則檔案容量會很大。

DivX
Microsoft mpeg-4v3 修改而來,使用 MPEG-4 壓縮算法,最大的特點就是高壓縮比和清晰的畫質,更可貴的是DivX 的對電腦系統要求也不高。

串流媒體
所謂串流媒體(Streaming Media) 是將影音檔案經過壓縮處理後,再利用網路上封包技術,將資料流不斷地傳送到網路伺服器,而用戶端程式則會將這些封包一一接收與重組,即時呈現在用戶端的電腦上,讓使用者可依照頻寬大小來選擇不同影音品質的播放。
使用者不需等到整個影片傳送完,就可以觀賞,除了影片一開始播放的時候會有資料緩衝(Buffering)的延遲之外,幾乎不需要花費太多時間等待。
這些影音封包在送達使用者的電腦之後,會依檔案格式由適當的播放軟體播放,例如Windows Media PlayerReal PlayerQuickTime Player

RA
這由RealNetwork 公司所發展的 Real Audio 格式,副檔名為 .ra,特點是可以在較低的頻寬下提供優質的音質讓使用者透過線上聆聽。各位可以從網路上下載一個多媒體音訊檔案,然後使用Real player來播放。







WMA
WMA(Windows Media Audio) 為眾多Windows使用者熟悉,特色是檔案小,畫質佳,因此很適合網路上播放。它的核心技術是ASF(Advanced Streaming Format,高級流格式)。可以使用微軟在Windows作業系統中整合的Windows Media Player(媒體播放器)來播放。




Mov
QuickTime是由蘋果電腦所開發的影音格式,以超高畫質與完美音效著稱,所以很多精彩的電影預告片,幾乎都以QuickTime格式為首選。常見的過去為Mac平台所使用的影片格式,不過現今的PC平台也有QuickTime軟體的播放程式。


來源web.math.isu.edu.tw/huanght/files/計算機概論/ch06_多媒體.ppt

影像媒體



影像(圖像)
圖像是人對視覺感知的物質再現。圖像可以由光學設備獲取,如照相機鏡子望遠鏡顯微鏡等;也可以人為創作,如手工繪畫。圖像可以記錄、保存在紙質媒介、膠片等等對光信號敏感的介質上。隨著數字採集技術和信號處理理論的發展,越來越多的圖像以數字形式存儲。因而,有些情況下「圖像」一詞實際上是指數字圖像

圖象(Graphic)是一種視覺符號。透過專業設計的圖象,可以發展成人與人溝通的視覺語言,也可以是了解族群文化與歷史源流的史料。世界美術史中大量的平面繪畫、立體雕塑與建築,也可視為人類由古自今文明發展的圖象文化資產。
向量式
記錄影像的座標及圖形種類與相關參數,於顯示時才將它「畫」出來  
優點
以向量與物件觀念表示影像,使用上較具彈性
儲存圖形所需的空間小、處理速度快
缺點
不規則內容影像的表現困難
影像的色彩層次感表現不佳
不方便進行影像特效處理
點陣式
將影像分割成棋盤狀的方格點,再儲存每個點的資訊
優點
影像的色彩層次感表現逼真
可作各種影像處理,呈現逼真的效果
缺點
無法以物件來記錄影像內的個別圖像,後續的編修較為不便
縮放時,影像會失真
點陣圖的基本名詞
l  像素(pixel)
「點」是構成影像的基本單位,稱為「像素」
l  影像大小
影像的長度和寬度,單位為像素的個數
l  解析度
在攝製影像時,單位長度所包含的像素個數,稱為解析度
解析度愈高,影像看起來就愈精細
l  深度
一個像素所需使用的位元數
影像的色彩
l  單色 (Mono)
l  256 灰階 (256 Gray level)
l  16
l  256
l  65536 種顏色 (又稱為 Hi-Color)
l  全彩模式 (又稱 True Color)
色彩模式
 單色
 256灰階
 16色
 全彩














解析度

18點/cm(解析度低無法放大)
72點/cm















RGB 三原色光
三原色光:紅 (Red)、綠 (Green)、藍 (Blue)


「加色」效果
拿三原色光來混合成其他色光的方法,稱為加法混色
將三原色光兩兩混色
紅色+綠色=黃色
綠色+藍色=青色
藍色+紅色=洋紅色
將黃色與藍色混色得到白色,稱黃色是藍色的補色、藍色也是黃色的補色


顏料的三原色 (CYM)
顏料的三原色是青色 (Cyan)、黃色 (Yellow) 與洋紅色 (Magenta)

顏料的「减色」效果
顏料會吸收部分色光,同時將其他色光反射出去
例如把青色與洋紅色的顏料混在一起,青色顏料會吸收紅光,洋紅色顏料會吸收綠光,只剩下藍光被反射出來,因此青色與洋紅色顏料混合後變成藍色。
顏料混色的方法,稱為減法混色
影像檔
影像說明部分
通常在檔案的前面部分,稱為檔頭(Heading),儲存影像的長度、寬度、色彩模式及壓縮方式等
影像資料部分
儲存各個像素的資料
常見的影像檔格式
BMP
微軟公司所提出的點陣圖格式,支援 RGB 全彩、索引色、灰階及黑白等色彩類型  
GIF
1987 年由 Compu-serve 所提出的影像壓縮格式,是網頁上最常用的圖形格式
可存成透明圖、交錯圖和動畫
最多只能儲存 256 色的色彩深度
JPG  
一種影像壓縮檔案格式,具有相當好的壓縮品質
屬於略損壓縮的格式
是目前應用最為廣泛的壓縮格式

來源www.ntpu.edu.tw/~tzung/teaching/ppts/multimedia_intro.ppt

2012年12月16日 星期日

音訊媒體

聲音的基本原理 


當介質(如空氣、水)中產生了震動,此震動對介質造成壓力,而此壓力會以波的形式藉由介質向外擴散,當這些波傳到人的耳朵且頻率範圍在人耳可感應的範圍內(20Hz~20kHz),耳膜會因感應而聽見聲音,這就是聲音的產生


各種分貝與功率之範例 


分貝(dB功率(W範例
100.000000001農村的靜夜
200.00000001樹葉落地
300.0000001耳邊輕聲低語
500.000001普通說話聲
600.00001百貨公司內
800.0001公共汽車上
900.001捷運呼嘯聲
1000.01高速公路汽車聲
1100.1電鋸旁邊
140-150100-1000飛機旁邊





Analog to Digital 的流程




首先聲音經過麥克風輸入到電腦
這些聲音波動轉換成一連串高低變化的電壓波
將此波透過一低通濾波器濾除其高頻雜訊
透過類比數位轉換器(Analog Digital Converter,ADC)將聲音波型數位化
將數位化音訊存入記憶體


Digital to Analog 的流程



將數位化音訊讀出記憶體
透過數位類比轉換器((Digital Analog Converter,DAC)將數位訊號還原
還原波再經過一低通濾波器將高次諧波濾除,聲音就會比較平滑。
輸出至揚聲器


取樣頻率

聲音數位化最重要的就是將類比訊號取樣
取樣頻率越高,亦即取樣間隔時間越短,所擷取後的數位音訊資料也就越準確

 一般我們常見的取樣頻率為11.025kHz、22.05kHz、44.1kHz
CD音質則為44.1kHz、16bits位元深度(解析度)
越高的取樣頻率與越高的位元深度會有越好的音質。


量化-位元深度(解析度 )


取樣在每一個上升邊緣時,ADC (Analog Digital Converter) 會將當時的值紀錄下來,而此紀錄的値稱為樣本,單位為bit(或稱為解析度),此動作即為量化。


雜訊產生的原因


當一輸入波形範圍從0~10V時,採用4bits位元深度做為樣本,而4bits為0~15,扣除0有15種區間,所以:
輸入的值為(2/3)V時,樣本值為0001,而(4/3)V時,樣本值為0010,我們可發現,如果當輸入值為1V時,將被四捨五入成為0010=(4/3)V,因為位元深度造成的誤差,就造成了數位還原為類比時的不連續,雜訊就是這樣產生的。


修剪 


量化過程中如果位元深度不足,輸入的類比訊號最大值超過此位元深度可使用的區間時,就會將振幅超出最大值的部分修剪為可用區間的最大值
被修剪掉的部份就成為了失真或是雜音,因此輸入的聲音過大時,錄製起來的聲音會「爆音」即是此原因。


音訊檔案容量

容量計算公式:
取樣率(Hz) * 時間(s) * 位元深度(bit) / 8 * 聲道數量
【其中位元深度 / 8 的8是因為一個位元組(byte)有8個bit】

 例: 30秒的CD音質錄製下的立體聲檔案大小為5292000bytes
44100 * 30 * 16 / 8 * 2 = 5292000bytes(位元組)


常用的音訊設定格式與容量 


取樣率(Hz)解析度(bit)聲道容量(位元組每秒)
44100162172kbytes
4410016186kbytes
441008286kbytes
2205016286kbytes
2205016143kbytes
220508243kbytes
1102516243kbytes
1102516121kbytes
110258221kbytes





最小聽覺門檻:


  最小聽覺門檻是一種用來減少資料流的方法,因為人耳對於2kHz ~ 5kHz的敏銳度與察覺度最高,所以它利用人耳的這項特性,將其他頻率的紀錄容量減少,甚至將微小不易察覺的高頻與低頻訊號刪除,以達到資料容量減少的目的 


遮蔽效應


遮蔽效應是一種運用人類聽覺神經特性的技術。
在心理學中這是一種聽覺模型,它是說當一個感覺非常強烈時,同時間人類不太容易覺察到其他的感覺。
舉例來說:當眼睛注視強烈光源時,視線會被光線遮蔽,不容易看見其他物體;對聲音而言,在一場震耳欲聾的演唱會中,人耳很難去注意到五公尺以外傳來的微小咳嗽聲。
遮蔽效應就是利用刪除或適當分配較低的取樣頻率給這些被別的較突出的聲音遮蔽後變的較不易被察覺的聲音來減少其容量大小。

音訊檔案格式 


未壓縮的波形音訊格式
破壞性壓縮格式
MIDI
網路串流格式 

未壓縮的波形音訊格式
.wav    由微軟制定,採PCM編碼的未壓縮波形格式,主要用於Windows PC中,副檔名為.wav
.au    AU是UNIX下一種常用的格式,為昇陽(SUN)所開發,其副檔名為.au
.aiff    AIFF是Apple的標準格式,其副檔名為.aiff,平時我們熟知的QuickTime就是使用aiff作為音訊的軟體

破壞性壓縮格式
.mp3    MP3(MPEG Audio Layer 3)屬於MPEG標準的一環,其副檔名為.mp3,由於MP3其高效率的資料壓縮與音質效果,再加上便利的播放程式以及編碼程式支援,使得MP3的使用者越來越多,有逐漸成為多媒體影音標準的趨勢
.wma    WMA就是Windows Media Audio,由微軟開發,其副檔名為.wma,其最大特色就是比MP3容量還要小一半,且音質不輸mp3

MIDI(Musical Instrument Digital Interface)樂器數位界面
1983年世界著名電子音樂製造廠商共同制訂MIDI標準,使各種與電子音樂有關的設備能相互連接與訊息交流。
從字義上可以了解,以MIDI是一種數位化的界面,對於電子設備該如何發音訂出了一套統一的規格,所以不同廠商所設計製造的軟、硬體,只要符合MIDI的規格,便具有互通性。
自Window 3.1起,把MIDI列為支援的規格之後,使得MIDI成為電腦音樂軟體必須遵循的標準格式。 

網路串流格式
WMA 在只有64kbps的位元速率下,WMA可以達到接近CD的音質(相當於128kbps的MP3)。 WMA支援串流技術可邊讀邊播,因此WMA可以很輕鬆的完成線上廣播
Real Audio    普遍應用於網際網路上的聲音格式,必須安裝Real Player播放程式,才能播放。 



來源:web.ydu.edu.tw/~hjw/course/media/FCH02.ppt