Post on 12-Jan-2022
（１） 信号の周波数特性の時間的変化の分析 ａ．短時間フーリエ変換 ｂ．ウェーブレット変換 ｃ．多重解像度解析 （２） 相関関数を使った信号・画像処理 （３） マルチメディア信号の符号化 ａ．音声信号の符号化 ｂ．画像の符号化 ｃ．ビデオの符号化
【第二話】 実世界における信号処理
DFT DCT
【第一話】 信号処理の基礎理論
フーリエ変換（大域的信号解析） アナログ信号 ・フーリエ変換とラプラス変換 ・デルタ関数の導入によるフーリエ変換の拡張 ・２次元フーリエ変換（２次元周波数） ・畳み込み演算、相関関数 ・CTの原理（１次元フーリエ変換と２次元フーリエ変換の関係）
標本化 ・デルタ関数の周期系列 ・標本化定理（折り返し歪み・エイリアシング） ・２次元標本化定理
離散フーリエ変換 ・離散フーリエ変換の基本定理 ・２次元離散フーリエ変換 ・FFTアルゴリズム（時間間引き、周波数間引き、２次元FFT) ・離散フーリエ変換の行列表現→直交変換 ・離散コサイン変換
信号の時間周波数解析（局所的信号解析） 窓関数 ・有限波形の切り出しと両端での周期性の調整 ・ハニング窓、ハミング窓
ウェーブレット変換 ・局所的スペクトルの分析 ・Gaborウェーブレット ・信号の最小単位
短時間フーリエ変換 ・非定常信号のスペクトル（変化）分析 ・サウンドスペクトログラム ・Gabor変換
多重解像度解析 ・大局的構造と局所的構造 ・零交差とスケール・スペース
信号の時間周波数解析（局所的信号解析） 窓関数 ・有限波形の切り出しと両端での周期性の調整 ・ハニング窓、ハミング窓
信号の周波数特性の時間的変化の解析
直交変換：周波数分解 （－∞< t <∞）
時間的分解 （変化の検出：「いつ」、「何が」起こったのか？）
離散フーリエ変換の基本定理 （教科書６１ページ）
∑
∑∞
−∞=
∞
−∞=
+=
+=
↔
ms
mp
mFF
mTtftf
Ftf
)()(~
)()(~)()(
ωωω
ω のとき、周期関数化
を表すここで、
）式 （教科書
とすると、
、：任意の整数に対して：任意の正整数、
Nj
N
N
k
knN
ssp
eW
WkFN
nTfT
NTNTNTTnN
π
πωπω
2
1
0(3.82) 61.p)(~1)(~
/2/ ,/2 ,/
−
−
=
−
=
Ω=
==Ω==
∑
)( pTtf + )(tf )( pTtf −
(3.83)) p.61( )(~)(~ 1
0式教科書 ∑
−
=
=ΩN
n
knNWnTfTkF
・周波数特性分析のために、我々が実際に計算できるの は、あくまでも周期関数だけである。 ・しかし、一般の信号は、非周期的であり、観測開始時刻 から無限に続いている。さらに、周波数特性は時刻ととも に変化する。 では、時刻とともに変化する信号の周波数特性はどの ように計算すればよいのだろうか？
0 t
信号
信号が孤立している場合
DFT
離散フーリエ変換
0
)(tfs
t 0
)(ωsF
σ− σ σω −sσω +− s
0
)(tfs
t NT
0
)(tf
t τ
時間・帯域制限アナログ信号
0
)(ωF
σσ−
フーリエ変換
フーリエ変換
標本化 Ｔ：標本化間隔
フーリエ変換
Ts /2πω = ：標本化周波数
標本化 Ns /ω=Ω
標本化間隔
逆フーリエ変換
基本周期の抽出
0
)(tfs
t TN )1( − 0
)(ωsF
ωΩ− )1(N離散フーリエ変換
0
)(ωsF
ωΩN
信号
0 t ・・・・・・・
0 t
切り出し
DFT
信号が連続している場合
周波数分布の時間変化
長さＮの時間区間を 重ねてもよい！
声紋（サウンドスペクトログラム）
音声信号 f(t)
スペクトログラム F(t,ω)
時間
周波数
時間
信号強度
窓関数 （有限区間信号の切り出し方）
教科書：１１１ページ 信号の時間制限
プリント
離散フーリエ変換の形式と意味
Semantics（計算内容） 【例】2進数：10012(910)
0
)(tfs
t TN )1( − 0
)(ωsF
ωΩ− )1(N離散フーリエ変換
10 ][1][1
0−≤≤= ∑
−
=
− NnWkXN
nxN
k
knN 10 ][][
1
0−≤≤= ∑
−
=
NkWnxkXN
n
knN
Syntax（計算式） 【例】ビット列：1001
0
)~(~ Tnf
t NT 0
)~(~ ΩkF
ωΩN
∑−
=
=Ω1
0
~)(~)~(~ N
n
nkNWnTfTkF∑
−
=
−Ω=1
0
~)(~1)~(~ N
k
nkNWkF
NTnfT
)~,~( ]~[~)~(~ ],~[~)~(~...)2,1,0( ][]~[~ ,][]~[~
∞<<−∞=Ω=
±±===
knkXTkFnxTnf
mkXkXnxnx mNmN
とおく
信号の周期と切り出し区間の関係
一致している場合
一致していない場合 不連続
不連続
切り出し方で 周波数特性が変化する！
離散フーリエ変換の意味から、以下の 周期信号の周波数特性を計算している！
窓関数
)51.5()()()(ˆ twtftf =時間領域 周波数領域
乗算 畳込み
ここの振動が 副作用として 現れてしまう！
方形窓
窓の幅
)(cos46.054.0)( tPttw ττπ
+=
ハミング窓
ハニング窓
)(cos121)( tPttw ττ
π
+=
窓の比較
周波数領域 時間領域
演習課題３５
窓関数を使って周波数特性の時間的変化を計算する方法 （たとえば、サウンドスペクトログラム）は、あくまでも元の信号の 周波数特性の時間変化を「近似」したものである。 離散フーリエ変換の意味に基づいて、この「近似」が如何なる ものであるかを説明しなさい。
演習課題３６
１次元の信号処理の場合は、ハミング窓がよく使われるが、 ２次元の画像処理の場合は、ハニング窓の方が望ましい。 この理由を考えなさい。 【ヒント】 １．ガウス関数のフーリエ変換はガウス関数になる。 等方的な２次元ガウス関数のσと窓関数の幅の組み合わせを いろいろ変えて、フーリエ変換を行ってみて、 その振幅パワースペクトルを分析してみよう。 ２．等方的な２次元波形と矩形の画像領域という２つの「形状」 をどのように組み合わせるのかを考えてみよう。
信号の時間周波数解析（局所的信号解析） 窓関数 ・有限波形の切り出しと両端での周期性の調整 ・ハニング窓、ハミング窓
短時間フーリエ変換 ・非定常信号のスペクトル（変化）分析 ・サウンドスペクトログラム ・Gabor変換
短時間フーリエ変換 プリント
直交変換：周波数分解
時間的分解
短時間フーリエ変換
)51.5()()()(ˆ twtftf =窓関数 フーリエ変換
∫
∫∞
∞−
−
∞
∞−
−
=
=
dttfetw
dtetwtfF
tj
tj
)()(
)()()(ˆ
ω
ωω
窓の位置をずらしながらフーリエ変換をする 短時間フーリエ変換
)18.1()()(),(ˆ ∫∞
∞−
−−= dttfebtwbF tjωωプリント
【復習】ガウス関数とフーリエ変換
)()(21
21
2
2)(
1
2
2
2
||)2(
1)(
N
1)(2
1)(
)(
mxmx
N
mx
x
t
exg
dxxgexg
exg
−Σ−−
∞
∞−
−−
−
−
Σ=
==
=
∫
π
πσσ
次元正規分布関数
数（正規分布関数）正規化されたガウス関
ガウス関数
ガウス関数のフーリエ変換 【課題９】これを証明しなさい。
22
22
2
2
21 ωσ
σ
πσ
−−↔ ee
x
プリント参照 より∫
∞
∞−
− = πdxe x2
Gabor変換 窓関数として正規化ガウス関数を用いた短時間フーリエ変換
)17.1()(2
1),(ˆ 2
2
4)(
∫∞
∞−
−−
−= dttfeebF tj
btωσ
σπω
∫∞
∞−
−−
== 1)(2
1)( 2
2
2)(
dxxgexgmx
数（正規分布関数）正規化されたガウス関
σ
πσ
ウェーブレット変換への展開
ウェーブレット
Gabor変換
相関
∫∞
∞−
−−
−= dttfeebF tj
bt
)(2
1),(ˆ 2
2
4)(
ωσ
σπω
ガウス関数を窓関数として、部分波形を切り出して
フーリエ変換
dxxfa
bxa
abfW )(||
1),)((
−
= ∫∞
∞−
ψϕ
( ) としてjtt
eet −−
= 2
2
4
21 σ
σπψ
周波数 とは独立 後にパラメータとして を追加
ωω
信号の時間周波数解析（局所的信号解析） 窓関数 ・有限波形の切り出しと両端での周期性の調整 ・ハニング窓、ハミング窓 ・ガウス関数とフーリエ変換
ウェーブレット変換 ・局所的スペクトルの分析 ・Gaborウェーブレット ・信号の最小単位
短時間フーリエ変換 ・非定常信号のスペクトル（変化）分析 ・サウンドスペクトログラム ・Gabor変換
ウェーブレット変換
)1.1()(||
1),)(( dxxfa
bxa
abfW
−
= ∫∞
∞−
ϕϕ
タ ：シフト・パラメー
ータ ：スケール・パラメ
ット：マザー・ウェーブレ
ba
x)(ϕ
ウェーブレット変換の結果 時間周波数解析
b 1/a
サウンド・スペクトログラム ウェーブレット変換の結果
ガボールウェーブレット変換
( )2)()()( σωωσψ −−= eetgt tj
＝ ×
ψ の実部 gσ eiωの実部（cos）
これを確認しなさい。
【演習課題３７】
正項とするための直流分補
∫∞
∞−
= 0)( dttψ
ガボールウェーブレット ＝ ガウス関数 × 周期信号 )(tgσ)(tψ tje ω
ωは変数では
なくパラメータ
信号の時間周波数解析（局所的信号解析） 窓関数 ・有限波形の切り出しと両端での周期性の調整 ・ハニング窓、ハミング窓 ・ガウス関数とフーリエ変換
ウェーブレット変換 ・局所的スペクトルの分析 ・Gaborウェーブレット ・信号の最小単位
短時間フーリエ変換 ・非定常信号のスペクトル（変化）分析 ・サウンドスペクトログラム ・Gabor変換
信号の最小単位
窓の幅を小さく（広く）して、時間の解像度を高める（低くする）と 周波数の解像度が下がる（上がる）
)17.1()(2
1),(ˆ 2
2
4)(
∫∞
∞−
−−
−= dttfeebF tj
bxωσ
σπω
時間窓の幅
周波数 スペクトルの幅
ガウス関数のフーリエ変換 22
22
2
2
21 ωσ
σ
πσ
−−↔ ee
x
信号の最小単位
)0(||
1)(
)()(
≠
↔
↔
aa
Xa
atx
Xtx
フーリエ変換の相似性
のとき、
ω
ω
ガウス関数の時のみ 21
=∆∆ Ff
2
22
2
2
2
||||
|)(|)(
)(||||
|)(|
)(
f
dxxfxx
xff
dxxfxx
xf
f
∫
∫
∞
∞−
∞
∞−
−=∆
=
の幅信号
の平均値信号
時間・周波数の不確定性 21
≥∆∆ Ff
2
22
2
2
2
||||
|)(|)(
)(||||
|)(|
)(
F
dF
FF
dF
F
F
∫
∫
∞
∞−
∞
∞−
−=∆
=
ωωωω
ω
ωωωω
ω
の幅フーリエ変換
の平均値フーリエ変換
時間・周波数の不確定性関係
時間・周波数の不確定性関係
でない。の範囲では情報が独立
24 <∆∆ Ff
信号の時間周波数解析（局所的信号解析） 窓関数 ・有限波形の切り出しと両端での周期性の調整 ・ハニング窓、ハミング窓 ・ガウス関数とフーリエ変換
ウェーブレット変換 ・局所的スペクトルの分析 ・Gaborウェーブレット ・信号の最小単位
短時間フーリエ変換 ・非定常信号のスペクトル（変化）分析 ・サウンドスペクトログラム ・Gabor変換
多重解像度解析 ・大局的構造と局所的構造 ・零交差とスケール・スペース
信号の多重解像度解析
（正規化ガウス関数）
：処理対象信号
2
2
2
21),(
)(
σ
πσσ
t
etg
tf
−=
dueuf
tgtftfut
2
2
2)(
21)(
),(*)(),(
σ
πσ
σσ−
−∞
∞−∫=
=
σを変えると解像度が変わる
信号の多重解像度解析
dueuftfut
2
2
2)(
21)(),( σ
πσσ
−−∞
∞−∫=
σを変えると解像度が変わる
時間 t
解像度σ
ラプラシアン
信号の多重解像度解析
tdt
tfdとなる
：信号変化の零交差点
0)(point) crossing zero(
2
2
=
( )2
2
2
2 )(*)()(*)(dt
tgdtfdt
tgtfd=
演習課題３８
( )
し、が成り立つことを証明
2
2
2
2 )(*)()(*)(dt
tgdtfdt
tgtfd=
を計算しなさい。
のとき
2
2
2
)(2
1)( 2
2
dttgd
etgtσ
πσ
−=
信号の多重解像度解析
t
σ 時間 t
解像度σ
大域的な変化
（１） 信号の周波数特性の時間的変化の分析 ａ．短時間フーリエ変換 ｂ．ウェーブレット変換 ｃ．多重解像度解析 （２） 相関関数を使った信号・画像処理 （３） マルチメディア信号の符号化 ａ．音声信号の符号化 ｂ．画像の符号化 ｃ．ビデオの符号化
【第二話】 実世界における信号処理
DFT DCT
【第一話】 信号処理の基礎理論