TUGAS MODUL OPTIMISASI METODE KONJUGASI LANGSUNG
KELOMPOK 10: IMAM PRIHATNO (1137010027) IQBAL IMAMUL MUTTAQIEN (1137010029) MATEMATIKA 2013 A
JURUSAN MATEMATIKA MATEMATIKA FAKULT FAKULTAS AS SAINS DAN TEKNOLOGI TEKN OLOGI UNIVERSITAS ISLAM NEGERI SUNAN GUNUNG DJATI BANDUNG 201
KATA KATA PENGANTAR PEN GANTAR
Alhamdulillah puji dan syukur selalu saya panjatkan kepada Allah SWT., SWT., yang telah melimpahka melimpahkan n berkah berkah dan karuniany karunianya. a. Tidak Tidak lupa shalawat serta salam selalu terlimpah curahkan kepada junjungan
Nabi
besar
kita,
Muhammad
SAW., SAW.,
kepada
keluarganya, keluarganya, sahabatnya, beserta para tabiin-tabiinya. Modul Modul ini dibuat dibuat untuk untuk menye menyesle slesai saikan kan tugas tugas ptimi ptimisas sasii mengenai Metode Metode Konjugasi Konjugasi Langsung Langsung.. Adapun Materi-materi diam diambi bill dari dari hasil hasil pemb pembel elaj ajar aran an penu penulis lis terh terhad adap ap re!e re!ere rens nsiire!erensi yang penulis dapatkan, baik berupa buku pembelajaran, internet, dan sumber-sumber lainnya. "enulis sadari bahwa masih modul yang dibuat masih jauh dari semp sempur urna na.. Maka Maka peny penyus usun unan an ini ini dibu dibuat at sema semata ta-m -mat ataa untu untuk k membagi ilmu yang penulis dapatkan kepada para pembaca. Serta say saya ucap ucapka kan n terim terimaa kasi kasih h kepa kepada da tema teman-t n-tem eman an yang yang tela telah h memb memban antu tu dala dalam m pros proses es pemb pembua uata tan n modu modull ini ini dan dan penu penuli liss harapkan modul yang dibuat ini bias membantu pembaca dalam pembelajaran yang yang berkenaan.
#andung, $% April $&'(
"enulis DAFTAR ISI
)AT )ATA "*N+ANTA............................................... "*N+ANTA............................................... ............. ....... ............ ......... ...ii ATA /S/..................................................................................ii A. Standar Standar )ompetensi..... )ompetensi............. ................ ............... ............... ................ .......................' ...............' #. 0raian 0raian Materi...... Materi.............. ................ ............... ............... ................ ................ ........................' ................' '. Metode Metode )onjugasi )onjugasi 1angsung 1angsung........ ............... ............... ........................' ................' '.'.................................................................. "endahuluan ................ ....................... ............... ................ ............... ............... ......................................2 ..............................2 '.$............................................ Algoritma Arah )onjugasi ................ ....................... ............... ................ ............... ........................ ....................................'$ ...................'$ '.3....................................... Algoritma +radien )onjugasi ................ ....................... ............... ................ ............... ........................ ....................................'3 ...................'3 '.4..... Algoritma +radien )onjugasi untuk "ermasalahan Tak-)uadrat..............................................................'5 6. angkuma angkuman..... n............. ................ ............... ............... ................ ................ ..........................$5 ..................$5 . Suggeste Suggested d eading. eading......... ................ ............... ............... ................ ............... ............... ............$( ....$( *. 1atihan.... 1atihan............ ............... ............... ................ ............... ............... ................... ...........................$% ................$% ATA /ST/1A7......................................................................iii
A! S" S"# #$% $%# #& K' K'* *"*$+ "*$+,,
1! Mahasiswa mampu mengetahui konsep dari Metode
)onjugasi 1angsung. 2! Mahasiswa mampu mengetahui mengetahui konsep algoritma-algoritma
pada
Metode
)onjugasi
1angsung. 3! Mahasiswa mampu mengetahui konsep penyelesaian algoritma-algoritma
pada
Metode
)onjugasi
1angsung baik !ungsi kuadrat maupun nonkuadrat. -! Mahasiswa mampu mengetahui konsep dasar dari rumus-rumus pada Algoritma +radien )onjugasi.
B! U&#,#$ M#"*&, M*"'%* K'$./#+, L#$+/$ 1! P*$%#//#$
)elas dari metode konjugasi langsung dapat dilihat sebagai penengah antara metode +"**+" %*+*$" dan metode Newton. Metode konjugasi langsung mempunyai si!at-si!at berikut8 a. Memecahkan kuadrat dari
n
9ariabel dalam
n
langkah. b. "elaksanaan biasa, algoritma gradient konjugasi, tidak membutuhkan e9aluasi matriks 7essian. c. Tidak ada matriks in9ersi dan tidak ada penyimpanan
n ×n matriks yang diperlukan. Metode arah konjugasi lebih baik dari pada metode steepest descent, tetapi tidak sebaik metode newton. Seperti yang kita
lihat dari metode steepest dan metode newton, !aktor penting dalam e!isiensi metode pencarian berulang adalah arah pencarian pada setiap perulangan. 0ntuk !ungsu kuadratik 9ariabel 1
T
T
n
n
T
f ( x )= x Qx− x b , xϵ R ,Q =Q > 0 , pencarian arah terbaik, 2 seperti yang akan kita lihat, arah konjugasi- Q . "ada dasarnya,
d
dua arah
d
apabila
(1)
(1) T
d
dan
(2)
R
di
n
dikatakan konjugasi- Q
(2)
Q d =0. Secara umum, kita memiliki de!inisi
berikut 8 D*4,$,+, 1!1 Misalkan Q simetris real matriks n x n. Arah (0 )
(1 )
(2 )
d ,d ,d ,…,d d
, kita punya
( i ) T
(m )
Q-conjugate apabila untuk semua
i≠ j
( j)
Q d =0 .
L*# 1!1 Misalkan : de!inite positi9e simetris matriks n ; n.
Apabila arah
(0 )
(1 )
d ,d ,…,d
( k )
n
R , k ≤ n −1,
ϵ
tak nol dan :-
conjugate, maka bebas linier. Bukti .
a0 , … , ak menjadi skalar sehingga
Misalkan
(0 )
( k )
( 1)
a0 d + a1 d + … + ak d =0
Setara dengan
d
( j ) T
Q , 0 ≤ j ≤ k , sehingga
( j )
( j )
a j d Q d =0, d
)arena semua hal lainnya konjugasi.
( j ) T
( i)
Q d = 0, i ≠ j ,
( j )
T
Q = Q > 0∧ d ≠ 0 ;
Tetapi
a j=0, j =0,1, … , k .
(0 )
oleh
dimana :karena
itu
( k )
(1 )
d , d , … , d , k ≤ n− 1,
)arena itu,
bebas linear. 5'$"' 1!1
Misalkan
[ ] 3
0
1
Q= 0
4 2
2 3
1
6atatan
T
Q=Q > 0. Matriks : de!inite positi! karena
[ ]
∆1 =3 > 0,
∆ 2=det
3 0
0 4
∆3 =detQ =20 > 0.
=12 >0,
Tujuannya untuk membuat sebuah himpunan 9ektor :-konjugate (0 )
(1 )
(2 )
d ,d ,d . Misalkan
d =[ 1, 0, (0 )
]
T
0 ,d
(1)
=[ d 1
(1 )
(1)
d2
]
( 1) T
d3
( 2)
[
( 2)
, d = d1
( 2)
d2
].
( 2) T
d3
d
Mengharuskan
]
(1 )
(1)
( 1)
Q d =0.
[ ][
3 0 0 1
d Q d =[ 1 0 (0 )
( 0 ) T
dan demikian
(1)
d
( 0 ) T
d
(2)
(0 )
d
( 1 ) T
Q d =0 . )ita punya
( 0 ) T
Q d =3 d 1 + d 3 = 0 ,
( 1 ) T
Q d =−6 d 2 − 8 d 3 = 0 .
d
d
dan
T
(1)
,
( 1)
d
d
d =[ 1 0 −3 ]
Q d =0.
Tentukan 9ektor ketiga
]
d 1 =1, d2 =0, d 3 =−3 .
Misalkan
punya
1 d1 ( 1) ( 1) ( 1) 2 d 2 =3 d 1 + d 3 . 3 d ( 1) 3
0 4 2
( 1)
( 1)
)ita
(1)
,
kita
yang akan :-konjugate dengan perlu
d
( 0 ) T
( 2)
Q d =0
dan
(2 )
( 2)
(2 )
(2)
( 2)
( 2)
( 2)
d =[ 1, 4, −3 ] (2)
T
, kemudian himpunan yang
dihasilkan dari 9ektor yang saling konjugat. Metode ini menemukan 9ektor konjugasi- Q tdak e!isien. Sebuah prosedur yang sistematis untuk menemukan 9ektor konjugate dapat diturunkan dengan menggunakan proses +ram-
R
Scmidt dari trans!ormasi diberikan basis dari orthonormal dari R
n
n
basis
.
2! A'&,"# A&# K'$./#+,
)ita akan menunjukkan
algoritma
meminimasi !ungsi kuadrat dari 1
⏉
arah konjugasi
untuk
n 9ariabel
⏉
f ( x )= x Qx− x b , 2 ⏉
Q=Q > 0, x ∈ R
di mana
n
. 6atat bahwa karena
Q >0 ,
f mempunyai minimasi global yang dapat ditemukan
!ungsi
dengan memecahkan
Qx= b .
A'&,"# A&# K'$./#+, D#+#&! iberikan titik awal ( 0)
x
Q -arah konjugasi
dan
k≥0 ,
g =∇f ( x )=Q x − b , ( k )
(k )
α k =
−g( k ) d ( k ) d
( k +1 )
x
( k )
( k ) ⏉
Qd
( k )
,
= x( k ) + α k d( k ) .
(0 )
(1 )
( n− 1 )
d , d , .. , d
, untuk
T*'&*# 1!1 Untuk tiap titik aal
konjugasi
dasar
dipecahkan
kon!ergen
¿
x − x
terdapat
(0 )
∈ R
nilai
algoritma arah
tunggal
x
¿
"yang
n langah$ yakni, x( n)= x ¿ .
Qx= b # dalam
%ukti. "erhatikan linier,
ke
( 0)
x
n
. )arena
d
(i )
β i , i =0, … , n−1 ,
konstanta
adalah bebas sedemikian
sehingga (0 )
¿
(0 )
x − x = β 0 d + … + β n−1 d
(n− 1)
.
Sebelum mengalikan kedua sisi dari persamaan ini dengan
d d
( k ) ⏉
( k )
Q , 0 ≤ k ≤ n , untuk memperoleh Q ( x − x ) = β k d ¿
( 0)
( k )
d
di mana kondisi
( k ) ⏉
( k )
Qd
,
( i)
Q d =0, k ≠ i , dengan si!at konjugasi-
Q . engan demikian,
β k =
d
( k )
d
Q ( x − x
( 0)
¿
( k ) ⏉
Qd
( k )
) .
Sekarang, kita dapat tuliskan ( k )
( 0)
( 0)
( k −1)
x = x + α 0 d + … + α k −1 d leh karena itu,
.
( k )
( 0)
( 0)
x − x = α 0 d + … + α k −1 d
( k −1 )
.
x − x =( x − x ) +( x − x ) (0 )
¿
( k )
¿
( k )
( 0)
d
dan sebelum mengalikan persamaan di atas dengan
( k ) ⏉
Q .
)ita peroleh ( k )
¿
( k )
( k )
x − x =−d g ¿ ( k ) (0) ( k ) , d Q ( x − x ) =d Q ¿ ⏉
⏉
karena
(k )
( k ) ⏉
β k =
−d d
( k )
g =Q x − b dan
( k ) ⏉
¿
Q x =b demikian,
( k )
g
Qd
( k )
=α k
5'$"' 1!2 Temukan minimasi dari 1
f ( x 1 , x 2 )= x
⏉
2
menggunakan ( 0)
x = [ 0,0 ]
⏉
[ ] [ ] 4 2
⏉ 2 x − x 2
metode
arah
−1 , x ∈ R2 , 1 konjugasi
, dana rah kinjugasi- Q
( 0)
d =arah konjugai −Q d =[ 1,0 ] 1
)ita mempunyai
⏉
dengan
titil
(0 )
⏉
[
]
d =[ 1,0 ]
−3 3 = d , dan 8 4 (1)
awal dan
⏉
.
g =−b= [ 1, −1 ] (0 )
⏉
,
dan dengan demikian
( 0) ⏉
α 0=
−g
d
⏉
d
(0 )
Qd
[] ][ ][ ] 1 0
[ 1,−1 ]
(0 )
= (0 )
[ 1, 0
4 2
2 1 2 0
=
−1 4
.
emikian,
( 1)
(0 )
(0 )
x = x + α 0 d =
[] [][ 0 0
1 − 1 4 0
( 2)
0ntuk menemukan x
(1 )
=
−1 4 0
]
.
kita hitung
[ ][ ] [ ] [
(1 )
4 2
g =Q x −b =
−1
2 2
4 0
− −1 = 1
0 −3 2
]
dan
[] ] [ ][ ]
[ ]
− 0, − (1 )
α 1=
−g
( )⏉
⏉
d
( 1) ( )
d1 Qd1
−3
3
8 3
2
4
=
[
−3
−3 8
,
3 4
4 2
2 2
8 3 4
=2 .
leh karena itu,
( 2)
(1 )
−3
[ ] −1
( 1)
8 3
x = x + α 1 d = 4 + 2 0
f
)arena ( 2)
x = x
¿
=
[] −1 3
.
2
4
adalah !ungsi kuadrat dalam dua 9ariabel,
.
0ntuk !ungsi kuadrat dari
n
9ariabel, metode arah
n langkah. Seperti yang akan
konjugasi meraih solusi setelah
kita lihat di bawah, metode juga metode ini juga memiliki sebuah si!at tertentu yang diinginkan dalam langkah-langkah menengah . 0ntuk melihat hal ini, anggap bahwa kita memulai pada
d
dan mencari dalam arah
( 1)
(0 )
(
x = x −
( )⏉
( )
g0 d0 ( 0)
⏉
d
Qd
(0 )
)
)ita tetapkan bahwa ( 1 ) ⏉ ( 0)
g
d =0.
0ntuk melihat ini, ( 1 ) ⏉ ( 0)
g
⏉
( 0)
d =( Q x ( 1 ) − b ) d
(0 )
d
untuk memperoleh
( 0)
.
( 0)
x
( 0)
⏉
( 0)
(
¿ x Q d −
¿g
( 0 ) ⏉ ( 0)
d −g
⏉
( )⏉
d
( 0) ⏉
(0 )
⏉
mempunyai
( 0)
)
⏉
( 0)
( 0)
( 0)
si!at
Qd
⏉
d ( 0 ) Q d ( 0 ) −b d
d =0 .
g d =0
"ersamaan
( )
g0 d 0
yakni
mengimplikasikan
α 0
bahwa
α 0=arg min ⏀0 ( α ) ,
di
mana
⏀0 ( α )= f ( x (0 )+ α d (0 )) . 0ntuk melihat ini, gunakan aturan rantai untuk memperoleh
d ∅0 dα
( α ) = g
d =0 .
0
⏀0
)arena dari
(1 )⏉ ( 0)
2
α
adalah !ungsi kuadrat dari kondisi dalam
persamaan
di
α 0=arg min ⏀0 ( α ) α ∈ R
atas
α , dan koe!isien
⏀0 adalah
d
(0 )
mengimplikasikan
( 0)
Q d >0 , bahwa
.
Menggunakan argument yang sama, kita dapat menunjukkan bahwa untuk semua ( k +1)
g
(k )
d =0
an dengan demikian
k ,
α k =arg min f ( x + α d ( k )
( k )
)
.
aktanya, bahkan kondisi terkuat ditetapkan, sebagaimana diberikan oleh lema berikut. L*# 1!2 &alam algoritma arah konjugasi, ( k +1)
(i )
d =0
g
k , 0 ≤ k ≤ n −1, dan
Untuk semua
0≤i≤k .
%ukti. 6atat bahwa
Q ( x
( k +1 )
karena
− x (k ) ) =Q x ( k +1)− b−( Q x (k )−b )= g( k +1) −g( k ) , (k )
( k )
g =Q x − b . Sehingga,
(k +1)
g
= g( k ) + α k Q d ( k ) .
)ita buktikan lema dengan induksi. 7asilnya adalah benar untuk
k =0 karena
g
(1 )
( 0)
d =0 , sebagaimana ditunjukkan
sebelumnya. Sekarang akan ditunjukkan bahwa jika hasilnya benar untuk
k −1 =contoh.,
g
k =contoh.,
g
ini benar untuk k > 0 dan )arena
( k )
( i)
d = 0, i ≤ k −1 ¿ , maka hal
( k +1 )
(i )
d =0, i ≤ k >. Sudah pasti
0 ≤i < k . engan hipotesis induksi,
( k )
g
( i)
d =0 .
( k + 1)
g
dan
= g( k ) + α k Q d ( k ) ,
d
( k +1)
g
( k )
( i) Q d =0 dengan konjugasi- Q , kita punya
(i )
( k )
( i)
d =g
d + α k d
( k )
(i )
Q d =0 .
Setelahnya menyisakan untuk ditunjukkan bahwa ( k +1) ⏉
g
(k )
d =0 .
"ada akhirnya, ( k +1) ⏉
g
⏉
d =( Q x (k +1 )−b ) d (k )
(
( k )
¿ x −
g d
( k )
( k ) ⏉ ( k )
( k )
d
⏉
Qd ⏉
d ( k )
( k )
)
⏉ ⏉
Q d( k )− b d ( k )
⏉
¿ ( Q x ( k )− b ) d ( k )− g( k ) d ( k ) ¿0 , )arena
( k )
Q x −b = g
( k )
.
leh karena itu, dengan induksi, untuk semua dan
0 ≤i < k ,
( k +1)
g
(i )
d =0 .
0 ≤ k ≤ n −1
engan lema '.$ kita lihat bahwa
(k +1)
g
adalah ortogonal
terhadap tiap 9ektor dari subruang yang dibentangkan oleh (0 )
(1 )
d ,d ,…,d
(k )
G#6#& 1!1 menggambarkan pernyataan ini.
G#6#& 1!1 G#6#&#$ %#&, L*# 1!2!
1ema dapat digunakan untuk menunjukkan si!at optimal yang menarik dari algoritma arah konjugasi. Secara khusus, kita tunjukkan
f ( x
( k + 1)
bahwa
tidak
hanya
) =min f ( x (k )+ α d( k ) )
,
α
f ( x
) = min α 0 , … , α k
(
k
(0 )
f x +
() α d ∑ = i
i
i 0
( k + 1)
sebagaimana
sebelumnya, tetapi juga ( k + 1)
f ( x
)
.
)
memenuhi
diindikasikan
engan kata lain, jika kita tulis
! k = x + "an [ d , d , … , d (0 )
( 0)
(1 )
Maka kita dapat ekspresikan
k
( k )
]
,
f ( x
meningkat, subruang span
( k +1)
) =min f ( x ) x ∈ ! k
[ d( ) , d( ) , … , d( ) ] 0
k
1
dan akhirnya akan mengisi keseluruhan dari (0 )
. Sebagaimana
?diperluas,@
R
n
=tersedia
(1 )
d , d , … , adalah bebas linier>. leh karena itu, untuk
9ektor
cukup beberapa
k , x ¿ akan bergantung dalam
! k . 0ntuk
alasan ini, hasil di atas kadang-kadang disebut dengan teorema perluasan subruang . 0ntuk membuktikan teorema perluasan subruang, de!inisikan matriks #
(k )
dengan
# =[ d , … , d (0 )
(k )
d
yakni,
(i)
( k )
]
adalah kolom ke- i dari
x + R ( # )= ! k .
( 0)
x
k
= x + ∑ α i d( i)
( k +1 )
( 0)
i =0
¿ x( 0) + #( k ) α ,
#
(k )
. 6atat bahwa
α =[ α 0 , … , α k ]
di mana ( k +1 )
x
∈ x
( 0)
⏉
. engan demikian,
+ R ( #( k ) )= ! k .
Sekarang, perhatikan 9ektor sedemikian
x ∈ ! k
. Terdapat 9ektor ( 0)
( k )
x = x + # a .
sehingga
⏀k ( a )= f ( x( 0) + #( k ) a ) . 6atat bahwa
⏀k
a
Misal
adalah !ungsi
kuadrat dan mempunyai minimasi tunggal yang memenuhi N6. engan aturan rantai, ⏉
# ∅ k ( a )=∇ f ( x (0 )+ #( k ) a ) #
x
( k +1 ) ⏉
# ¿ ∇ f ¿
¿g
( k + 1) ⏉
( k )
( k )
( k )
#
engan lema '.$,
. ( k +1) ⏉
g
(k )
# =0
⏉
. leh karena itu,
memenuhi N6 untuk !ungsi kuadrat demikian ( 0)
α adalah minimasi dari ( k )
x + # a f (¿)=min f ( x ) x ∈ ! k
f ( x
( k + 1)
) =min ¿ a
,
α
⏀k , dan dengan
⏀k yakni,
yang melengkapi pembuktian dari hasil kita. Algoritma arah konjugasi sangat e!ekti!. #agaimanapun, untuk menggunakan algoritma, kita membutuhkan arah konjugasi- Q khusus. 0ntungnya, terdapat suatu jalan untuk menghasilkan arah konjugasi- Q bagian
sebagaimana kita tunjukkan iterasi. alam
selanjutnya
kita
akan
membahas
algoritma
yang
menggambungkan generasi dari arah konjugasi- Q . 3! A'&,"# G&#%,*$ K'$./#+,
Algoritma
gradient konjugasi
tidak
menggunakan
arah
konjugasi yang sudah ada, tetapi menghitung arah langsung sebagai proses algoritma. "ada setiap tahap dari algoritma, arah dihitung sebagai kombinasi linier dari arah sebelumnya dan gradien saat ini, sedemikian rupa bahwa semua arah adalah saling
Q -konjugasi-demikian
dinamakan
algoritma
gradient
konjugasi. "erhitungan ini meman!aatkan !akta bahwa untuk !ungsi kuadrat dari
n 9ariabel, kita dapat menemukan !ungsi n pencarian bersama arah saling
minimiBer dengan melakukan konjugasi.
Seperti sebelumnya, kita perhatikan !ungsi kuadrat 1
T
T
n
f ( x )= x Qx− x b , x ∈ R 2
,
T
Q=Q > 0 . Arah pencarian pertama kita dari titik awal
di mana ( 0)
x
adalah dalam arah dari +"***+" %*+*$" yakni,
(0 )
(0 )
d =−g . emikian, ( 1)
(0 )
x = x + α 0 d
(0 )
,
di mana ( 0)
α 0=arg min f ( x + α d
( 0)
( 0) T ( 0 ) − g d )=
.
d (0) T Q d (0 )
α 0 ≥ 0
"ada tahap selanjutnya, kita mencari dalam suatu arah yakni adalah
Q -konjugasi terhadap
sebagai suatu kombinasi linier dari umumnya, pada langkah
d g
(0 )
(1 )
. )ita pilih
(k +1 ) , kita pilih
menjadi kombinasi linier dari
( k + 1)
g
dan
d
dan
d
( k )
d
(0 )
( k +1 )
d
(1 )
d
(1 )
. "ada untuk
. Secara khusus,
kita pilih d
( k + 1)
=− g( k +1) + β k d (k ) , k =0,1,2, … .
)oe!isien sehingga
β k , d
( k +1)
k =1,2, … , adalah dipilih sedemikian rupa
adalah
Q -konjugasi
terhadap
(0 )
(1 )
d ,d ,…,d
( k )
. 7al ini terselesaikan dengan memilih
β k
menjadi ( k + 1)
( k )
g Qd β k = (k )T d Q d ( k )
Algoritma gradien konjugasi telah diringkas sebagai berikut8 k ≔ 0
'. Atur (0 )
pilih titik awal x (0 )
(0 )
( 0)
d =−g
4.
x
5.
g
(.
g Qd β k = ( k ) T d Q d (k )
%.
d
d ( k )T Q d ( k ) .
( k + 1 )
= x (k )+ α k d (k ) .
= ∇ f ( x (k +1) ) .
( k + 1)
C. Atur P&''+,+, (1 )
( k )
.
=− g( k + 1) + β k d (k ) . k ≔ k + 1
menuju langkah 3.
1!1 &alam algoritma gradien konjugasi, arah
d ,d ,…,d %ukti.
( n− 1 )
adalah
Q -kojugasi.
dengan menggunakan
ditunjukkan
berhenti lainnya, atur
−g( k ) T d ( k )
α k =
( k +1)
g =0
.
.
3.
(0 )
(0 )
g =∇ f ( x ) jika
$.
( 0)
bahwa
d
dituliskan sebagai berikut
(0 )
cara induksi. "ertama (1 )
Q d =0 .
"ada
akhirnya
akan bisa
d
(0 )⏉
(1 )
Q d =d
(0 )⏉
Q ( −g + β 0 d ( 1)
( 0)
)
.
Substitusikan untuk
β 0=
g d
( 1 )⏉ (0 )⏉
Qd
(0 )
Qd
(0 )
dalam persamaan di atas, kita lihat bahwa Sekarang kita asumsikan bahwa adalah arah ( k +1) ⏉
g
d
(0 )
(0 ) ⏉
Q d =0 .
(1 )
( k )
( 0)
d , d , … , d , k < n−1 ,
Q - konjugasi. ari 1ema '&.$ kita peroleh
( j )
d =0, j =0,1, … , k .
ortogonal terhadap setiap arah
g
emikian, (0 )
(1 )
d ,d ,…,d
( k )
(k +1 )
adalah
. Sekarang akan
ditunjukkan bahwa ( k +1) ⏉
g
( j )
g =0, j =0,1, … , k . j ∈ { 0, … ,k } . )ita peroleh
Sudah dipastikan ( j )
( j )
( j −1 )
d =− g + β j−1 d
.
Substitusikan persamaan ini ke dalam lapangan sebelumnya. ( k +1)
g
)arena
( j )
d =0 =−g
g
( k + 1)
d
( k + 1)
( j )
g + β j−1 g
( k +1 )
( j −1)
d
.
=0 , maka berlaku juga g(k +1) g( j)=0 .
( j− 1)
Sekarang
d
d
kita
sudah
siap
untuk
membuktikan
( k +1) ⏉
Q d =0, j = 0, … , k . )ita peroleh
( k +1) ⏉
Q d =(− g( k +1) + β k d (k )) Q d
bahwa
( j )
⏉
( j )
j < k , maka
d
( k )
( j )
.
( j )
Q d =0 , dengan virtue dari hipotesis
induksi. )arenanya, kita peroleh
d
( k +1) ⏉
Q d =−g g
Tetapi
d
( j )
( k +1) ⏉
( j + 1)
( k +1 ) ⏉
( j)
Qd
.
=g( j )+ α j Q d ( j ) . karena g(k +1) g(i) =0, i =0, … , k ,
( j )
Q d =−g
⏉
( k + 1) ⏉
( g( j + )− g( j )) 1
α j
=0 .
emikian,
d
( k +1)
( j )
Q d =0, j = 0, … , k −1 .
Menyisakan persamaan yang masih harus ditunjukkan yakni
d
( k +1)
( k )
Q d =0 . )ita peroleh ⏉
⏉
d (k +1) Q d =(−g (k +1) + β k d( k ) ) Qd ( k )
Menggunakan
d
( k +1)
( k )
ekspresi
dari
( k )
.
β k ,
kita
Q d =0 yang menyelesaikan pembuktian.
dapatkan
5'$"' 1!3 "erhatikan !ungsi kuadrat 3
3
f ( x 1 , x 2 , x 3 ) = x1 + 2 x 2+ x 3 + x 1 x 3 + 2 x 2 x3 −3 x 1− x 3 . 2 2 2
2
2
)ita temukan pemerkecil menggunakan algortima gradien konjugasi, menggunakan titik awal x = [ 0,0,0 ] ( 0)
)ita bisa menjadikan 1
⏉
⏉
.
f sebagai
⏉
f ( x )= x Qx− x b , 2 di mana
[ ] 3
0
1
Q= 0
4 2
2 3
1
[] 3
b= 0 .
,
1
)ita peroleh
g ( x ) =∇ f ( x )=Qx −b =[ 3 x 1+ x 3−3, 4 x 2+ 2 x 3 , x 1+ 2 x 2−1 ] emikian, g =[ −3,0,−1 ] (0 )
(0 )
d =−g
( 0)
⏉
,
,
−g( 0)⏉ d ( 0) 10 α 0= (0 ) = =0.2778 (0 ) g
⏉
Qd
36
⏉
.
dan ( 1)
(0 )
(0 )
x = x + α 0 d =[ 0.8333, 0,0.2778 ]
⏉
.
1angkah selanjutnya
g =∇ f ( x 1 )= [−0.2222, 0.5556,0.6667 ] ( )
(1 )
( 1) ⏉
⏉
,
(0 )
g Qd =0.08025 . β 0= (1) ⏉ (0 ) d Qd )ita sekarang dapat menghitung ( )
( )
( )
d 1 =−g 1 + β 0 d 0 = [ 0.4630, −0.5556,−0.5864 ]
⏉
.
emikian, ( 1) ( 1) g d − =0.2187 α 1= ( 1)⏉ ( 1)
d
Qd
dan ( )
( )
( )
x 2 = x 1 + α 1 d 1 =[ 0.9346,−0.1215, 0.1419]
⏉
.
0ntuk menunjukkan iterasi ke tiga, kita hitung
g 2 =∇ f ( x 2 )= [−0.04673,− 0.1869,0.1402] ( )
β 1=
( )
g d
( 2) ( 1) ⏉
Qd
( 1)
Qd
( 1)
=0.07075 ,
⏉
,
( )
( )
( )
d 2 =−g 2 + β 1 d 1 =[ 0.07948, 0.1476,−0.1817 ]
⏉
.
emikian,
− g( 2)⏉ d (2 ) α 2= (2) =0.8231 (2) d
⏉
Qd
dan ( )
( )
( )
x 3 = x 2 + α 2 d 2 =[ 1.000,0.000, 0.000]
⏉
.
6atat bahwa
g =∇ f ( x ) =0 , (3 )
( 3)
Seperti yang diperkirakan, karena tiga 9ariabel. emikian, x
f adalah !ungsi kuadrat dari
= x (3 ) .
¿
-! A'&,"# G&#%,*$ K'$./#+, /$"/8 P*&#+###$ T#8K/#%&#"!
)ita telah ditunjukkan bahwa algoritma gradien konjugat adalah suatu metode langsung konjugat, dan karena itu minimasi
n 9ariabel dalam
suatu !ungsi kuadrat de!init positi! dari
n
langkah. Algoritma dapat diperluas menjadi !ungsi umum non 1
linier dengan mena!sirkan
⏉
⏉
f ( x )= x Qx− x b sebagai 2
pendekatan deret Taylor kedua dari !ungsi objekti!. Mendekati solusi !ungsi seperti berperilaku kurang lebih sebagai kuadrat, seperti yang disarankan oleh deret Taylor. 0ntuk kuadrat, matriks Q , 7essian dari kuadrat, adalah konstan. #agaimanapun, untuk !ungsi umum non linier 7essian adalah mahal. engan demikian, implementasi yang e!isien dari algoritma gradien konjugat yang menghilangkan e9aluasi 7essian pada tiap langkah yang diinginkan. Mengamati bahwa skalar
Q
muncul hanya dalam perhitungan
α k dan β k . )arena ( k )
x
min f (¿ + α d ( k )) α ≥0
,
α k =arg ¿
rumus bentuk tertutup untuk
α k dalam algoritma dapat diganti
oleh prosedur pencarian garis numerik. leh karena itu, kita hanya perlu ber!okus diri dengan rumus untuk penghapusan dari
β k . 0ntungnya
Q dari rumus adalah mungkin dan hasil
dalam algoritma yang bergantung hanya pada !ungsi dan nilai gradien pada tiap iterasi. )ita sekarang membahas modi!ikasi algoritma gradien konjugat untuk !ungsi kuadrat untuk kasus di mana 7essian tidak diketahui, tetapi yang mana nilai !ungsi objekti! dan gradient tersedia. Modi!ikasi semuanya berdasarkan
β k
manipulasi aljabar rumus
sedemikian sehingga
Q
dihilangkan. )ita membahas tiga modi!ikasi terkenal. R//+ H*+"*$*+S",*4*! Sebut kembali bahwa ( k + 1) ⏉ Q d (k )
β k =
g d
( k ) ⏉
Qd
( k )
.
umus 7estenes-Stie!el adalah berdasarkan pada pergantian
( k )
Qd
kondisi
oleh kondisi
(
g
( k +1)
− g( k )
α k
)
. )edua kondisi
adalah sama dalam kasus kuadrat, seperti kita tunjukkan ( k +1 )
x
sekarang. Sekarang, kedua sisi dengan mengenali ( k + 1)
g
= x( k ) + α k d( k ) . Sebelum pengalian
Q , pengurangan
bahwa
(k )
( k )
b dari kedua sisi, dan
g =Q x − b ,
kita
= g( k ) + α k Q d ( k ) , yang mana kita dapat tulis ulang
( k )
Q d =(
g
( k +1)
− g( k )
α k
) . Substitusikan ke dalam persamaan asal
untuk β k yang diketahui 'umus (estenes-)tie*el.
β k =
dapatkan
g
( k + 1) ( k ) ⏉
d
[ g(k +1)− g( k ) ] [ g( k +1 )−g (k )] .
R//+ P'#8R,6,*&*! imulai dari rumus 7estenes-Stie!el,
kita kalikan keluar penyebut untuk mendapatkan ( k + 1 )
β k =
[ g (k +1 )− g(k ) ] ( k +1 ) ( k ) ( k ) . g −d g
g
( k ) ⏉
d
⏉
engan
lema
'.$,
( k )
(k )
d
d =−g + β k −1 d
(k + 1)
( k ) ⏉
g
( k +1 )
=0 .
, dan sebelum pengalian oleh
karena
g
( k )
,
kita dapatkan ( k )
g
( k )
d =−g
( k )
( k )
( k )
g + β k −1 g
d
( k −1 )
=−g (k ) g( k ) ,
sekali lagi kita gunakan 1ema '.$. emikian, kita dapatkan umus "olak-ibieDre
β k =
g
( k + 1) ⏉
[ g(k +1)− g( k ) ]
g
( k ) ⏉
( k )
g
.
R//+ F*"*&R**;*+! imulai dengan umus "olak-
ibieDre, kita kalikan keluar pembilang untuk mendapatkan ( k +1)
g
( k +1)
− g( k +1 ) g( k ) . β k =¿ (k )¿ (k ) g
⏉
g
g
)ita gunakan !akta bahwa
( k +1) ⏉
g
( k )
g =0 , yang kita peroleh
dengan menggunakan persamaan ( k +1) ⏉
g
( k )
d =−g
(k +1) ⏉
( k )
g + β k −1 g
( k +1) ⏉
d
( k − 1 )
dan mengaplikasian 1ema '.$. 7al ini menyebabkan terhadap umus letcher-ee9es ( k +1 )
g
( k )
g
¿
β k =¿
g
( k )
⏉
( k )
g
.
umus di atas memberikan kita algoritma gradien konjugat yang tidak 7essian
memerlukan pengetahuan eksplisitdari
matriks
Q . Semua yang kita butuhkan adalah !ungsi objekti!
dan nilai gradien pada tiap iterasi. 0ntuk kasus kuadrat tiga ekspresi untuk
β k persis sama. Namun, hal ini bukan kasus
untuk !ungsi objekti! umum nonlinier. )ita
membutuhkan
beberapa
sedikit
modi!ikasi
untuk
menerapkan algoritma untuk !ungsi nonlinier. "ertama, seperti yang disebutkan dalam bahasan tentang algoritma steepest
( x (k + ) )=0
∇ f
descent, kriteria penghentian
1
adalah tidak
praktis. Maka dibutuhkan sebuah kriteria penghentian praktis yang cocok. 0ntuk permasalahan nonkuadrat, algoritma biasanya tidak akan
kon9ergen
dalam
n
langkah,
dan
sebagai
keberlangsungan algoritma. ?konjugasi- Q @ dari 9ektor arah akan cenderung memburuk. engan demikian, praktik umum adalah untuk inisialisasi ulang 9ektor arah untuk gradient
negati9e setelah setiap beberapa iterai =misal,
n atau
n +1 >
dan berlanjut hingga algoritma memenuhi kriteria penghentian. Masalah paling penting dalam permasalahan minimasi !ungsi non kuadrat adalah pencarian garis. Tujuan dari pencarian garis adalah
untuk
meminimasi
perhatian terhadap
∅k ( α )= f ( x (k )+ α d (k ) ) dengan
α ≥ 0 . "endekatan khas adalah untuk
kurung atau kotak dalam peminimasi dan kemudian diperkirakan. )etepatan dari pencarian garis adalah !aktor penting dalam menunjukkan algoritma gradient konjugasi.
β k
dianjurkan. Secara umum, pilihan rumus untuk
β k
untuk digunakan
tergantung pada !ungsi objekti!. Sebagai contoh, rumus "olakibieDre diketahui untuk menunjukkan jauh lebih baik daripada rumus letcher-ee9es dalam beberapa kasus tetapi tidak untuk yang lain. aktanya, terdapat kasus dalam
(k )
g , k =1,2, … ,
adalah dibatasi jauh dari nol ketika rumus "olak-ibieDre digunakan. alam pembelajarannya oleh "owell dalam analisis kon9ergensi global menyarankan rumus letcher-ee9es untuk
β k
adalah superior. "owell lanjut menyarankan rumus lain
untuk β k 8
{
(
β k =max 0,
g k +1
)⏉
[ g( + )− g( ) ] k $
( k ) ⏉
g
g
( k )
k
}
.
Algoritma gradien konjugasi berkaitan terhadap Metode Krylo! subruang . Metode-iterasi-)rylo9-subruang, dimulai oleh Magnus 7estenes, *duard Stie!el, dan 6ornelius 1ancBos, telah dinyatakan satu dari '& algoritma dengan pengaruh besar dalam pengembangan dan latihan sains dan teknik pada abad kedua puluh. 0ntuk mengendalikan perspekti! pada algoritma gradient konjugasi,
diperoleh dari
pengendali arsitektur.
5! R#$8/#$
D! S/*+"*% R*#%,$
E! L#",#$
proportional-plus-deri9ati9e
=">
'
Tentukan
´ ={ x 1 , x 2 } %
nilai
yang
meminimalkan
& { x 1 , x 2 }=−12 x 1 + 4 x1 + 4 x 2−4 x 1 x2
dengan
2
2
$
menggunakan metode arah konjugasi. 2 2 Min f ( x )=2 x 1+ x 2 + x 1− x 2+ 2 x 1 x 2 .
3
engan +radien )onjugasi dimulai dari titik =&,&>. Selesaikan model matematika berikut denga metode +radien )onjugasi = 3 iterasi > dimulai dari titik =&,&> 2 2 2 x x + 1 2+ 2 x 1 x 2 − x 1 + 2 x 2 + 4 . Min
4
iberikan !ungsi tujuan sebagai berikut 8 2 2 & = % + 2 ' + %' 6arilah nilai minimum dari !ungsi ini dan nilai '
%
dan
% =2
pada nilai minimum, mulai dari
dan
' =2 . 5
Tampilkan ulang !ungsi 5
f ( x 1 , x 2 )= x 1 + x 2−3 x 1 x 2− x 2−7 2
2
2
1
alam
T
T
f ( x )= % Qx − x b + ( . 2
bentuk
)emudian
gunakan algoritma gradient konjugasi untuk membangun
d
9ektor
(1)
konjugasi- Q dengan
d =∇ f ( x (0 )
( 0)
dimana x = 0 . (
Misalkan 5
f ( x ) , x = [ x 1 , x 2 ] 2
1
2
T
∈ R
2
, diberikan
f ( x )= x 1 + x 2 + 2 x1 x 2−3 x1 − x2 . 2 2
( 0)
)
,
a
f ( x )
Nyatakan 1
T
dalam
bentuk
T
f ( x )= x Qx− x b . 2
b
Tentukan minimasi
f
conjugate
imulai
( 0)
gradient.
x = [ 0,0 ] %
T
menggunakan algoritma dari
titik
awal
.
Misalkan system linear )x = * diberikan oleh8
)x = an x 0=
[ ][ ] [ ] 4 1
1 x 1 3 x 2
=1 2
[] 2 0
6arilah nilai
x 1 dan
gradient konjugasi.
DAFTAR ISTILAH
Metode )onjugasi 1angsung8 Algoritma +radien )onjugasi8 Steepest escent8 "roses +ram-Schmidt8 Teorema "erluasan Subruang8
x 2
menggunakan metode
