Bài giảng Lý thuyết điều khiển nâng cao: Chương 3 - PGS.TS. Huỳnh Thái Hoàng

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.25 MB, 142 trang )

(1)Môn học. LÝ THUYẾT ĐIỀU KHIỂN NÂNG CAO Giảng viên: Giả iê PGS. PGS TS. TS Huỳnh H ỳ h Thái Hoàng H à Bộ môn Điều Khiển Tự Động Khoa Điện – Điện Tử Đại học Bách Khoa TP TP.HCM HCM Email: Homepage: 15 January 2014. © H. T. Hoàng - HCMUT. 1.

(2) Chương 3. ĐIỀU Ề KHIỂN Ể TỐI Ố ƯU. 15 January 2014. © H. T. Hoàng - HCMUT. 2.

(3) Nội dung chương 3 Giới thiệu  Tối ưu hóa tĩnh  Tối ưu hóa động và phương pháp biến phân  Điều khiển tối ưu liên tục dùng phương pháp biến phân  Phương pháp qui hoạch động Bellman  Điều khiển tối ưu toàn phương tuyến tính LQR  Ước lượng trạng thái tối ưu (lọc Kalman)  Điều khiển tối ưu LQG . 15 January 2014. © H. T. Hoàng - HCMUT. 3.

(4) GIỚI THIỆU. 15 January 2014. © H. T. Hoàng - HCMUT. 4.

(5) Giới thiệu Điều khiển tối ưu : xác định luật ĐK cho hệ thống động cho trước sao cho tối thiểu hóa một chỉ tiêu chất lượng.  ĐK tối ưu được phát triển trên cơ sở toán học: phương pháp biến phân (Bernoulli, Euler, Lagrange, Weiertrass,…)  Từ những năm 1950, ĐK tối ưu phát triển mạnh mẽ và trở thành một lĩnh vực độc lập.  Phương pháp quy hoạch động do Richard Bellman đưa ra trong t thập thậ niên1950. iê 1950  Nguyên lý cực tiểu Pontryagin do Lev Pontryagin và các đồng sự đưa ra trong thập niên 1950 1950.  Bài toán điều chỉnh toàn phương tuyến tính và lọc Kalman do Rudolf Kalman đưa ra trong g những g năm1960. . 15 January 2014. © H. T. Hoàng - HCMUT. 5.

(6) Phân loại bài toán điều khiển tối ưu . Có nhiều hiề bài ttoán á điều điề khiển khiể tối ưu, tù tùy th theo:  Loại đối tượng điều khiển  Miền thời gian liên tục hay rời rạc  Chỉ tiêu chất lượng  Bài toán tối ưu có ràng buộc hay không. . ĐK tối ưu tĩnh: chỉ tiêu chất lượng không phụ thuộc thời gian. . ĐK tối ưu động: chỉ tiêu chất lượng phụ thuộc thời gian  Bài toán chỉnh toàn phương tuyến tính (Linear Quadractic Regulator – LQR)  Bài toán điều khiển tối ưu H2 …. 15 January 2014. © H. T. Hoàng - HCMUT. 6.

(7) Ứng dụng Trước khi máy tính số ra đời, đời chỉ có thể giải được một số ít bài toán điều khiển tối ưu đơn giản  Máy y tính số ra đời cho phép p p ứng g dụng ụ g lý ý thuyết y điều khiển tối ưu vào nhiều bài toán phức tạp.  Ngày nay, điều khiển tối ưu được ứng dụng trong nhiều ề lĩnh vực:  Không gian (aerospace)  Điều khiển quá trình (proccess control)  Robot  Kỹ thuật sinh học (bioengineering)  Kinh tế  Tài chính … . 15 January 2014. © H. T. Hoàng - HCMUT. 7.

(8) TỐI Ố ƯU HÓA Ó TĨNH Ĩ. 15 January 2014. © H. T. Hoàng - HCMUT. 8.

(9) Tối ưu hóa tĩnh không ràng buộc . Bài toán tối ưu tĩnh không ràng buộc: tìm m thông số thực (hay phức) u1, u2,…, um sao cho hàm L( 1, u2,…, um) đạt L(u đ t cực tiể tiểu: L(u)=L(u1, u2,…, um)  min trong đó u=[u [ 1, u2,…, um]T. . Điểm u* được gọi là điểm cực tiểu cục bộ nếu L(u)L(u*) với mọi u nằm trong lân cận  của u*.. . Điểm u* được gọi là điểm cực tiểu toàn cục nếu L(u)L(u*) với mọi u. 15 January 2014. © H. T. Hoàng - HCMUT. 9.

(10) Điều kiện cực trị không ràng buộc . Giả sử L(u) khả đạo hàm theo u, u thì điều kiện cần và đủ để u* là điểm cực tiểu cục bộ là:. trong đó:.  Lu (u* )  0  * L ( u  uu )  0.  L u1   L u  L  2 Lu   u      L um  2 2 2   L  u u  L  u u  L u1um   1 1 1 2 2  L   Luu  2       u  2 L umu1  2 L umu2   2 L umum   . 15 January 2014. © H. T. Hoàng - HCMUT. 10.

(11) Tìm cực trị không ràng buộc – Thí dụ 1 Tìm cực trị hàm: L(u)  5u12  2u22  2u1u2  8u1  3u2  Giải:  Điều kiện ệ cần có cực ự trị: ị .  L  L  u1  0 Lu   u  L   u2 . . 10u1  2u2  8  0   2u1  4u 2  3  0. u1*  0.7222  * u2  0.3889. Xét vi phân bậc hai:  2L  2  u Luu   2 1   L  u u  1 2. 2L   u1 u 2  2L  u 22 . . * * ( u , u  1 2 )  (0.7222;0.3889). 15 January 2014. 10 2 Luu    2 4  . . Luu  0. là điểm cực tiểu.. © H. T. Hoàng - HCMUT. 11.

(12) Tìm cực trị không ràng buộc – Thí dụ 1 u*  (0.7222;0.3889) 250 200 150. L. 100 50 0 -50 6. u* 4. 2. u2 15 January 2014. 0. -2. -4. -6. -4 4. © H. T. Hoàng - HCMUT. -2. 0. 2. 4. u1 12.

(13) Tối ưu hóa tĩnh có ràng buộc . Bài toán tối ưu tĩnh có ràng buộc: tìm vector thông số u sao cho hàm L(x,u) đạt cực tiểu, đồng thời thỏa điều kiện f(x,u) f(x u)=0 0 L(x,u)  min f(x u)=0 f(x,u)=0 trong đó x=[x1, x2,…, xn]T u=[u1, u2,…, um]T L :  n   m   : hàm đánh giá điề kiệ kiện ràng à b buộc ộ f :  n   m   p : điều. 15 January 2014. © H. T. Hoàng - HCMUT. 13.

(14) Hàm Hamilton . Định nghĩa hàm Hamilton:. H ( x , u)  L ( x , u)   T f ( x , u) trong đó    là vector hằng số số, gọi là thừa số Larrange p. Do ràng buộc f(x,u) = 0 nên cực tiểu của L(x,u) cũng chính hí h là cực tiểu tiể của ủ H(x,u). H( )  Biến đổi bài toán tìm cực tiểu hàm L(x,u) với ràng buộc f(x,u) = 0 thành bài toán tìm cực tiểu ể không ràng buộc hàm Hamilton H(x,u) . Vi phân hàm Hamilton:. H ( x, u) H ( x, u) dH ( x , u)  dx  du x u 15 January 2014. © H. T. Hoàng - HCMUT. 14.

(15) Thừa số Lagrange . Do ta cần tìm cực trị theo u nên có thể tự do chọn thừa số Lagrange sao cho:. H ( x , u) L( x, u) T f ( x , u) H x ( x , u)    0 x x x  L( x, u)   f ( x , u)        x   x   . 1. T. Viết gọ gọn lại: ạ    Lx  f x  T. 15 January 2014. 1. © H. T. Hoàng - HCMUT. 15.

(16) Độ dốc của hàm mục tiêu với điều kiện ràng buộc L( x , u) L( x , u) dL( x , u)  dx  du x u f ( x, u) f ( x , u)  Do f(x,u) ( , ) = 0 nên: df ( x, u)  dx  du  0 x u 1  f ( x , u )   f ( x , u) du  dx     u  x   Thay (2) vào (1), ta được: . Vi phân hâ hà hàm mục tiê tiêu:. 1. L( x , u) L( x, u)  f ( x, u)  f ( x, u) dL( x , u)   du  du   u u x  x  H ( x , u) f ( x, u) L( x , u)   dL( x, u)   T  dL( x , u)  du  du  u u u    Với ĐK f(x,u)=0, độ dốc của L(x,u) theo u chính bằng Hu(x,u)  Điều kiện để L(x,u) L(x u) đạt cực trị với ràng buộc f(x,u)=0 f(x u)=0 là: H u ( x , u)  0 15 January 2014. © H. T. Hoàng - HCMUT. 16.

(17) Điều kiện cần cực trị có ràng buộc . Kết hợp với điều kiện xác định hằng số Lagrange Lagrange, điều kiện cần để L(x,u) đạt cực trị có ràng buộc f ( x , u)  0 là:.  H x ( x , u)  Lx ( x, u)   T f x ( x , u)  0  T  H u ( x, u)  Lu ( x, u)   f u ( x , u)  0  H  ( x , u)  f ( x , u)  0 trong đó:. 15 January 2014. H ( x , u)  L( x , u)  T f ( x, u). © H. T. Hoàng - HCMUT. 17.

(18) Tìm cực trị có ràng buộc – Thí dụ 1 . Tì cực trị Tìm t ị hàm: hà L(u)  5u12  2u22  2u1u 2  8u1  3u2. Với điều kiện ràng buộc: f (u)  u1  6u2  2  0  Giải:  Hàm Hà H Hamilton: il. H ( u)  L ( u )   f ( u) T. 2 2  H (u)  5u1  2u 2  2u1u 2  8u1  3u 2   (u1  6u 2  2). 15 January 2014. © H. T. Hoàng - HCMUT. 18.

(19) Tìm cực trị có ràng buộc – Thí dụ 1 . Điều kiện cần để có cực trị:.  H x ( u)  0   H u ( u)  0  f (u)  0  . H (u)  100u1  2u2  8    0 u1 . H (u)  2u1  4u2  3  6  0 u2 f (u)  u1  6u2  2  0. Giải hệ phương trình, ta được:. u   0.8412 0.4735 *. T.   0.5353. H (u)  5u12  2u22  2u1u2  8u1  3u2   (u1  6u2  2) 15 January 2014. © H. T. Hoàng - HCMUT. 19.

(20) Tìm cực trị có ràng buộc – Thí dụ 1 u*   0.8412 0.4735. T. 250 200 150. L. 100 50 0 -50 6. u* 4. 2. u2 15 January 2014. 0. -2. -4. -6. -4 4. © H. T. Hoàng - HCMUT. -2. 0. 2. 4. u1 20.

(21) Tìm cực trị có ràng buộc – Thí dụ 2 . Tì cực trị Tìm t ị hàm: hà L( x, u )  ( x  2)  (u  2) 2. 2. Với điều kiện ràng buộc: u  x 2  3 x  6 . Giải:. . Viết lại điều kiện ràng buộc:. u  x 2  3x  6 . . x  3x  6  u  0 2. Hà Hamilton: Hàm H ilt. H ( x, u )  L( x, u )  T f ( x, u )  H ( x, u )  ( x  2) 2  (u  2) 2   ( x 2  3 x  6  u ). 15 January 2014. © H. T. Hoàng - HCMUT. 21.

(22) Tìm cực trị có ràng buộc – Thí dụ 2 . Điều kiện cần để có cực trị:.  H x ( x, u )  0   H u ( x, u )  0   f ( x, u )  0 . H ( x, u )  2( x  2)  2x  3  0 x H ( x, u )  2(u  2)    0 u 2 f ( x, u )  x  3 x  6  u  0. . Giải hệ phương h trình, ì h ta được đ b ba nghiệm: hiệ. . ( x, u )  (4.53;0.92), (1.71;2.04), (1.68;8.22) 2 2 Thay 3 nghiệm trên vào L( x , u )  ( x  2)  (u  2) , ta được các giá trị tương ứng là: 43.78; 0.087; 117.94.. . * 2* )  (1.71 Kết ế luận: cực trị cần ầ Htìm là ( x , u ( x, u )  ( x  2)  (u  2) 2 ;2.04 ( x 2)  3x  6  u ) 15 January 2014. © H. T. Hoàng - HCMUT. 22.

(23) Tìm cực trị có ràng buộc – Thí dụ 3 . Tì cực trị Tìm t ị hàm: hà L( x , u )  x  3 x  u 2 1. 2 2. 2. Với các điều kiện ràng buộc:.  f1 ( x , u )  2 x1  x2  4 0 f ( x, u )       f 2 ( x , u )  x1  u  2  Giải:  Hàm Hamilton: . H ( x , u )  L( x , u )   f ( x , u ) T.  H ( x , u )  x12  3 x22  u 2  1 (2 x1  x2  4)  2 ( x1  u  2). 15 January 2014. © H. T. Hoàng - HCMUT. 23.

(24) Tìm cực trị có ràng buộc – Thí dụ 3 . ĐK cần để có cực trị:. H x ( x, u )  0  H u ( x, u )  0  f ( x, u )  0 . H ( x, u ) / x1  2 x1  21  2  0 H ( x, u ) / x 2  6 x2  1  0 H ( x, u ) / u  2u  2  0. . f1 ( x, u )  2 x1  x2  4  0 f 2 ( x, u )  x1  u  2  0. . Giải hệ phương trình, ta được:. x *  1.5714 0.8514 u *  3.5714    5.1429 7.1429T T. . Do L( x , u )  x  3 x  u là hàm toàn p phương g nên 2 2 2 H ( x , u )ở  xtrên  3 x  u  1 (2 x1 là  xcực  2 ( x1  u  2) cực trị tìm được cũng chính 1 2 2  4)tiểu. 15 January 2014. 2 1. 2 2. 2. © H. T. Hoàng - HCMUT. 24.

(25) TỐI ƯU HÓA ĐỘNG VÀ PHƯƠNG PHÁP BIẾN PHÂN. 15 January 2014. © H. T. Hoàng - HCMUT. 25.

(26) Tối ưu hóa động không ràng buộc . Bài toán tối ưu động không ràng buộc: tìm vector hàm x(t) sao cho phiếm hàm J(x) đạt cực tiểu: tf. J ( x )   L( x, x , t )dt  min t0. trong đó đó:. x (t )  x1 (t ) x2 (t )  xn (t )  n T. L : n  n     Chú ý: Phiếm hàm là hàm của hàm (functional = function of function) *  Phiếm hàm J ( x ) có cực tiểu cục bộ tại x (t ) nếu * J ( x (t ))  J ( x (t )) * x (t ) x với mọi hàm nằm trong lân cận  của (t ) x (t )  x * (t )   15 January 2014. © H. T. Hoàng - HCMUT. 26.

(27) Tìm cực trị phiếm hàm? . Nhắc lại cực trị hàm:  Điều kiện cần: đạo hàm bậc 1 của hàm cần tìm cực trị bằng 0  điểm dừng  Điểm dừng g có đạo ạ hàm bậc ậ 2 xác định ị dương g  điểm cực tiểu. . Cực trị phiếm hàm?  Khái niệm biến phân (variation): có thể hiểu là “đạo hàm của p phiếm hàm”  Phương pháp biến phân (Calculus of Variation): dựa vào khái niệm biến phân đưa ra điều kiện cực trị của phiếm ế hàm tương tự như điều ề kiện cực trị hàm. 15 January 2014. © H. T. Hoàng - HCMUT. 27.

(28) Khái niệm biến phân . L Lượng gia i của ủ phiếm hiế hà hàm: J ( x )  J ( x  x )  J ( x ) trong g đó x ((t ) là biến phân p của hàm x (t ) x (t ) x (t )  x (t ) t. Minh họa biến phân của hàm x (t ) . Biến phân của phiếm hàm:. J ( x )  lim J ( x )  lim [ J ( x  x )  J ( x )] x 0. 15 January 2014. x 0. © H. T. Hoàng - HCMUT. 28.

(29) Thí dụ tính biến phân phiếm hàm 1. . Cho phiếm ế hàm: J ( x)   x 2 (t )dt 0. . Biến phân của phiếm hàm được tính như sau: 1. 1. J [ x(t )]  J ( x  x)  J ( x)   ( x  x) 2 dt   ( x) 2 dt 0. 1. 1. 1. 0. 0. 0.   [ x 2  2 xx  (x) 2 ]dt   ( x) 2 dt   [2 xx  (x) 2 ]dt 0. 1.  J ( x)  lim J ( x)  lim  [2 xx  (x) 2 ]dt x 0. x 0. 0. 1.  J ( x)   [2 xx]dt 0. 15 January 2014. © H. T. Hoàng - HCMUT. 29.

(30) Công thức tính biến phân phiếm hàm dạng tích phân . Ch phiếm Cho hiế hà hàm dạng d tích í h phân hâ tổng ổ quát: á tf. J ( x )   L( x )dt t0. . Biến phân của phiếm hàm dạng tích phân được tính như sau: tf.  L( x )   J ( x )    x dt  x   t0 . 15 January 2014. © H. T. Hoàng - HCMUT. 30.

(31) Biến phân phiếm hàm bài toán tối ưu động không ràng buộc tf. J ( x )   L( x, x , t )dt d. . Phiế hà Phiếm hàm:. . Biến phân phiếm hàm: t f  L( x , x  , t) L( x, x , t )  J    x  x dt t0 x x  . . t0. t. Chú ý rằng: x (t )   x ( )d  x (t0 ) t0. x (t0 )  x (t f )  0 . Thực hiện biến đổi tích phân, phân suy ra: tf.  L( x, x , t ) d L( x, x , t )   J    xdt  x dt x  t0  15 January 2014. © H. T. Hoàng - HCMUT. 31.

(32) Điều kiện cần để phiếm hàm đạt cực trị cục bộ . Điều kiện cần để phiếm hàm J ( x ) đạt cực trị cục bộ tại x * (t ) là biến phân của J ( x ) phải bằng 0 tại x * (t ). J ( x )  0 x  x. *.  ĐK cần để bài toán tối ưu động không ràng buộc có cực trị:. L( x, x , t ) d L( x, x , t ) L d L  0   0 x x x dt x dt (phương trình Euler-Lagrange)  Trường hợp đặc biệt khi L không phụ thuộc tường minh vào t, dạng đơn giản của pt Euler-Lagrange là: t L J   L( x, x , t )  d L( x, x , t ) xdt số) L  x  c (c là hằng   x dt  x   t x f. 0. 15 January 2014. © H. T. Hoàng - HCMUT. 32.

(33) Tối ưu hóa động không ràng buộc – Thí dụ 1 . Tìm hàm x(t) sao cho : J ( x) .  /2. 2   [ x (t )  x (t )]dt  min 2. 0. Vớii điều điề kiện ki biên: bi x(0)  1, x( / 2)  3  Giải:  Theo đề ề bài, ta có: L  x 2  x 2  Phương trình Euler-Lagrange: L d  L  d     0  2 x   2 x   0  x  x  0 x dt  x  dt  Lời giải tổng ổ quát: x(t )  C1 sin t  C2 cos t  Thay điều kiện biên, suy ra: C1  3,C 2  1  Kết luận: x * (t )  3 sin t  cos t 15 January 2014. © H. T. Hoàng - HCMUT. 33.

(34) Tối ưu hóa động không ràng buộc – Thí dụ 2 . Tìm hàm x(t) sao cho phiếm hàm dưới đây đạt cực tiểu: 2. J ( x)   1  x 2 (t )dt  min với ĐK biên: x(0)  1, x(2)  0 0. Giải: L d  L   Phương trình Euler-Lagrange:   0 x dt d  x  . d  x   dt  1  x 2. x 1  x 2  x. 1. 2   1  x 0   2  1  x   Lời g giải tổng g qquát: x(t )  C1t  C2 1  Thay điều kiện biên, suy ra: C1   ,C 2  1 2 1  Kết ế luận: x* (t )   t  1 2. 15 January 2014. © H. T. Hoàng - HCMUT. xx. 0.  x  0. L  1  x 2 34.

(35) Tối ưu hóa động có ràng buộc . Bài toán tối ưu ư động có ràng buộc: b ộc: tìm vector ector hàm x(t) xác ác định trên đoạn [t0, tf] sao cho phiếm hàm J(x) đạt cực tiểu: tf. J ( x )   L( x, x , t )dt  min t0. với điều kiện ràng buộc f ( x, x , t )  0 và điều kiện biên: x(t0)=x0, x(tf)=xf trong đó: x (t )  x1 (t ). x2 (t )  xn (t )   T. n. L : n  n    . f : n  n     p. 15 January 2014. © H. T. Hoàng - HCMUT. 35.

(36) Hàm Hamilton và điều kiện cần để có cực trị . Định nghĩa hàm Hamilton: H ( x , x ,  , t )  L( x, x , t )   T f ( x , x , t ) t trong đó  (t )   p là vector t hàm, hà gọii là thừa thừ số ốL Larrange. . t1. Do f ( x , x , t )  0 nên cực tiểu của J ( x )   L( x, x , t )dt t1. t0. cũng chính là cực tiểu của J ( x )   H ( x , x ,  , t )dt t0.  tìm cực tiểu iể không kh ràng buộc b phiếm hiế hhàm J ( x ) . Điều kiện cần để phiếm hàm J ( x ) có cực trị là: H ( x, x ,  , t ) d H ( x, x ,  , t )  0 x x dt (PT Euler-Lagrange của bài toán tối ưu động có ràng buộc). 15 January 2014. © H. T. Hoàng - HCMUT. 36.

(37) Tối ưu hóa động có ràng buộc dạng tích phân . Bài toán tối ưu động có ràng buộc: tìm vector hàm x(t) xác định trên đoạn [t0, tf] sao cho phiếm hàm J(x) đạt cực tiểu: tf. J ( x )   L( x, x , t )dt  min t0. với điều kiện ràng buộc. . tf. t0. f ( x, x , t )dt  q. và điều kiện biên: x(t0)=x0, x(tf)=xf . Hàm Hamilton và pphươngg trình Euler-Lagrange g g trong g trường hợp ràng buộc tích phân như sau:  ,  , t )  L( x, x , t )   T f ( x , x , t )  Hàm Hamilton: H ( x , x  Phương trình Euler-Lagrange: H ( x, x ,  , t ) d H ( x, x ,  , t )  0 x dt x. 15 January 2014. © H. T. Hoàng - HCMUT. 37.

(38) Trình tự giải bài toán tối ưu động có ràng buộc . Bước 1: Xác định hàm mục tiêu, tiêu đđ.kiện kiện ràng buộc và điều tf kiện biên: J ( x )   L( x, x , t )dt t0. tf. Đ.kiện ràng buộc f ( x, x , t )  0 hoặc t f ( x, x , t )dt  q 0 Điều kiện biên x (t0 )  x0 và x (t f )  x f  Bước 2: Thành lập hàm Hamilton: H ( x , x ,  , t )  L( x , x , t )   T f ( x , x , t )  Bước 3: Viết phương trình Euler-Lagrange: H ( x, x ,  , t ) d H ( x, x ,  , t )  0 x dt x  Bước 4: Tìm nghiệm PT Euler-Lagrange Euler Lagrange thỏa điều kiện ràng buộc và điều kiện biên 15 January 2014. © H. T. Hoàng - HCMUT. 38.

(39) Tối ưu hóa động có ràng buộc – Thí dụ 1 . Tìm hàm x(t) sao cho phiếm hàm dưới đây đạt cực tiểu: 4. J ( x)   x 2 (t )dt  min 0 4. với điều kiện ràng buộc:  x(t )dt  3 0. và điều kiện biên: x(0)  0, x(4)  0 . Giải:. . Hàm Hamilton:. H ( x, x ,  , t )  L( x, x , t )  f ( x, x , t )  H ( x, x ,  , t )  x 2 (t )  x(t ) 15 January 2014. © H. T. Hoàng - HCMUT. 39.

(40) Tối ưu hóa động có ràng buộc – Thí dụ 1 . Phương trình Euler Euler-Lagrange: Lagrange: H ( x, x ,  , t ) d H ( x, x ,  , t )  0 x dt x  . . d 2 x (t )  0 d dt.   2 x(t )  0 ((1)). . Tìm nghiệm phương trình Euler-Lagrange: (1)  x(t )   x(t ) . 15 January 2014. . . 2.  4. t 2  c1t  c2. x (t ) .  2. t  c1. H ( x, x ,  , t )  x 2 (t )  x(t ). © H. T. Hoàng - HCMUT. 40.

(41) Tối ưu hóa động có ràng buộc – Thí dụ 1 . Xác định các hằng số dựa vào điều kiện ràng buộc và điều kiện biên:. x(0) .  4. .0  c1.0  c2  0. . c2  0. x(4)  4  4c1  0 4.   3 c1 2  16 0 x(t )dt  12 t  2 t  0  3  8c1  3 4. 9 2 9  Kết luận: x (t )   t  t 32 8 *. 15 January 2014. © H. T. Hoàng - HCMUT. 9 c1  8 9  8. . x(t ) .  4. t 2  c1t  c2 41.

(42) Tối ưu hóa động có ràng buộc – Thí dụ 2 . Tìm vector hàm x (t )  x1 (t ) dưới đây đạt cực tiểu: 2. x2 (t ) sao cho phiếm hàm T. . . J ( x )   5( x1  1) 2  x22 dt d  min i 0. với điều kiện ràng buộc: f ( x, x , t )  x1  2 x1  x2  0 và điều kiện biên: x1 (0)  0; x1 (2)  1 . Giải:. . Hàm Hamilton:. H ( x, x ,  , t )  L( x, x , t )  f ( x, x , t )  H ( x, x ,  , t )  [5( x1  1) 2  x22 ]   ( x1  2 x1  x2 ) 15 January 2014. © H. T. Hoàng - HCMUT. 42.

(43) Tối ưu hóa động có ràng buộc – Thí dụ 2 . . Phương trình Euler Euler-Lagrange: Lagrange: H d H (1)  10( x1  1)  2    0  0 x1 dt x1 H d H  0  2 x2    0 (2)  x2 dt x2 Tìm nghiệm phương trình Euler-Lagrange thỏa điều ề kiện ràng buộc:   2 x2 (3)   (2) 2 x2   2x. 10( x1  1)  4 x2  2 x 2  0  x2  x1  22xx1 Từ điều ề kiện ràng buộc, suy ra:   x2  x1  2 x1. Thay (3) vào (1):. (4) (5). y ((5)) vào ((4): ) 10( x1  1)  4( x1  2 x1 )  2( x1  2 x1 )  0 Thay ( xx, x, 10 , t )0[5( x1  1) 2  x22 ]   ( x1  2 x1 (6)  x2 )  2 x1 H18 1 15 January 2014. © H. T. Hoàng - HCMUT. 43.

(44) Tối ưu hóa động có ràng buộc – Thí dụ 2 N hiệ tổ Nghiệm tổng quát át của ủ phương hươ ttrình ì h (6). x1 (t )  C1e 3t  C 2 e 3t  0.556 Thay điều ề kiện biên x1 (0)  0; x1 (2)  1. C1  C 2  0.556  0   0.0025C1  403.42C 2  0.556  1  x1 (t )  0.5549e 3t  0.0011e 3t  0.556. C1  0.5549  C 2  0.0011 (7). Thay (7) vào (5): x2  x1  2x1 . x2 (t )  0.5549e 3t  0.0055e 3t  1.112. 15 January 2014. © H. T. Hoàng - HCMUT. 44.

(45) ĐIỀU KHIỂN TỐI ƯU LIÊN TỤC DÙNG PHƯƠNG PHÁP BIẾN PHÂN. 15 January 2014. © H. T. Hoàng - HCMUT. 45.

(46) Bài toán điều khiển tối ưu liên tục . Cho đối tượng:. x (t )  f ( x (t ), ) u(t )). ((*)). trong đó: x (t )  [ x1 (t ), x2 (t ),..., xn (t )]T : vector trạng thái. u(t )  [u1 (t ), u2 (t ),..., um (t )]T : vector tín hiệu ĐK Trạng thái đầu: x (0)  x0 , trạng thái cuối: x (t f )  x f . Bài toán điều khiển tối ưu: tìm tín hiệu ĐK u(t) sao cho: tf. J (u)   ( x (t f ))   L( x (t ), u(t ), t )dt  min t0. . Nghiệm x*(t) của phương trình vi phân (*) ứng với tín hiệu điều ề khiển ể tối ố ưu u*(t) gọi là quỹ đạo trạng thái tối ố ưu.. 15 January 2014. © H. T. Hoàng - HCMUT. 46.

(47) Phân loại bài toán điều khiển tối ưu . Khoảng thời gian xảy ra quá trình tối ưu là tf , có thể phân loại:  Bài toán tối ưu có tf cố định, ví dụ:  Điều Điề khiển đoàn tàu tà hỏa giữa 2 ga với ới lịch trình xác ác định sao cho năng lượng đoàn tàu tiêu thụ là thấp nhất;  Điều khiển quá trình chuyển đổi hóa học trong thời gian cho trước với chi phí thấp nhất  Bài toán tối ưu có tf không cố định, ví dụ:  Điều khiển tên lửa lên độ cao xác định với thời gian nhanh nhất  Điều khiển tàu biển đi được xa nhất với một nguồn năng lượng cố định cho trước. 15 January 2014. © H. T. Hoàng - HCMUT. 47.

(48) Phân loại bài toán điều khiển tối ưu (tt) . Các bài toán điều điề khiển tối ưu ư động có trạng thái đầu đầ x0 cho trước. Trạng thái cuối quá trình tối ưu là xf =x(tf), có thể phân loại:  Điểm cuối tự do, ví dụ:  Điều khiển tên lửa lên độ cao lớn nhất;  Điều khiển tàu biển đi được xa nhất với một nguồn năng lượng cố định cho trước  Điểm Điể cuối ối bị ràng à buộc, b ộ víí dụ: d  Điều khiển tên lửa vào quỹ đạo với thời gian nhanh nhất. nhất  Điểm cuối cố định cho trước, ví dụ:  Điều khiển gghépp nối các con tàu  Điều khiển hệ thống về trạng thái cân bằng. 15 January 2014. © H. T. Hoàng - HCMUT. 48.

(49) Giải bài toán ĐK toán tối ưu dùng PP biến phân . Bài toán ĐK tối ưu liên tục có thể phát biểu lại như sau: tf. min J (u)   ( x (t f ))   L( x (t ), u(t ), t )dt u(t ). 0. với điều kiện x (t )  f ( x (t ), u(t ), t ) trong đó t0, tf, và x (t0 )  x0 cho trước . Kết hhợp điều Kế điề kiện kiệ ràng à buộc b ộ vào à hàm hà mục tiêu iê dùng dù hàm hà Lagrange: tf. J (u)   ( x (t f ))   L( x (t ), u(t ), t )  T (t ) f ( x (t ), u(t ))  x (t )dt 0. 15 January 2014. © H. T. Hoàng - HCMUT. 49.

(50) Giải bài toán ĐK toán tối ưu dùng PP biến phân . Định nghĩa hàm Hamilton:. H ( x , u, t ,  )  L( x , u, t )  T (t ) f ( x , u, t ) tf.  J ( u)   ( x (t f ))   [ H ( x, u, t ,  )  T (t ) x ]dt t0.  Cần tìm u*(t) sao cho: J (u)  0 . u u* u. Biến phân của phiếm hàm mục tiêu:       T x    T x   t t f  x. J  . 15 January 2014. . . tf. t t 0.  H  T  H    (t ) x     u dt x u   t 0 . © H. T. Hoàng - HCMUT. 50.

(51) Điều kiện cần để có lời giải bài toán điều khiển tối ưu . . Chú ý là x (t0 )  0 do điều kiện đầu cố định; x (t f )  0 nếu điểm cuối ràng buộc, x (t f )  0 nếu điểm cuối tự do Để J (u)  0 với ới mọii u cần ầ cóó các á điều điề kiện: kiệ. H 0 u  Lưu ý:. H   (t)   x.  (t f ) .  (t f ) x.  ((tt f ). Điều kiện  (t f )  chỉ cần đối với bài toán điểm x cuối tự do.   (t ) được gọi là đồng trạng thái của hệ thống t H  Jh(u)   (trình xì(t fh))đồ   [ Htrạng (t )  Tthái (t ) x ]dt d   (t))   đ được gọii là phương đồng hái x 0. . f. 15 January 2014. © H. T. Hoàng - HCMUT. 51.

(52) Trình tự giải bài toán điều khiển tối ưu . x (t )  f ( x (t ), ) u(t ), ) t) B ớ 11: Viết PTTT môô tả đối tượng: Bước t. . Bước 2: Viết hàm mục tiêu và ĐK biên từ yêu cầu thiết kế . Bài toán điểm cuối tự do:. tf. min J ( u)   ( x (t f ))   L( x (t ), ) u(t ), ) t )dt u( t ). Điều kiện đầu: x (t0 )  x0 . t0. Bài toán điểm cuối ràng buộc: tf. min J ( u)   L( x (t ), u(t ), t )dt u( t ). t0. Điều kiện đầu x (t0 )  x0 và điều kiện cuối x (t f )  x f 15 January 2014. © H. T. Hoàng - HCMUT. 52.

(53) Trình tự giải bài toán điều khiển tối ưu . Bước 3: Thành lập hàm Hamilton: H (t )  L( x, u, t )   T (t ) f ( x , u, t ). . Bước 4: Viết điều kiện cần để có lời giải tối ưu:. PT trạng thái:. x (t )  f ( x (t ), ) u(t ), ) t). H  PT đồng trạng thái:  (t)   x. Điều kiện đầu:. H 0 u x (t0 )  x0. ệ cuối: Điều kiện. x (t f )  x f. Điều kiện dừng:. hoặc  (t f )  . (Bài toán điểm cuối cố định).  (t f ) x. (Bài toán điểm cuối tự do). Bước 5: Giải hệ phương trình ở trên sẽ tìm được u*(t) và x*(t) 15 January 2014. © H. T. Hoàng - HCMUT. 53.

(54) Điều khiển tối ưu – Thí dụ 1 . Đặc tính động học nhiệt độ lò sấy cho bởi phương trình: y (t )  2( y (t )  ya )  u (t ). . trong đó y(t) là nhiệt độ lò sấy và ya = 250C là nhiệt độ môi trường; u(t) là cường độ dòng nhiệt cấp lò sấy và t là thời gian (giờ) Yêu cầu: Thiết kế luật điều khiển u(t) điều khiển nhiệt độ nhiệt độ lò sấy ấ sao cho sau một giờ đạt đến ế càng gần ầ nhiệt độ đặt yd = 750C càng tốt và tối thiểu năng lượng tiêu tốn. Giải:. . Bước 1: Thành lập phương trình trạng thái:. . Đặt biến trạng thái: x(t )  y (t )  ya  Phương trình trạng thái của lò sấy là: x (t )  2 x(t )  u (t ). 0  Trạng thái cuối ố mong muốn: ố x f  x(1)  y (1)  ya  yd  ya  50 15 January 2014. © H. T. Hoàng - HCMUT. 54.

(55) Điều khiển tối ưu – Thí dụ 1 (tt) . Bước 2: Xác định hàm mục tiêu và điều kiện biên: Theo yêu cầu thiết kế là trạng thái cuối x(tf ) càng gần xf =50 càng tốt, đồng thời tối thiểu năng lượng tiêu tốn, suy ra hàm mục tiêu: tf. 1 2 1 2 J (u )  [ x(t f )  x f ]   u (t )dt  min 20 2 (Đây là bài toán tối ố ưu điểm ể cuối ố tự do) trong đó  là trọng số tùy chọn (muốn trạng thái cuối càng gần xf thì chọn  càng lớn) Điều kiện đầu: x0  0; t f  1 . Bước 3: Định nghĩa hàm Hamilton:.  15 January 2014. H ( x, u,  , t )  L( x, u, t )   (t ) f ( x , u, t ) 1 2 H ( x , u,  , t )  u (t )   (t )[2 x(t )  u (t )] 2 © H. T. Hoàng - HCMUT. 55.

(56) Điều khiển tối ưu – Thí dụ 1 (tt) . Bước 4: Điều kiện cần để có nghiệm tối ưu PT trạng thái:. x (t )  2 x(t )  u (t ). H  PT đồng trạng thái:  (t )   x H H Điề kiệ Điều kiện dừ dừng: 0 u Điề kiệ Điều kiện đầ đầu: Điều kiện cuối:.  . (1).  (t )  2 (t ) u (t )   (t )  0. x(t0 )  x0  0.  (t f ) .  (t f ) x. (2) (3) (4).   (1)   ( x(1)  50). ((5)). 1 2 H ( x , u,  , t )  u (t )   (t )[2 x(t )  u (t )] 2 15 January 2014. © H. T. Hoàng - HCMUT. 56.

(57) Điều khiển tối ưu – Thí dụ 1 (tt) . Bước 5: Giải phương trình vi phân . Nghiệm phương trình (2): (6).  (t )  C1e 2t . Thay (6) vào (3):. u (t )  C1e 2t . (7). Thay (7) vào (1) (1), ta được: x (t )  2 x(t )  C1e 2t.  x(t )  . (8). C1 2t e  C2 e  2t 4 x (tu)((tt)) 22x(t()t ) u0(t ). 15 January 2014. © H. T. Hoàng - HCMUT. (1) (3) (2) 57.

(58) Điều khiển tối ưu – Thí dụ 1 (tt) . Xác định các hằng số dựa vào điều kiện biên:.  x ( 0)  0  (1)    x(1)  50    C1  4  C2  0   C1 2  2 C1e     e  C2 e  2  50    4  50   C1   e 2   (e 2  e  2 ) / 4  12.5  C2    e 2   ( e 2  e  2 ) / 4. 15 January 2014. © H. T. Hoàng - HCMUT. 58.

(59) Điều khiển tối ưu – Thí dụ 1 (tt) . Kết ế luận: Tín hiệu điều ề khiển ể và quỹ đạo trạng thái tối ố ưu là:. u (t )  C1e 2t C1 2t x(t )   e  C2 e  2t 4. 15 January 2014. © H. T. Hoàng - HCMUT. 59.

(60) Điều khiển tối ưu – Thí dụ 2 . Cho hệ thống xe như hình vẽ. vẽ Quan hệ vào ra của hệ thống mô tả bởi phương trình vi phân:. y(t)) y( M. u(t). My(t )  u(t ) trong g đó u(t) ( ) là tín hiệu ệ vào (lực ( ự điều khiển); ); y( y(t)) là tín hiệu ệ ra ((vịị trí xe); m = 0.5kg là khối lượng xe . Bài toán đặt ra là thiết kế luật điều khiển u(t) để điều khiển xe từ trạng thái hái đứ đứng yên ê tạii gốc ố tọa độ đế đến trạng thái hái đứ đứng yên ê tạii vịị tríí cách gốc tọa độ 10cm trong khoảng thời gian 1 giây, đồng thời tối g lượng g tiêu tốn. thiểu năng. . Yêu cầu:  Hãy y thành lập ập bài toán tối ưu cho yyêu cầu thiết kế trên.  Giải bài toán tìm tín hiệu điều khiển tối ưu 15 January 2014. © H. T. Hoàng - HCMUT. 60.

(61) Điều khiển tối ưu – Thí dụ 2 . Giải Giải:. . Bước 1: Viết phương trình trạng thái của đối tượng . ) x2 (t )  y (t ) Đặt các biến ế trạng thái x1 (t )  y (t ),. . Phương trình trạng thái mô tả đối tượng.  x1 (t )  x 2 (t )  x (t )  1 u(t )  2 M  x1 (t )  x2 (t )    x 2 (t )  2u(t ). 15 January 2014. © H. T. Hoàng - HCMUT. 61.

(62) Điều khiển tối ưu – Thí dụ 2 . Bước 2: Xác định hàm mục tiêu và điều kiện biên:  Yêu cầu thiết kế là trạng thái xe tại thời điểm tf = 1 đứng yên tại vị trí 10cm (điểm cuối ràng buộc) đồng thời tối thiểu năng lượng tiêu tốn, ố suy ra hàm mục tiêu: 1 1 2 (Bài toán tối ưu J (u )   u (t )dt  min điểm cuối ràng buộc) 20  Từ dữ kiện của đề bài, có thể xác định được điều kiện biên: Điều kiện đầu: x1 (0)  y (0)  0, x2 (0)  y (0)  0 Điều kiện cuối: x1 (1)  y (1)  10, x2 (1)  y (1)  0. . Bước 3: Thành lập hàm Hamilton: . H ( x , u,  , t )  L( x , u, t )   T (t ) f ( x , u, t ) 1 2 H ( x, u,  , t )  u (t )  1 x 2 (t )  2 2u(t ) 2. 15 January 2014. © H. T. Hoàng - HCMUT. 62.

(63) Điều khiển tối ưu – Thí dụ 2 (tt) . Bước 4: Điều kiện cần để có nghiệm tối ưu PT trạng thái:.  x1 (t )  x2 (t )   x 2 (t )  2u(t ). (1). H   ( t )   0  1 x1  PT đồng trạng thái:  2 (t )   H  1  x 2 Điều kiện dừng:. H 0 u u. Điều kiện đầu:. x (0)  0;0. Điều kiện cuối:. x (1)  10;0. 15 January 2014. . u ( t )  2 2 ( t )  0. T. (2). (3) (4). T. © H. T. Hoàng - HCMUT. (5) 63.

(64) Điều khiển tối ưu – Thí dụ 2 (tt) . Bước 5: Giải phương trình vi phân  . . 1 (t )  C1 Nghiệm g ệ pphương g trình ((2): )  2 (t )  C1t  C 2 Nghiệm phương trình (3): u(t )  22 (t )  2C1t  2C 2. (6). (7). Thay (7) vào (1), ta được:  x1 (t )  x 2 (t )   x 2 (t )  2u (t )  4C1t  4C 2.  x1 (t )  23 C1t 3  2C 2 t 2  C3t  C 4   2 x ( t )  2 C t  4C 2 t  C3 1  2 15 January 2014. © H. T. Hoàng - HCMUT. (9) 64.

(65) Điều khiển tối ưu – Thí dụ 2 (tt) . Thay điều kiện biên:.  x1 (0)  C 4  0  x 2 (0)  C3  0  x (1)  2 C  2C  10 2 3 1  1  x 2 (1)  2C1  4C 2  0. . C 4  0 C  0  3  C1  30 C 2  15. Kết ế luận: Tín hiệu điều ề khiển ể tối ố ưu là. u (t )  60t  30 *. 15 January 2014. © H. T. Hoàng - HCMUT. (7). 65.

(66) PHƯƠNG PHÁP QUI HOẠCH ĐỘNG. 15 January 2014. © H. T. Hoàng - HCMUT. 66.

(67) Nguyên lý tối ưu Bellman Phương pháp qui hoạch động (DP – Dynamic Programing) do Bellman đề xuất (1957)  Phương pháp qui hoạch động là một thuật toán xác định dãy giá trị {u(k)} tối ưu để tối thiểu chỉ tiêu chất lượng J.  Nguyên g y lý ý tối ưu: Mỗi đoạn cuối của q quỹ ỹ đạo trạng g thái tối ưu cũng là một quỹ đạo trạng thái tối ưu. . x2. Đoạn 2. xN. Đoạn 3. xk. Đoạn 1. x0 x1 15 January 2014. © H. T. Hoàng - HCMUT. 67.

(68) Thí dụ tìm đường ngắn nhất dùng DP . Tìm đường ngắn nhất đi từ A đến J, J cho biết mạng lưới đường như hình vẽ.. . Nguyên lý tối ưu Bellman: tìm đường ngắn nhất ngược từ nút đích đến nút đầu.. 15 January 2014. © H. T. Hoàng - HCMUT. 68.

(69) Thí dụ tìm đường ngắn nhất dùng DP  . Phân bài toán tìm đường thành các bước từ 1 đến 5 Ký hiệu Nki là nút thứ i ở bước k N21. N31 N41. N11. N22. N32. N51 N42. N33 N23 Bước 1 15 January 2014. Bước 2. Bước 3 © H. T. Hoàng - HCMUT. Bước 4. Bước 5 69.

(70) Thí dụ tìm đường ngắn nhất dùng DP. . Ký hiệu: *  J k ( N ki ) là khoảng cách ngắn nhất từ nút N ki đến nút đích J  d ( N ki , N k 1, j ) là khoảng g cách từ nút N ki đến nút N k 1, j. . Phương trình Bellman: J k* ( N ki )  min d ( N ki , N k 1, j )  J k*1 ( N k 1, j ). . j. . . ắ nhất ấ từ nút đầu ầ đến ế nút đích. J1* ( N11 ) là khoảng cách ngắn 15 January 2014. © H. T. Hoàng - HCMUT. 70.

(71) Thí dụ tìm đường ngắn nhất dùng DP. . Giải PT Bellman qua 2 vòng:  Vòng ngược: đi ngược từ nút cuối về nút đầu tìm đoạn đường cuối ngắn nhất  Vòng xuôi: đi từ nút đầu đến nút cuối  đường đi tối ưu. 15 January 2014. © H. T. Hoàng - HCMUT. 71.

(72) Thí dụ tìm đường ngắn nhất dùng DP. . Vòng ngược:. . Bước 5: bắt đầu từ nút đích J 5* ( N 51 )  0. . Bước 4: đoạn đường ngắn nhất từ nút N41 hoặc N42 đến đích: J 4* ( N 41 )  d ( N 41 , N 51 )  J 5* ( N 51 )  3. J 4* ( N 42 )  d ( N 42 , N 51 )  J 5* ( N 51 )  4 15 January 2014. © H. T. Hoàng - HCMUT. 72.

(73) Thí dụ tìm đường ngắn nhất dùng DP (tt) . Bước 3: có nhiều lựa chọn, từ nút N3i phải chọn ọ đường g đi đến đích qua nút N4j nào tối ưu đoạn quỹ đạo cuối ối J 3* ( N 3i ) ?. J 3* ( N 3i )  mind ( N 3i , N 4 j )  J 4* ( N 4 j ) j. * d ( N , N )  J 3i 4j 4 (N4 j ) Từ nút N 41 N 42 N3i N 31 1+3=4 4+4=8 N 32 6+3=9 3+4=7. N 33 15 January 2014. 3+3=6. 3+4=7. J ( N 3i ). Quyết định đi đến. 4. N41 (H). 7. N42 ((I)). 6. N41 (H). * 3. © H. T. Hoàng - HCMUT. 73.

(74) Thí dụ tìm đường ngắn nhất dùng DP (tt) . Bước 2: tìm đường tối ưu từ nút N2i đến nút đích N51 (tức nút J), sử dụng kết ế quả tối ưu đoạn cuối tìm được ở bước 3. J 3* ( N 31 )  4 J 3* ( N 32 )  7 J 3* ( N 33 )  6. J 2* ( N 2i )  mind ( N 2i , N 3 j )  J 3* ( N 3 j ) j. Từ nút N2i N 21. d ( N 2i , N 3 j )  J 3* ( N 3 j ) N 31. J ( N 2i ). Quyết định đi đến. * 2. N 32. N 33. 7+4=11. 4+7=11. 6+6=12. 11. N 31 hoặc N 32. N 22. 3+4=7. 2+7=9. 4+6=10. 7. N 31. N 23. 4+4=8. 1+7=8. 5+6=11. 8. N 31 hoặc N 32. 15 January 2014. © H. T. Hoàng - HCMUT. 74.

(75) Thí dụ tìm đường ngắn nhất dùng DP (tt) . Bước 1: tìm đường tối ưu từ nút N11 (tức nút A)) đến nút đích N51 (tức nút J), sử dụng kết quả tối ưu đ đoạn cuối ối tì tìm đ được ở bước 2. J 2* ( N 21 )  11 J 2* ( N 22 )  7 J 2* ( N 23 )  8. . . J1* ( N11 )  min d ( N11 , N 2 j )  J 2* ( N 2 j ) j. Từ. N11. d ( N11 , N 2 j )  J 2* ( N 2 j ) N 21 2+11=13. 15 January 2014. N 22 4+7=11. N 23 2+8=10. © H. T. Hoàng - HCMUT. J ( N11 ). Quyết Q ết định đi đến. 10. N 23. * 1. 75.

(76) Thí dụ tìm đường ngắn nhất dùng DP (tt). . Vò xuôi: Vòng ôi đi từ bước b ớ 1 đến đế b bước ớ 5 để rút út ra đường đ ờ đi tối ưu. Kết luận: Đường đi tối ố ưu: N11  N 23  N 31  N 41  N 51. . hoặc: N11  N 23  N 32  N 42  N 51. 15 January 2014. © H. T. Hoàng - HCMUT. 76.

(77) Bài toán điều khiển tối ưu động rời rạc . Cho đối tượng ợ g mô tả bởi p phương g trình sai p phân:. x (k  1)  f ( x (k ), u(k )) trong đó: x (k )  [ x1 (k ), x2 (k ),..., xn (k )]T: vector trạng g thái. (*). . u(k )  [u1 (k ), u2 (k ),..., um (k )]T: vector tín hiệu điều khiển Trạng thái đầu: x (0)  x0 , trạng thái cuối: x ( N )  x N. . Bài toán điều khiển tối ưu: tìm tín hiệu u(k) sao cho: N 1. J   ( N , x N )   L( x (k ), ) u(k ))  min k 0. . Chú ý: Bài toán tối ưu điểm cuối tự do  ( N , x N )  0 Bài toán tối ưu điểm cuối cố định  ( N , x N )  0 Ý tưởng giải bài toán ĐK tối ưu rời rạc dùng nguyên lý tối ưu (k ) phụ thuộc x * (k ) theo chiều Bellman: tìm kiếm nghiệm u* (k ngược hướng quỹ đạo từ điểm cuối xN đến điểm đầu x0 15 January 2014. © H. T. Hoàng - HCMUT. 77.

(78) PP qui hoạch động giải bài toán ĐK tối ưu rời rạc Đặt hàm mục tiêu tối ưu cho đoạn quỹ đạo t.thái t thái cuối kể từ điểm x(k) N 1   * J k ( x ( k ))  min  ( N , x ( N ))   L( x (i ), u(i )) , ( k  0, N  1) u ( k ),...,u ( N 1) i k   *  Biểu diễn J k ( x (k )) dưới dạng: N 1   * J k ( x (k ))  min  L( x (k ), ) u(k ))   ( N , x ( N ))   L( x (i ), ) u(i ))  u( k ),...,u ( N 1) i k 1   . . .  J k* ( x (k ))  min L( x (k ), u(k ))  J k*1 ( x (k  1)) u (k (k ). . .  J k* ( x (k ))  min L( x (k ), u(k ))  J k*1 ( f ( x (k ), u(k ))) u( k ).  . (PT Bellman). Dễ thấy: J N* ( x ( N ))   ( N , x ( N )) và J 0* ( x (0))  minJ  Giải N phương trình Bellman theo thứ tự k  N  1  0 sẽ tìm được tín hiệu điều khiển tối ưu. 15 January 2014. © H. T. Hoàng - HCMUT. 78.

(79) Trình tự giải bài toán ĐK tối ưu rời rạc dùng DP . Đối tượng:. . Yêu cầu thiết kế: Tìm tín hiệu u* (k ), k  0,1,..., N  1 điều khiển hệ ệ thống g từ trạng ạ g thái đầu x (0)  x0 đến trạng ạ g thái cuối x ((N ) sao cho tối thiểu chỉ tiêu chất lượng:. x (k  1)  f ( x (k ), ) u(k )). N 1. J   ( N , x N )   L( x (k ), u(k ))  min k 0. . Bước 1: Viết phương trình Bellman:. . . J k* ( x (k ))  min i L( x (k ), ) u(k ))  J k*1 ( f ( x (k ), ) u(k ))) (k  0,1,..., N  1) u( k ). với J N* ( x ( N ))   ( N , x N ) . Bước 2: Giải phương trình Bellman qua 2 vòng: *  Vòng ngược: k  N  1  0 tìm u ( k ) phụ thuộc x (k ) *  Vòng thuận: k  0  N  1 tính cụ thể u ( k ) từ đ/kiện đầu x0 15 January 2014. © H. T. Hoàng - HCMUT. 79.

(80) Trình tự giải bài toán ĐK tối ưu rời rạc dùng DP (tt) . . * Vòng ngược: tìm u ((kk ) phụ thuộc x(k) (k=N10), 0) gồm các bước:. ( N  1) là nghiệm bài toán tối ưu: Tìm u* (N ( N  1) phụ thuộc x (N. J N* 1 ( x ( N  1))  min L( x ( N  1), u( N  1))   ( N , x ( N )) u ( N 1). ) u( N  1))  x ( N ) với ràng buộc f ( x ( N  1), . Với k  N  2  0 :tìm u* (k ) phụ thuộc x (k ) là nghiệm PT Bellman:. . . J k* ( x (k ))  min L( x (k ), u(k ))  J k*1 ( f ( x (k ), u(k ))) u( k ). với J k*1 (.) ( ) là biểu thức hàm mục tiêu tối ưu tối ưu đoạn quỹ đạo cuối đã tìm được ở bước trước đó.. J k ((.)) 0  Chú ý ý: để tìm tì u (k ) , áp á dụng d PP tối ưu tĩnh, tĩ h giải iải PT PT: u(k ) *. 15 January 2014. © H. T. Hoàng - HCMUT. 80.

(81) Trình tự giải bài toán ĐK tối ưu rời rạc dùng DP (tt) . *. (k ) . Thực hiện các bước Vòng xuôi: xác định giá trị cụ thể uk (k sau đây với k=0,1,2,….N1: . Gán x (k ) vào công thức u* (k (k ) đã tính ở vòng ngược để được giá trị cụ thể của u* (k ). . Thay u* (k Tha ào mô hình toán của đối ttượng ợng để tính được đ ợc (k ) vào trạng thái tối ưu ở thời điểm (k+1). x (k  1)  f ( x (k ), ) u* (k )). 15 January 2014. © H. T. Hoàng - HCMUT. 81.

(82) Điều khiển tối ưu rời rạc dùng DP – Thí dụ 1 . . Xét đối tượng là khâu quán tính bậc 1 có mô hình trạng thái: 1 1 x(k  1)  x(k )  u (k ) 2 2 Xá định Xác đị h tín í hiệu hiệ điề điều khiể khiển tối ối ưu để điề điều khiển khiể hệ thống hố từ ừ trạng thái đầu x(0)=4 đến trạng thái cuối x(4)=0 sao cho: 3. J   ( x 2 (k )  u 2 (k ))  min i k 0. . Giải:. . Phương trình Bellman:.  ( x(k ))  minx (k )  u. . J k* ( x (k ))  min L( x (k ), u(k ))  J k*1 ( f ( x (k ), u(k ))) u( k ).  J k*. 2. u(k ). 2. . (k )  J k*1 (0.5 x(k )  0.5u (k )) (k  0  3). với: J 4* ( x(4))  0 15 January 2014. © H. T. Hoàng - HCMUT. 82.

(83) Điều khiển tối ưu rời rạc dùng DP – Thí dụ 1 (tt) . Vòng ngược: Với k = 3: Phương trình Bellman:. . . J 3* ( x(3))  min x 2 (3)  u 2 (3) u ( 3). (do J 4* ( x(4))  0. ). Điều kiện ràng buộc:0.5 x(3)  0.5u (3)  x(4)  0 Lời giải: u * (3)   x(3) (để thỏa mãn điều kiện ràng buộc). . J 3* ( x(3))  2 x 2 (3). 15 January 2014. © H. T. Hoàng - HCMUT. 83.

(84) Điều khiển tối ưu rời rạc dùng DP – Thí dụ 1 (tt) . Vòng ngược: Với k = 2: Phương trình Bellman:.  ( x(2))  minx (2)  u. . J 2* ( x(2))  min x 2 (2)  u 2 (2)  J 3* ( x(3)) u ( 2).  J 2*. 2. u ( 2). 2. . (2)  2 x 2 (3). 2   1 1    * 2 2  J 2 ( x(2))  min i  x (2)  u (2)  2  x(2)  u (2))  u ( 2) 2  2   3 2  3 2 *  J 2 ( x(2))  min  x (2)  x(2)u (2)  u (2) u ( 2) 2 2   J 2 (.) x ( 2)  x(2)  3u (2)  u * (2)   Do u (2) 3. 2.  J 2* ( x(2))  x 2 (2)    x(2)   2 1  x(2)  x(2)  3  3   2 . 2. 4 2  J ( x(2))  3 x (2) * 2. 15 January 2014. © H. T. Hoàng - HCMUT. 84.

(85) Điều khiển tối ưu rời rạc dùng DP – Thí dụ 1 (tt) . Vòng ngược: Với k = 1: Phương trình Bellman:. . . J1* ( x(1))  min x 2 (1)  u 2 (1)  J 2* ( x(2)) u (1) 4 2   2 * 2  J1 ( x(1))  min  x (1)  u (1)  x (2) u (1) 3   2   4 1    * 2 2  J1 ( x(1))  min  x (1)  u (1)   ( x(1)  u (1))  u (1) 3 2    4 2 4  J1* ( x(1))  min  x 2 (1)  x(1)u (1)  u 2 (1) u (1) 3 3 3  8 J (.) 2 x(1) Do: 1  x(1)  u (1)  u * (1)   3 u (1) 3 4 x(1)  4  1  x(1)   ( 1 )  x   2  4 3 4     .   J1* ( x(1))  x 2 (1)    5 4. 2. 2.  J1* ( x(1))  x 2 (1) 15 January 2014. © H. T. Hoàng - HCMUT. 85.

(86) Điều khiển tối ưu rời rạc dùng DP – Thí dụ 1 (tt) . Vòng ngược: Với k = 0: Phương trình Bellman:. . . J 0* ( x(0))  min x 2 (0)  u 2 (0)  J1* ( x(1)) u0 1.  J 0* ( x(0))  min  x 2 (0)  u 2 (0)  x 2 (1). 5 u (0) 4   2   5 1    * 2 2  J 0 ( x(0))  min  x (0)  u (0)   ( x(0)  u (0))  u (0) 4 2     J 0* ( x(0))  min  21 x 2 (0)  5 x(0)u (0)  21 u 2 (0) u ( 0 ) 16 8 16   J 0 (.) 5 21 5 *  x(0)  u (0)  u (0)   x(0) Do: u (0) 8 8 21 2 2  J 0* ( x(0))  x 2 (0)    5 x(0)   5  1  x(0)  5 x(0)  21  21  4 2   26  J 0* ( x(0))  x 2 (0) 21 15 January 2014. © H. T. Hoàng - HCMUT. 86.

(87) Thí dụ giải bài toán ĐK tối ưu rời rạc dùng DP (tt) . Vòng xuôi:. Điều kiện đầu: x(0)  4 5 20 Với k = 0: u (0)   x(0)   21 21 *. 1 1 20  32 * x(1)  ( x(0)  u (0))   4    2 2 21  21 Với k = 1: u * (1)  . x(1) 8  4 21. 1 1  32 8  12 * x(2)  ( x(1)  u (1))      2  21 21  21 2. 15 January 2014. © H. T. Hoàng - HCMUT. 87.

(88) Thí dụ giải bài toán ĐK tối ưu rời rạc dùng DP (tt) . Vòng xuôi:. Với k = 2:. Với k = 3:. 4 x(2) u (2)    3 21 1 1  12 4  4 x(3)  ( x(2)  u * (2))      2 2  21 21  21 *. u * (3)   x(3)  . 4 21. 1 1 4 4  * x(4)  ( x(3)  u (3))      0 2 2  21 21 . 4 4  20 8 Kết luận: Chuổi tín hiệu ĐK tối ưu là: u   ; ; ;   21 21 21 21 *. Chỉỉ tiêu chất ấ lượng tối ố ưu: J min  J 0* ( x(0))  15 January 2014. © H. T. Hoàng - HCMUT. 26 2 416 x (0)  21 21 88.

(89) Qui hoạch động giải bài toán ĐK tối ưu liên tục . . Cho đối tượng mô tả bởi phương trình trạng thái: x (t )  f ( x (t ), u(t ), t ) Trạng ạ g thái đầu: x (0)  x0 , trạng ạ g thái cuối: x (t f )  x f Bài toán điều khiển tối ưu: tìm tín hiệu điều khiển u(t) sao cho: tf. J (u)   ( x (t f ))   L( x (t ), u(t ), t )dt  min. ((*)). ti. . Đặt: Hàm mục tiêu tối ưu đoạn quỹ đạo cuối từ thời điểm ti, trạng thái xi đến thời điểm cuối tf, trạng thái cuối x(tf) là. J (ti , xi )  min ( x (t f ))   L( x (t ), u(t ), t )dt tf. *. u(t ). . ti. . Nếu tồn tại lời giải tối ưu của bài toán ((*)) thì hàm mục tiêu tối ưu đoạn quỹ đạo cuối phải thỏa mãn phương trình Hamilton-Jacobi-Bellman: T.  J (t , x )  J (t , x )   min i L( x, u, t )   f ( x, u, t )  u(t ) t  x  *. 15 January 2014. *. © H. T. Hoàng - HCMUT. 89.

(90) ĐIỀU CHỈNH TOÀN PHƯƠNG TUYẾN TÍNH (Linear Quadratic Regulator – LQR). 15 January 2014. © H. T. Hoàng - HCMUT. 90.

(91) Bài toán LQR liên tục . Đối tượng tuyến tính mô tả bởi phương trình trạng thái: x (t )  Ax (t )  Bu(t ). (*). ) x2 (t ),..., ) xn (t )]T : vector t trong đó đó: x (t )  [ x1 (t ), t trạng t thái. u(t )  [u1 (t ), u2 (t ),..., um (t )]T : vector tín hiệu điều khiển . Bài toán á đặt đặ ra là tìm ì tín í hiệu hiệ điều điề khiển khiể u(t) ( ) điều điề chỉnh hỉ h hệ thống hố từ ừ trạng thái đầu x (0)  x0 bất kỳ về trạng thái cuối x(tf) = 0 sao cho ợ g dạng ạ g toàn phương: p g tối thiểu chỉ tiêu chất lượng tf. . . 1 T 1 J (u)  x (t f ) Mx (t f )   x T (t )Qx (t )  uT (t ) Ru(t ) dt 2 2 t0 trong đó Q và M là các ma trận trọng số bán xác định dương R là ma trận ậ trọng ọ g số xác định ị dương g . Bài toán trên được gọi là bài toán điều chỉnh toàn phương tuyến tính. 15 January 2014. © H. T. Hoàng - HCMUT. 91.

(92) Điều kiện cực trị bài toán LQR liên tục . Hàm Hamilton:. . . 1 T H  x (t )Qx (t )  uT (t ) Ru(t )  T (t )Ax (t )  Bu(t ) 2 . Điều kiện cần để có lời giải tối ưu: PT trạng thái: hái. x (t )  Ax A (t )  Bu B (t ). (1). H PT đồng trạng thái:  (t )   (2)  Q Qx (t )  A (t ) x H t) Điều kiện dừng:  Ru(t )  B T  (t )  0x (t )  f ( x (t ), u(t ),(3) u H T   (t )   x H 0 T H (t )  L( x, u , t )   (t ) f ( x , u, t ) 15 January 2014. © H. T. Hoàng - HCMUT. 92.

(93) Cách tìm lời giải tối ưu . Rút u(t) từ (3):. u(t )   R 1 B T  (t ) . (4). Th (4) vào Thay à (1), (1) tta đượ được. x (t )  Ax (t )  BR 1 B T  (t ) . Kết ế hợp (5) và (2), ta được phương trình vi phân:.  x (t )   A  BR 1 B T   x (t )   (t )   Q  A   (t )   . (5). (6). Giải phương trình vi phân (6), tìm được x(t) và (t) Thay (t) vào (4) tìm được lời giải tối ưu. 15 January 2014. © H. T. Hoàng - HCMUT. 93.

(94) Lời giải bài toán LQR liên tục . Tí hiệu Tín hiệ điều điề khiển khiể tối ưu: u* (t )   K (t ) x (t ) trong đó:. K (t )  R 1 B T P (t ). và P(t) là nghiệm bán xác định dương của phương trình vi phân Ricatti:  P  PA  AT P  Q  PBR 1 B T P. P (t f )  M . Lời giải phương trình Ricatti:  Trường hợp hệ bậc 2: có thể giải bằng tay  Trường hợp tổng quát: tham khảo thêm trong tài liệu. 15 January 2014. © H. T. Hoàng - HCMUT. 94.

(95) Bài toán LQR liên tục thời gian vô hạn . Đối tượng tuyến tính mô tả bởi phương trình trạng thái: x (t )  Ax (t )  Bu(t ). . Chỉ tiêu chất lượng dạng toàn phương, phương trong đó thời điểm cuối tf=: . . . 1 J (u)   x T (t )Qx (t )  uT (t ) Ru(t ) dt 20 . Tín hiệu điều khiển tối ưu:. u* (t )   Kx (t ). trong đó: K  R 1 B T P và P là nghiệm bán xác định dương của phương trình đại số Ricatti: PA  AT P  Q  PBR 1 B T P  0 . Chú ý: trong trường hợp này K và P là không phụ thuộc thời gian. . Giá trị cực tiểu ể của chỉ tiêu chất ấ lượng: J min  x T (0) Px (0) 15 January 2014. © H. T. Hoàng - HCMUT. 95.

(96) Điều khiển LQR liên tục – Thí dụ 1 . Cho hệ tuyến tính bậc 1 không ổn định mô tả bởi PTTT: x (t )  3x(t )  2u (t ). . Yêu cầu: Thiết kế luật ậ điều khiển u(t) ( ) để hệệ kín ổn định ị và tối thiểu chỉ tiêu chất lượng:  1 J   ( x 2 (t )  5u 2 (t ))dt 20 Giải:. . Phương trình đại số Ricatti: PA  AT P  Q  PBR 1 B T P  0 1 4 2  P.3  3.P  1  P.2. .2.P  0  P  6P  1  0 5 5  P  7.663 (chọn nghiệm xác định dương) 1 1 T  Độ lợi hồi tiếp trạng thái: K  R B P  K  .2.(7,663)  3,065 5  Luật điều ề khiển ể tối ố ưu: u (t )   Kx(t )  u (t )  3,065 x(t ) . 15 January 2014. © H. T. Hoàng - HCMUT. 96.

(97) Điều khiển LQR liên tục – Thí dụ 2  .  . .  x1  x2 Cho hệ tuyến tính bậc 2 mô tả bởi PTTT:   x2  u Yêu cầu: Yê ầ Thiết kế luật l ật điều điề khiển khiể u(t) (t) để hệ kín kí ổn ổ định đị h vàà tối thiểu thiể chỉ tiêu chất lượng:  1 J   (2 x12 (t )  2u 2 (t ))dt 20 Giải:.  x1 (t )  0 1  x1 (t )  0 Viết lại ạ phương p g trình trạng ạ g thái:    u (t )      0 0  x2 (t ) 1  x2 (t )    B A Viết lại ạ chỉ tiêu chất lượng: ợ g  2 0  x1  1 2 J   x1 x2   2 u  (t ))dt    0 0   x2  R 20   Q 15 January 2014. © H. T. Hoàng - HCMUT. 97.

(98) Điều khiển LQR liên tục – Thí dụ 2 . Phương trình đại số Ricatti: PA  AT P  Q  PBR 1 B T P  0.  p1    p2. 0  0. p2  0 1 0 0  p1     p3  0 0 1 0  p2. p1   0   p2   p1. 1 2   p2 2  2  1  p1  p2 p3 2  15 January 2014. p2   2   p3  0  p1   p2. 0  2 0 1  p22      p2  0 0 2  p2 p3 1  p1  p2 p3  2 0  1 2 p2  p32  2 . 0 0 p 2  0  1  p1 0 1    p3  1 2  p2. p2  0  p3 . p2 p3  0 2  p3 . © H. T. Hoàng - HCMUT. 98.

(99) Điều khiển LQR liên tục – Thí dụ 2  1 2 2  2 p 2  0  1   p1  p2 p3  0 2  2 p2  1 p32  0  2 . .  p1  2 2    p2  2 p  2 2  3. Độ lợi hồi tiếp trạng thái: 2 2 1 1 T K  R B P  K  0 1 2  2. 2 2  P  2. 2   2 2. 2   2 2.  K  [1. 2]. Luật điều khiển tối ưu: u (t )   Kx (t )  [1 *. 15 January 2014.  x1 (t )  2 ]  x ( t )  2 .  u * (t )   x1 (t )  2 x2 (t ). © H. T. Hoàng - HCMUT. 99.

(100) Điều khiển LQR liên tục – Thí dụ 3 . Cho hệ tuyến tính bậc 2 mô tả bởi PTTT:. 1   x1 (t )  0  x1 (t )   0  x (t )   1  2  x (t )  1u (t )  2    2   B A. . Yêu cầu: Thiết kế luật điều khiển u(t) để hệ kín ổn định và tối thiểu chỉ tiêu chất lượng:  1 J   [2 x12 (t )  x22 (t )  u 2 (t )]dt 20 Giải:. . Viết lại ạ chỉ tiêu chất lượng: ợ g. . . 1 J   ([ x1 20 15 January 2014. 2 0  x1  2 x2 ] 1  u  (t ))dt    0 1   x2   R  Q © H. T. Hoàng - HCMUT. 100.

(101) Điều khiển LQR liên tục – Thí dụ 3 . Phương trình đại số Ricatti: PA  AT P  Q  PBR 1 B T P  0.  p1   p2.   p2    p3. p2   0 1  0  1   p1     p3   1  2 1  2  p2. p1  2 p2    p2   p2  2 p3   p1  2 p2.   2 p2  2  p22   p3  p1  2 p2  p2 p3 15 January 2014. p2   2 0   p3  0 1  p p 2  0   p1    1 0 1  p2  p2 p3  1.  p3  2 0  p22     p2  2 p3  0 1  p2 p3. p2  0  p3 . p2 p3  0 2  p3 . p1  2 p2  p3  p2 p3  0 2  2 p2  4 p3  1  p3  © H. T. Hoàng - HCMUT. 101.

(102) Điều khiển LQR liên tục – Thí dụ 3  2 p2  2  p22  0  p  2 p  p  p p  0 2 3 2 3  1  p  p1  2 p2  p2 p3  0  3 2 p2  4 p3  1  p32  0.  p1  2.403    p2  0.732  p  0.542  3. (chọn các nghiệm g ệ dương) g). 2.403 0.732 P  0 . 732 0 . 542   . Độ lợi hồi tiếp trạng thái:. 2.403 0.732 K  R B P  K  0 1  K  [0.732 0.542]  0.732 0.542  x1 (t )  *  Luật điều khiển tối ưu: u (t )   Kx (t )  [0.732 0.542]  ( ) x t  2  1. T.  u * (t )  0.732 x1 (t )  0.542 x2 (t ) 15 January 2014. © H. T. Hoàng - HCMUT. 102.

(103) Bài toán LQR rời rạc . Cho đối tượng tuyến tính rời rạc mô tả bởi phương trình trạng thái: (*) x (k  1)  Ad x (k )  Bd u(k ). ) x2 (k ),..., ) xn (k )]T: vector t trong đó đó: x (k )  [ x1 (k ), t trạng t thái. u(k )  [u1 (k ), u2 (k ),..., um (k )]T: vector tín hiệu điều khiển . Bài toán á đặ đặt ra là tìm ì tín í hiệu hiệ điều điề khiển khiể u(k) (k) điều điề chỉnh hỉ h hệ thống hố từ ừ trạng thái đầu x (0)  x0 bất kỳ về trạng thái cuối x(N) = 0 sao cho ợ g dạng ạ g toàn phương: p g tối thiểu chỉ tiêu chất lượng. . 1 N 1 T 1 T J (u)  x ( N ) Mx ( N )   x (k )Qx (k )  uT (k ) Ru(k ) 2 k 0 2 0. . trong đó Q và M là các ma trận trọng số bán xác định dương ậ trọng ọ g số xác định ị dương g R là ma trận 15 January 2014. © H. T. Hoàng - HCMUT. 103.

(104) Lời giải bài toán LQR rời rạc . Tí hiệu Tín hiệ điều điề khiển khiể tối ưu: u* (k )   K (k ) x (k ). . . 1. K (k )  B P (k  1) Bd  R BdT P (k  1) Ad. trong đó:. T d. và P(k) là nghiệm bán xác định dương của phương trình Ricatti:. . . P ( k )  A P ( k  1)  P ( k  1) Bd B P ( k  1) Bd  R T d. T d. . 1. . BdT P ( k  1) Ad  Q. P (N )  M . Nghiệm phương trình Ricatti rời rạc: lần lượt thay k  ( N  1)  0 vao phương trình Ricatti sẽ tìm được P(k). 15 January 2014. © H. T. Hoàng - HCMUT. 104.

(105) Bài toán LQR rời rạc thời gian vô hạn . Đối tượng tuyến tính mô tả bởi phương trình trạng thái rời rạc:. x (k  1)  Ad x (k )  Bd u(k ) . Chỉ tiêu chất lượng dạng toàn phương, phương trong đó thời điểm cuối N N=: :. . 1  T J (u)   x (k )Qx (k )  uT (k ) Ru(k ) 2 k 0 . Tín hiệu điều khiển tối ưu:. . u* (k )   Kx (k ). . . 1. K  B PBd  R BdT PAd và P là nghiệm bán xác định dương của phương trình đại số Ricatti:. t trong đó: đó. . T d. . P  A P  PBd B P Bd  R T d. T d. . 1. . BdT P Ad  Q. . Chú ý: trong trường hợp này K và P là không phụ thuộc k. . Giá trị cực tiểu của chỉ tiêu chất lượng: J min  x T (0) Px (0) 15 January 2014. © H. T. Hoàng - HCMUT. 105.

(106) Lời giải bài toán LQR thời gian vô hạn dùng Matlab . Nghiệm phương trình đại số Ricatti liên tục (continuous algebraic Ricatti equation – care) ( Q ) >> P=care(A,B,Q,R). . Lời giải bài toán LQR (Linear quadratic Regulator – LQR) liên tục >> K=lqr(A,B,Q,R). . Nghiệm hi phương h trình ì h đại đ i sốố Ricatti i i rời ời rạc(discrete (di algebraic l b i Ricatti i i equation – dare) >> P P=dare(A dare(A,B,Q,R) B Q R). . Lời giải bài toán LQR (Linear quadratic Regulator – LQR) rời rạc >> K=dlqr(A,B,Q,R). 15 January 2014. © H. T. Hoàng - HCMUT. 106.

(107) BỘ LỌC KALMAN. 15 January 2014. © H. T. Hoàng - HCMUT. 107.

(108) Lọc Kalman liên tục .  x (t )  Ax (t )  Bu (t )  w (t ) Xét é hệ h tuyến ế tính í h liên li tục:   y (t )  Cx(t )  v(t ) Trong đó: w(t) là nhiễu hệ thống; v(t) là nhiễu đo lường. lường Giả sử nhiễu hệ thống và nhiễu đo lường có phân bố Gauss, không tương quan, có trung bình bằng 0 và phương sai là:. E[ ww T ]  Q N . E[vvT ]  RN.  xˆ (t )  [ Axˆ (t )  Bu (t )]  L[ y (t )  yˆ (t )] Bộ lọc Kalman liên tục:   yˆ (t )  Cxˆ (t ) Trong đó L là độ lợi của bộ lọc Kalman: L  C T RN1 với  là nghiệm của phương trình Ricatti: A  AT  C T RN1C   Q N  0 15 January 2014. © H. T. Hoàng - HCMUT. 109.

(109) Sơ đồ khối bộ lọc Kalman liên tục u(t). x (t )  Ax (t )  Bu (t ). x(t). C. +. L B. ++ +. . y(t) ().  xˆ (t ). C. yˆ (t ). A. . Bộ lọc Kalman:.  xˆ (t )  Axˆ (t )  Bu (t )  L( y (t )  yˆ (t ))   yˆ (t )  Cxˆ (t ). Trong đó:. L  C T RN1 A  AT  C T RN1C   Q N  0. 15 January 2014. © H. T. Hoàng - www4.hcmut.edu.vn/~hthoang/. 110.

(110) Bộ lọc Kalman liên tục – Thí dụ 1 . Cho hệ tuyến tính bậc 2 mô tả bởi PTTT:  x (t )  Ax (t )  Bu (t )  w (t )  y (t )  Cx(t )  v(t )  0 1 0  Trong đó: A   B  C  1 0  1  2 1   0.2 0  T E vv [ ]  RN  0.01 E[ ww T ]  Q N     0 0.1. . Yêu cầu: ầ Thiết ế kếế bộ lọc Kalman ước lượng trạng thái của hệ thống ố trên từ tín hiệu đo y(t).. . Giải:.  xˆ (t )  Axˆ (t )  Bu (t )  L( y (t )  yˆ (t ))  Bộ ước lượng trạng thái:   yˆ (t )  Cxˆ (t ) L  C T RN1 15 January 2014. © H. T. Hoàng - HCMUT. 111.

(111) Bộ lọc Kalman liên tục – Thí dụ 1 . Trong đó  là nghiệm của phương trình đại số Ricatti: A    AT  Q N   C T RN1C   0. 1   p1 0   1  2  p2. p2    p1  2 p2. p2   p1   p3   p2. p3   p2    p2  2 p3   p3.  2 p2  0.2  100 p12    p3  p1  2 p2  100 p1 p2 15 January 2014. p2  0  1  0.2 0      p3  1  2  0 0.1  p1 p2  1 1  p1    1 0  p2  p2 p3  0 0.01. p2  0  p3 .  p1  2 p2  0.2 0     p2  2 p3   0 0.1  p12 p1 p2   100 2  0 p2   p1 p2. p3  p1  2 p2  100 p1 p2  2  0  2 p2  4 p3  0.1  p2  © H. T. Hoàng - HCMUT. 112.

(112) Bộ lọc Kalman liên tục – Thí dụ 1 (1) 2 p2  0.2  100 p12  0    p3  p1  2 p2  100 p1 p2  0 (2)  2 p2  4 p3  0.1  p22  0 (3) (2) &(3)  p22  400 p1 p2  4 p1  10 p2  0.1  0. (4). 2 2 2 (1) &(4)  (50 p1  0.1)  (50 p1  0.1)(400 p1  10)  4 p1  0.1  0.  2500 p14  20000 p13  490 p12  36 p1  1.09  0  p1  0.0441  0.0441  0.00279   p2  0.00279    0.00279 0.0262   p3  0.0262 . Độ lợi bộ lọc Kalman: L   C T RN1 0.0441  0.00279 1 1   L 0.0262  0 0.01  0.00279 15 January 2014. © H. T. Hoàng - HCMUT. 4.409   L 0.279 113.

(113) Lọc Kalman rời rạc . x (k  1)  Ad x (k )  Bd u (k )  w (k ) Xét hệ tuyến ế tính rời rạc:   y (k )  C d x(k )  v(k ) Trongg đó: w(k) ( ) là nhiễu hệệ thống; g; v(k) ( ) là nhiễu đo lường. g Giả sử nhiễu hệ thống và nhiễu đo lường có phân bố Gauss, không tương quan, có trung bình bằng 0 và phương sai là:. E[ ww T ]  Q N . E[vvT ]  RN. Bộ lọc Kalman rời rạc:  xˆ (k  1)  [ Ad xˆ (k )  Bd u (k )]  Lk [ y (k  1)  yˆ (k  1)]  yˆ (k )  C xˆ (k ) d  Trong đó L là độ lợi của bộ lọc Kalman: 1 T T L(k )  Ad  (k )C d C d  (k )C d  RN. . . với  là nghiệm của phương trình Ricatti:  (k  1)  Ad  (k ) AdT  Q N  Ad  (k )C dT RN1C d  (k ) AdT 15 January 2014. © H. T. Hoàng - HCMUT. 114.

(114) Sơ đồ khối bộ lọc Kalman rời rạc u(t). x d ( k  1)  Ad x ( k )  Bd u ( k ). x(t). y(t) (). Cd. +. L Bd. ++ +. z. 1.  xˆ (t ). Cd. yˆ (t ). Ad. . ˆ ˆ ˆ Bộ lọc Kalman:  x (k  1)  [ Ad x (k )  Bd u (k )]  Lk [ y (k  1)  y (k  1)]  yˆ (k )  C d xˆ (k ). Trong đó:. . L(k )  Ad  (k )C C d  (k )C  RN T d. T d. . 1.  (k  1)  Ad  (k ) AdT  QN  Ad  (k )C dT RN1C d  (k ) AdT 15 January 2014. © H. T. Hoàng - www4.hcmut.edu.vn/~hthoang/. 115.

(115) Lời giải bộ lọc Kalman dùng Matlab. . Lời giải bộ lọc Kalman liên tục: >> L = lqe(A,G,C,QN,RN) l (A G C QN RN). 15 January 2014. %G ma trận ậ đđơn vịị. © H. T. Hoàng - HCMUT. 116.

(116) BỘ ĐIỀU KHIỂN LQG (Linear Quadratic Gaussian). 15 January 2014. © H. T. Hoàng - HCMUT. 117.

(117) Bài toán điều khiển LQG (Linear Quadratic Gaussian) . Xét hệ tuyến tính liên tục bị tác động bởi nhiễu Gauss:  x (t )  Ax (t )  Bu (t )  w (t )  y (t )  Cx(t )  v(t )  Trong đó: w(t) là nhiễu hệ thống; v(t) là nhiễu đo lường. Giả sử nhiễu không tương quan, có trung bình bằng 0 và phương sai là:. E[ ww T ]  Q N . E[vvT ]  RN. Bài toán đặt ra là tìm tín hiệu điều khiển u(t) điều chỉnh hệ thống từ trạng thái đầu x (0)  x0 bất kỳ về trạng thái cuối x(tf) = 0 sao cho tối thiểu chỉ tiêu chất lượng dạng toàn phương:. 1  T  T J (u)  E   x (t )Qx (t )  u (t ) Ru(t ) dt  2 0 . . . t trong đó Q là các á ma trận t ậ ttrọng số ố bán bá xác á đị định h dương dươ R là ma trận trọng số xác định dương 15 January 2014. © H. T. Hoàng - HCMUT. 118.

(118) Nguyên lý tách rời . Nguyên lý tách rời: Bài toán tối ưu LQG có thể giải bằng cách giải riêng bài toán điều khiển tối ưu tiền định và bài toán ước lượng trạng thái tối ưu. LQG = LQR + Lọc Kalman. 15 January 2014. © H. T. Hoàng - HCMUT. 119.

(119) Lời giải bài toán điều khiển LQG . Tín hiệu điều khiển tối ưu LQR:. u* (t )   Kxˆ (t ) với độ lợi hồi tiếp trạng thái: K  R 1 B T P trong đó P là nghiệm bán xác định dương của pt đại số Ricatti: PA  AT P  Q  PBR 1 B T P  0 . Bộ lọc Kalman:.  xˆ (t )  [ Axˆ (t )  Bu (t )]  L[ y (t )  yˆ (t )]   yˆ (t )  Cxˆ (t ) với độ lợi ước lượng:. L  C T RN1. trong đó  là nghiệm bán xác định dương của pt đại số Ricatti:. A  AT  C T RN1C   Q N  0 15 January 2014. © H. T. Hoàng - HCMUT. 120.

(120) Sơ đồ khối bộ điều khiển LQG liên tục r(t). . u(t). x (t )  Ax (t )  Bu (t ). x(t). y(t). C. +. . L B. ++ +. xˆ (t ). . C. yˆ (t ). A K. . Bộ điều khiển LQR u* (t )   Kxˆ (t ). K  R 1 B T P PA  AT P  Q  PBR 1 B T P  0 15 January 2014. . Bộ lọc Kalman.  xˆ (t )  Axˆ (t )  Bu (t )  L( y (t )  yˆ (t ))   yˆ (t )  Cxˆ (t ) L  C T RN1 A  AT  C T RN1C   QN  0. © H. T. Hoàng - www4.hcmut.edu.vn/~hthoang/. 121.

(121) THÍ DỤ THIẾT KẾ ĐIỀU Ề KHIỂN Ể TỐI Ố ƯU. 15 January 2014. © H. T. Hoàng - HCMUT. 122.

(122) Đối tượng điều khiển: hệ con lắc ngược . Thông số hệ con lắc ngược M =1.0 kg: trọng lượng xe m=0.1kg : trọng lượng con lắc l = 1.0 m: chieààu daøi con laééc u : lực tác động vào xe [N] g:g gia tốc trọïng trường [[m/s2]] x : vò trí xe [m]  : góc giữa con lắc và phương thaúng ñöng thang đứng [rad]. . Mô hình toán hệ con lắc ngược u  ml (sin  ) 2  mg cos  sin  x  M  m  m(cos  ) 2 u cos   ( M  m) g (sin  )  ml (cos sin  )    ml (cos ) 2  ( M  m)l. 15 January 2014. © H. T. Hoàng - ÐHBK TPHCM. 123.

(123) PTTT phi tuyến của hệ con lắc ngược . Đặt các biến trạng thái x1   , x2  , x3  x, x4  x. . Phương trình trạng thái phi tuyến. x2    x1   u cos x1  ( M  m) g (sin x1 )  ml (cos x1 sin x1 ) x2    x   2 ml (cos x1 )  ( M  m)l   2   x4   x3   2     u  ml (sin ( x ) x  mg g cos x sin x 1 2 1 1  x4    2 M  m  m(cos x1 )   . Yêu cầu: Thiết kế bộ điều khiển giữ cân bằng con lắc quanh vị trí thẳng đứng. 15 January 2014. © H. T. Hoàng - ÐHBK TPHCM. 124.

(124) PTTT tuyến tính của hệ con lắc ngược . PTTT tuyến tính hóa quanh điểm cân bằng thẳng đứng (góc lệch  nhỏ hơn 100) 0 1 0 0 x 0  x1   M  m  1  1       x   g  0 0 0   x2   Ml   2    Ml  u    0 0 0 1  x3  0  x3     m 1       x4    M g 0 0 0  x4   M . . Thay cụ thể thông số của hệ con lắc ngược: 1 0 0  x1   0   x1   0  x   10.78 0 0 0  x   1  2     2    u  x3   0 0 0 1  x3   0          x  0.98 0 0 0  x4   1   4      B A. 15 January 2014. © H. T. Hoàng - ÐHBK TPHCM. 125.

(125) Thiết kế bộ điều khiển LQR . Giả thiết:  Đặc tính động của hệ con lắc ngược có thể được mô tả bởi hệ phương trình biến trạng thái tuyến tính. Điều này chỉ hỉ đúng đú khi góc ó lệch lệ h  nhỏ. hỏ  Hệ thống phản hồi trạng thái đầy đủ, nghĩa là có thể đo được 4 biến trạng thái (góc lệch , vận tốc góc, vị trí xe x, vận tốc xe )  Không có nhiễu tác động vào hệ thống.. . Thiết kế dù dùng Matlab: M tl b  >> K = lqr(A,B,Q,R)  Tùy theo độ lớn tương đối giữa trọng số Q và R mà hệ thống có đáp ứng quá độ và năng lượng tiêu tốn khác nhau.  Muốn trạng thái đáp ứng nhanh tăng thành phần Q tương ứng  Muốn giảm năng lượng tăng R. 15 January 2014. © H. T. Hoàng - ÐHBK TPHCM. 126.

(126) Mô phỏng điều khiển LQR hệ con lắc ngược. 15 January 2014. © H. T. Hoàng - ÐHBK TPHCM. 127.

(127) Kết quả mô phỏng điều khiển LQR hệ con lắc ngược. 0 1 0 0. 0 0 1 0. 0 0 0  1.  . 0 -0.5. 0. 1. 2. 3. 4. 5. 1 [m],[m m/s]. 1 0 Q 0  0. [rad],[rad/s]. 0 0.5. x x. 0.5 0 -0.5. R 1. 0. 1. 2. 3. 4. 5. 10. [N]. 15 January 2014. 6. u. 5. Góc lệ Gó lệch h con lắ lắc được giữ cân bằng tốt, tuyy nhiên vị trí xe dao động khá lớn. 6. 0 -5. 0. 1. 2. 3 Time [s]. 4. 5. 6. K= [34.3620  10.7009  1.000  2.4109] © H. T. Hoàng - ÐHBK TPHCM. 128.

(128) Kết quả mô phỏng điều khiển LQR hệ con lắc ngược. 0 1 0 0 0 100 0  0 0 1 0. 0. 15 January 2014. -0.5 -1. 0. 1. 2. 3. 4. 5. 2. 0 0. 1. 2. 3. 4. 5. 20. 6. u. 10 [N]. 6. x x. 1. -1. R 1. Tăng trọng số q33 (tương ứng với vị trí xe)  vị trí xe ít dao động hơn, tuy nhiên năng lượng tiêu tốn tăng lên.  . 0. [m],[m m/s]. 1 0 Q 0  0. [rad],[rad/s]. 0 0.5. 0 -10. 0. 1. 2. 3 Time [s]. 4. 5. 6. K=[70.1356  22.1091  10.000  11.0514] © H. T. Hoàng - ÐHBK TPHCM. 129.

(129) Kết quả mô phỏng điều khiển LQR hệ con lắc ngược. 0 1 0 0 0 100 0  0 0 1 0. 0. 15 January 2014. -0.5 -1. 0. 1. 2. 3. 4. 5. 2. 0 0. 1. 2. 3. 4. 5. 20. 6. u. 10 [N]. 6. x x. 1. -1. R 1. Khuyết điểm của bộ điều khiển LQR là nếu có nhiễu đo lường thì chất lượng điều khiển bị ảnh hưởng đáng kể.  . 0. [m],[m m/s]. 1 0 Q 0  0. [rad],[rad/s]. 0.5. 0 -10 10. 0. 1. 2. 3 Time [s]. 4. 5. 6. K=[70.1356  22.1091  10.000  11.0514] © H. T. Hoàng - ÐHBK TPHCM. 130.

(130) Thiết kế bộ điều khiển LQG Giả thiết:  Hệ thống hoạt động trong miền tuyến tính  Giả sử chỉ đo được ợ g góc lệch ệ và vịị trí xe  Có nhiễu tác động vào hệ thống. Nhiễu đo vị trí xe có phương sai là 0.01; nhiễu đo góc lệch con lắc có phương sai 0.001 0 001  Dùng lọc Kalman để ước lượng trạng thái và lọc nhiễu . . Thiết ế kế ế dùng Matlab:  >> K = lqr(A,B,Q,R)  >> L = lqe(A,G,C,QN,RN) q ( , , ,Q , ). 15 January 2014. %G là ma trận ậ đơn vịị. © H. T. Hoàng - ÐHBK TPHCM. 131.

(131) Thiết kế bộ điều khiển LQG . Bộ điều khiển LQR 1 0 Q 0  0. 0 1 0 0 0 100 0  0 0 1 0. 0.  K=[70.1356  22.1091  10.000  11.0514]. R 1 . Bộ lọc Kalman Q N  0.000001I 0.001 0  RN    0 0 . 01  .  6.5617  0.0571  21.5437  0.1876   L  0.5713 0.1470      1.9568 0.0271 . (Do ta giả sử không có nhiễu hệ thống nên chọn QN rất bé. bé Hai thành phần của RN chính là phương sai của nhiễu đo lường) 15 January 2014. © H. T. Hoàng - ÐHBK TPHCM. 132.

(132) Mô phỏng điều khiển LQG hệ con lắc ngược. 15 January 2014. © H. T. Hoàng - ÐHBK TPHCM. 133.

(133) Kết quả mô phỏng điều khiển LQG hệ con lắc ngược [rad],[rad/s]. 1.  . 0 -1 -2. 0. 1. 2. 3. 4. 5. [m],[m/s]. 2. x x. 0 -2. 0. 1. 2. 3. 4. 5. 10. [N]. 6. 6. u. 0 -10. 0. 1. 2. 3 Time [s]. 4. 5. 6. Bộ lọc Kalman ước lượng trạng thái và lọc nhiễu, nhờ vậy mà đáp ứng của hệ thống điều khiển LQG tốt hơn LQR trong trường hợp hệ thống có nhiễu 15 January 2014. © H. T. Hoàng - ÐHBK TPHCM. 134.

(134) MỘT SỐ CÔNG THỨC CẦN NHỚ. 15 January 2014. © H. T. Hoàng - HCMUT. 135.

(135) Nghiệm của phương trình vi phân bậc 1 . Phương trình vi phân bậc 1 đồng nhất : x (t )  ax(t )  0. .  at x ( t )  Ce Nghiệm tổng quát:. . Hằng số C được xác định dựa vào điều kiện biên.. 15 January 2014. © H. T. Hoàng - HCMUT. 136.

(136) Nghiệm của phương trình vi phân bậc 1 (tt) . Phương trình vi phân bậc 1 không đồng nhất :. x (t )  ax (t )  b x (t )  Ce.  at. b  a. . Nghiệm tổng quát:. . Hằng ằ số ố C được xác định dựa vào điều ề kiện biên.. 15 January 2014. © H. T. Hoàng - HCMUT. 137.

(137) Nghiệm của phương trình vi phân bậc 1 (tt) . Phương trình vi phân bậc 1 không đồng nhất :. x (t )  p (t ) x(t )  q (t ) . Nghiệm tổng quát: trong đó:. .  (t )q(t )dt  C  x(t )   (t ). p ( t ) dt   (t )  e. Hằng số C được xác định dựa vào điều kiện biên biên.. 15 January 2014. © H. T. Hoàng - HCMUT. 138.

(138) Nghiệm của phương trình vi phân bậc 2 . Phương trình vi phân bậc 2 đồng nhất : ax(t )  bx (t )  cx(t )  0. . Nghiệm tổng quát: . Trường hợp 1:   b 2  4ac  0 x(t )  C1e p1t  C2 e p2t. . Trường hợp 2:   b 2  4ac  0 x(t )  C1e pt  C2te pt. . với p1, 2  (b   ) /(2a). với p  b /(2a). Trường hợp 3:  b 2  4ac  0 x(t )  C1et sin t  C2 et cos t. Với   b /(2a) . và     /(2a). Hằng số C1 và C2 được xác định dựa vào điều kiện biên. 15 January 2014. © H. T. Hoàng - HCMUT. 139.

(139) Nghiệm của phương trình vi phân bậc 2 . Phương trình vi phân bậc 2 không đồng nhất :. ax(t )  bx (t )  cx(t )  d d  Nghiệm tổng quát: x  z  c. trong đó z(t) là nghiệm của phương trình vi phân đồng nhất:. az(t )  bz (t )  cz (t )  0 . Hằng số C1 và C2 được xác định dựa vào điều kiện biên.. 15 January 2014. © H. T. Hoàng - HCMUT. 140.

(140) Nghiệm của phương trình trạng thái . Phương trình vi phân bậc 1: x (t )  Ax (t )  Bu (t ) Điều kiện đầu: x (t0 )  x0. ) x2 (t ),..., ) xn (t )]T   n trong đó: x (t )  [ x1 (t ), A   nn t.  . Nghiệm : x(t )   (t ) x(t0 )   (t   ) Bu ( )d t0. Trong đó:  (t )  e At. . Cách 1:  (t )  e At  L1 ( sI  A) 1. . Cách 2:(t )  e At  C0 I  C1 A  C2 A2    Cn 1 An 1 thay các trị riêng i của ma trận A (nghiệm của det(I  A)  0 ) vào phương trình trên sẽ tính được các hệ số Ci 15 January 2014. © H. T. Hoàng - HCMUT. 141.

(141) Nghiệm của phương trình trạng thái (tt) . Các trường hợp riêng của phương trình vi phân bậc 1: . Nếu B=0: x (t )  Ax (t ) x(t )  (t ) x(t0 )  e A(t t0 ) x(t0 ). . Nếu u=1: x (t )  Ax (t )  B t. x(t )   (t ) x(t0 )   (t   ) Bd t0. 15 January 2014. © H. T. Hoàng - HCMUT. 142.

(142) Tổng kết chương Sau khi học xong chương 3, sinh viên phải có khả năng:  Giải bài toán tối ưu động không ràng buộc và có ràng buộc  Thành Thà h lậ lập các á bài ttoán á điề điều khiể khiển tối ưu động độ  Giải bài toán tối ưu động liên tục dùng phương pháp biến phân  Giải bài toán tối ưu rời rạc dùng phương pháp qui hoạch động  Thiết ế kế ế bộ điều ề khiển ể LQR, bộ lọc Kalman, bộ điều ề khiển ể LQG. 15 January 2014. © H. T. Hoàng - HCMUT. 143.

(143)

Bài giảng Lý thuyết điều khiển nâng cao: Chương 3 - PGS.TS. Huỳnh Thái Hoàng

Tài liệu liên quan

Tài liệu bạn tìm kiếm đã sẵn sàng tải về