Bài giảng Đồ họa máy tính: Bài 9 - Lê Tấn Hùng

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.2 MB, 7 trang )

(1)<div class='page_container' data-page=1>

CNTT-ĐHBK Hà nộiKhoa CNTT/ĐHBK

Hà nội 1

Bài 12 - Hi

ệ

n th

ự

c

ả

o

Virtual Reality

CNTT-ĐHBK Hà nội 2

I. Virtual Reality

Khái ni

ệ

m “virtual” ?

“Virtual” là 1 trong những từđược lạm dụng trong ngành công nghệcao
ngày nay và được dùng phổbiến.

“virtual bank”, “virtual heritage”,... ngụ ý đến 1 điều kỳquái

-monstrosities.

virtual X

với X có thểlà bất cứthứgì , điều gì. virtual Xkhơng phải là X nhưng

có giao diện (hình dáng, hoạt động ...) giống hệt như X

Ví dụ: virtual memorykhơng phải là bộnhớ nhưng nó làm việc với vi

xử lý đúng như là bộnhớ.

Tương tựvirtual disks, virtual terminals, virtual networks, etc.

CNTT-ĐHBK Hà nội 3

Đị

nh ngh

ĩ

a Virtual Reality

Coates (1992):

Greenbaum (1992):

Theo kinh nghi

ệ

m con ng

ườ

i

:

(Isdale, 1998)

Các thu

ậ

t ng

ữ

khác th

ườ

ng dùng:

Virtual Worlds, Virtual Environments, Immersive VR, Cyberspace

...

CNTT-ĐHBK Hà nội 4

L

ị

ch s

ử

phát tri

ể

n

1962 : Sensorama (from the movie industry : Morton Heilig)
1970sh : visualisation of virtual world on the screen
1970 : First Head Mounted Display : Daniel Vivkers from Utah

University (From a Ivan Sutherland / MIT 's idea)
1982 : Dataglove

1980-85 : First VR commercial products 1987 Virtual Cockpit
(British Aerospace) head and hand tracking, eye tracking, 3d 
visuals, 3D audio, speech recognition vibro tactile feedback
1990-95 : Popularisation of VR (Film, Books...)

ARMY – spend close to $1000 million 1998 in VRresearch.

CNTT-ĐHBK Hà nội 5

So s

ánh

Virtual Reality v

à

c

ác

Media kh

ác

Sốngđộng - Vividness (biểu diễn được
mơi trường chính xác)

breadth (visibility, audibility, touch,
smell)

depth (quality, fidelity-chính xác)

Tương tác - Interactivity (cho phép
người dùng có khảnăng thayđổi mơi
trường )

speed (update rates, time lag)
mapping (text, speech, gestures,

gaze, complex behavior patterns)

CNTT-ĐHBK Hà nội 6

</div>
(2)<div class='page_container' data-page=2>

CNTT-ĐHBK Hà nội 7

Thành ph

ầ

n Ki

ế

n trúc

Đối tượng, thực thể- Objects, entities (cars, buildings, sky, …)

Tính chất hình học- Shape, color, texture
Tính chất vật lý – Weight, speed, position, etc…

Người dùng - User

Tương tác với mơi trường, có thểđược nhìn thấy bằng CAMERA
Có hình thểtham gia vào thếgiới ảo (avatar)

Có thểnghe, nói (Voice recognition)
Có thểdi chuyển (gesture recognition)

Đa người dùng - Multi user
Mạng máy tính - Network connection

Mơ phỏng - Simulation
Điều khiển ứng dụng

Điều khiển hướng sựkiện (tránh va chạm)

Mô phỏng hướng theo tính chất vật lý của đối tượng (act according the objects physical
attributes)

Thếgiới, môi trường World

Kết nối tát cảnhững phần khác nhau vào thành 1 môi trường mà người dùng hoạt

động ở trong đó

CNTT-ĐHBK Hà nội 8

Đặ

c

đ

i

ể

m

Virtual reality

(VR), Ph

ả

i

đả

m b

ả

o

Trong th

ự

c t

ế để đạ

t

đượ

c ch

ấ

p nh

ậ

n:

Hoà nh

ậ

p - “immersion”.

CNTT-ĐHBK Hà nội 9

Đặ

c

đ

i

ể

m Th

ự

c t

ế

c

ủ

a Hi

ệ

n th

ự

c

ả

o

M

ộ

t VR th

ậ

t không t

ồ

n t

ạ

i, làm con ng

ườ

i c

ả

m th

ấ

y tho

ả

i mái

khi có các nh

ầ

m l

ẫ

n, Ph

ả

i có

đượ

c

đặ

c

đ

i

ể

m

C

ả

m giác hồ nh

ậ

p - immersion:

Cho phép t

ươ

ng tác v

ớ

i các

đố

i t

ượ

ng trong c

ả

nh nh

ư

cách

ng

ờ

i dùng làm trong th

ự

c t

ế

ch

ấ

p nh

ậ

n tính x

ấ

p x

ỉ

v

ớ

i h

ạ

n

độ

h

ợ

p lý.

T

ạ

o càng nhi

ề

u c

ả

m nh

ậ

n trên các giác quan càng t

ố

t

CNTT-ĐHBK Hà nội 10

Cơng ngh

ệ

trong VR

Màn hình hi

ể

n th

ị

-Visual displays: hi

ể

n th

ị

th

ế

gi

ớ

i

ả

o

đế

n ng

ườ

i

s

ử

d

ụ

ng.

H

ệ

th

ố

ng theo dõi-Tracking systems: theo dõi v

ị

trí và h

ướ

ng c

ủ

a

ng

ườ

i dùng trong mơi tr

ườ

ng

ả

o

H

ệ

th

ố

ng tính tốn-Computation Systems: th

ự

c hi

ệ

n nh

ữ

ng tính

tốn c

ầ

n thi

ế

t

để

sinh ra khơng gian

ả

o

Thi

ế

t b

ị

xúc giác-Haptic devices: cung c

ấ

p thao tác và nh

ậ

n

đượ

c

các c

ả

m giác ph

ả

n h

ồ

i t

ừ

th

ế

gi

ớ

i th

ự

c

Audio systems- ph

ả

n h

ồ

i âm thanh t

ừ

th

ự

c t

ạ

i

ả

o

Perceive

The ability to sense the position and location and orientation and
movement of the body and its parts.

ear
balance, acceleration,

position, location, 
orientation, 
movement of the 
body
proprioception

The perception of body position and movement and muscular tension

etc; SYN: kinaestesia, feeling of movement

muscles
position, movement,

muscular 
tensions
kinesthesia

The faculty of taste; SYN. gustation, sense of taste, gustatory
modality.

tongue/nose
savour, flavour

taste

The faculty of smell; SYN. sense of smell, olfaction, olfactory
modality.

nose
odour

smell

The faculty of touch; SYN. sense of touch, skin senses, touch
modality, cutaneous senses.

skin
surface / temperature

touch

The ability to see; the faculty of vision; SYN. vision, visual sense,
visual modality.

eyes
image

sight

The ability to hear; the auditory faculty; SYN. audition, auditory
sense, sense of hearing, auditory modality.

ears,body
sound

hearing

C

ả

m nh

ậ

n môi tr

ườ

ng

ả

o

Perceive ?

a) monoscopic cues( cảnh mono)

relative size

interposition and occlusion( lỏng lẻo)
perspective distortion( méo)
lighting and shadows
texture gradient

motion parallax ( thịsai chuyểnđộng)
b) binocular (stereoscopic) cues

stereo disparity (phân tách)
convergence( hội tụ)

</div>
(3)<div class='page_container' data-page=3>

CNTT-ĐHBK Hà nội 13

T

ái t

ạ

o c

ả

m giác

recreate sensation ?

a) monoscopic cues

realistic rendering / lighting simulation

b) stereoscopic cues -> stereodisparity presentation of

appropriate view to each eye

- time multiplexing of images

- multiplexing with chromatic filters (anaglyph)
- multiplexing with polarizer filters

- providing two views simultaneously
Color Encoded Stereo Image Pair

CNTT-ĐHBK Hà nội 14

Yêu c

ầ

u

VR

Cảnh-scene: cần được vẽ, sinh ra phụthuộc vào điểm nhìn của người dùng
Vịtrí của mắt cần xác định, thiết bịtheo dõi xác định hướng và vịtrí của đầu và mắt.

Theo đó Phần mềm cần hiệu chỉnh ma trận chiếu phù hợp đểcó kết quả..

Cảnh hiển thị3-D.

stereo vision:Hình ảnh nhận được sửdụng sựkhác biệt We perceive 3-D primarily
using the difference between the images received by the two eyes -.

perceive 3-D is by focus: the lens in the eye focuses light differently for near vs.
far objects.

The user needs to be able to affectthe scene somehow.

Tracking capability (to determine head/eye placement), the user a hand-held

object with a tracker on it.

User’s motions directly, either through placement of tracking devices on the
user’s clothes, or by giving the computer several video feeds of the user.

CNTT-ĐHBK Hà nội 15

Ứ

ng d

ụ

ng

Engineering

Aero Engine design

Submarine design

Architecture

Human factors modeling
Industrial concept design

Telecoms engineering

Entertainment

Computer animator

Television
Game system

Science

– Computational Neuroscience
– Molecular modeling
– Phobias ~ Virtual Therapy
– Telepresence

– Ultrasound Echolography

Training

– High-risk work
– Flight simulation
– Medicine
– Military training
– Nuclear industry

– Accident simulation (Airline,
car collision testing)

CNTT-ĐHBK Hà nội 16

An Immersive Car Simulator

Using HMD

(© British Aerospace)

CNTT-ĐHBK Hà nội 17

A BOOM Display Application in

Aerodynamics

CNTT-ĐHBK Hà nội 18

Phân lo

ạ

i VR-

Desktop VR

Non-immersive: chuột 3d, window system

3D world hiển thịtren màn hình, chuột và bàn phím làđầu vào tương tác.

Giá thấp, dùng cảvới PC thông dụng.

VRML, Games
Window on a World(WoW)

Một sốhệthống sửdụng một màn hình truyền thống đểhiển thịthếgiới trực
quan (visual world).

Người ta phải xem màn hình hiển thị như là một cửa sổmà qua cửa sổđó
người ta có thểthấy một thếgiới ảo.

Thách thức đối với lĩnh vực đồhoạmáy tính là làm cho hình ảnh trong cửa sổ

đó trơng giống như thật, âm thanh nghe giống thật và các đối tượng hành

động giống thật.

</div>
(4)<div class='page_container' data-page=4>

CNTT-ĐHBK Hà nội 19

Ánh x

ạ

Video (Video Mapping)

Đây là một biến thểcủa cách tiếp cận theo kiểu WoW. Tiếp cận theo kiểu này
sẽkết hợp một đoạn video hình ảnh người sửdụng với đồhoạ 2D. Người sử
dụng sẽthấy một màn hình hiển thị tương tác của hình anh ta với máy tính.
DVR hệthống đơn giản sửdụng các thiết bị tương tác thông thường như :
chuột 3d, window system. Thếgiới 3D được hiển thịtrên màn hình, chuột và
bàn phím là đầu vào tương tác.

Ưu điểm của hệthống và các ứng dụng loại nay là chi phí và giá cảthấp, có
thểdùng được cảvới PC thơng dụng và các thiết bịthông dụng khác.
Phù hợp với việc phát triển những ứng dụng đại trà và các sản phẩm cấp thấp

khơng cần đến đội chính xác tuyệt đối.

CNTT-ĐHBK Hà nội 20

Th

ế

gi

ớ

i th

ự

c b

ổ

xung-Augmented Reality

S

ự

k

ế

t h

ợ

p gi

ữ

a

đồ

ho

ạ

và th

ế

gi

ớ

i th

ự

c t

ạ

o thành 1 h

ệ

th

ố

ng

chung ph

ụ

c v

ụ

cho vi

ệ

c nhìn nh

ậ

n và

đ

ánh giá th

ế

gi

ớ

i th

ự

c.

K

ế

t h

ợ

p Telepresence và các h

ệ

th

ố

ng th

ự

c t

ạ

i

ả

o cho ta m

ộ

t

th

ự

c t

ạ

i h

ỗ

n h

ợ

p(Mixed Reality)

hay

các h

ệ

th

ố

ng mô ph

ỏ

ng

li

ề

n m

ạ

ch (Seamless Simulation systems).

Ở

đ

ây, các d

ữ

li

ệ

u vào sinh sinh ra b

ở

i máy tính s

ẽ

đượ

c h

ợ

p

nh

ấ

t (k

ế

t h

ợ

p) v

ớ

i các d

ữ

li

ệ

u vào telepresence và/ho

ặ

c quan

đ

i

ể

m (cách nhìn) v

ề

th

ế

gi

ớ

i th

ự

c c

ủ

a ng

ườ

i s

ử

d

ụ

ng.

CNTT-ĐHBK Hà nội 21

Xu

ấ

t hi

ệ

n - Presence

Xuất hiện ảo-Virtual presence

... Is experienced by a person when sensory information generated only by and within a
computer compels a feeling of being present in an environment other than the one the
person is actually in” (Sheridan, 1992, pg.6)

Presence: là cảm nhận tâm lý xuất hiện ởmột môi trường dựa vào cơng nghệhình
thành theo kiểu hồ nhập - immersive.

Trên thực tếhệthống hoạt động theo kiêu này không cần thiết áp dụng cho tất cảmọi
người mà chỉcho một vài người có vai trị nhất định trong cộng đồng.

Việc tích hợp giữa immersive và presence ln là bài tốn khó cho cơng nghệ. Một

ứng dụng của Presence là: Telepresence và teleoperate

CNTT-ĐHBK Hà nội 22

Telepresence

Telepresence : Là thuật ngữmô tảviệc sửdụng các công nghệkhác nhau gây
hiệu ứng đặt ngưịi dùng tại một vịtrí khác.

Telepresence là một cách mường tượng, hình dung các thếgiới được sinh ra
hồn tồn trong máy tính. Đây là một kỹthuật kết nối các cảm biến từxa
trong thếgiới thực với cảm giác của người điều khiển. Các cảm biến từxa
này có thểđược định vịtrên một robot, giống như là các cơng cụ.
Lính cứu hoảsửdụng các phương tiện điều khiển từ xa đểxửlý những trường

hợp nguy hiểm. Các bác sĩgiải phẫu sửdụng các thiết bịvô cùng nhỏtrên
những dây cáp đểthực hiện ca phẫu thuật mà không cần rạch ra một lỗlớn

trên cơ thểbệnh nhân. Các thiết bịnày có một video camera nhỏ ởđầu làm
việc (business end).

Các robot được trang bịcác hệthống telepresence này đã thay đổi cách thức
thực hiện các cuộc thí nghiệm vềbiển sâu hoặc núi lửa. Kỹthuật này ngồi ra
cịn được áp dụng trong các cuộc nghiên cứu vũtrụ...

II. Immersion( hoà nh

ậ

p)

Tạo ra cảm giác hồ nhập giữa người dùng và mơi trường, hìnhảnh quan
sát là hìnhảnh người sửdụng nhìnđược bao gồm cảkhơng gian và
phương hướng.

Phần hìnhảnh người dùng quan sátđược chỉlà 1 phần rất nhỏso với
không gian hiển thị

Thông thường cơng nghệcho hiển thịđóng vai trị quan trọng và các cảm
nhận khác cũng được kiểm tra.

Hệthống thực tại ảo - VR systems sẽtạo cho người dùng là một phần của
thếgiới ảo đang được mô phỏng chứ không đơn thuần môi trường ảo đang
mô phỏng là 1 góc của thếgiới thực mà người dùng hiện hữu.

Hệthống immersive VR đầu tiên là hệthống mô phỏng lái máy bay màở
đó sựhồ nhập là sựkết hợp tinh xảo giữa các thiết bịthật và các hình ảnh
ảo. Buồng lái thật với các thiết bịthực tếcho phép phi công sửdụng như 1
chuyến bay bình thường. Hình ảnh hiển thịlà những cảnh ảo được chuẩn

K

ỹ

thu

ậ

t sinh immersive

Head-Mounted Display: Put the screen right in front of the

user’s eyes. Include a lens, for comfortable focusing.

Advantage: It is easy to give the eyes different views.
Disadvantage: Need separate screen for each user.

BIG Disadvantage: When the user’s head moves, there is noticeable lag
before the image updates. (Faster computers should fix this problem.)

Large-Screen Display: Use a very large screen or group of

screens that fill the user’s vision.

Advantage: Image-update lag is not as much of a problem. (Why not?)
Advantage: Multiple users can view a single screen (but only one gets a

precisely correct view).

</div>
(5)<div class='page_container' data-page=5>

CNTT-ĐHBK Hà nội 25

Ph

ân lo

ạ

i

Imm

ersive -

Virtual Environments

1. Immersive Virtual Environments- mơi trường ảo hồ nhập

•các đối tượng tương tác quan sát được và độc lập hoàn toàn với thếgiới thật
• Cảnh ảo phản ứng lại các hành động tương tác của đối tượng.
•các đối tượng khơng thểtác động lên mơi trường thật

2. Semi-Immersive Virtual Environments-mơi trường ảo bán hồ nhập

•các đối tượng có thểtác động lên cả mơi trường thật vàảo

• vai trị của các đối tượng trong môi trường ảo lớn hơn nhiều so với môi trường
thật

• tác động nên mơi trường thực là rất hạn chế

3. Non-Immersive Virtual Environments – VR thơng thường
•các cảnh 3D như là 1 phần của thếgiới thật (môi trường vật lý)
•các đối tượng đáp lại hồn tồn trong thếgiới thật
• Tồn tại rất ít quan hệvới mơi trường ảo -VE

CNTT-ĐHBK Hà nội 26

Hoà nh

ậ

p m

ứ

c

độ

th

ấ

p

First Level of Immersion /

Interactivity Low level, Physical level

Because the computer is physically connected to the human

body by its senses and its motor responses.

The physical devices, Which interface to use ?

You have to know that not only Sight interface exist (HMD...),

but lots of other,l you should have an idea of all the others

What Hardware (interface, computer) ?

What Software (Driver, Toolkit, Programming Language...) ?

CNTT-ĐHBK Hà nội 27

Second Level : Mental Immersion / Interactivity of the user

Triadic diagram for the behavioral interfacing

Desired Behavior... where are the
shemas...

Effective motor function : what the
user will do : Schema, Schema by
substitution or Metaphore
Effective perception : as natural as

possible, with as many senses as
possible, and as weel synchorised
(cohering) as possible
programmed motor function :

Behavorial Software Assistance
Programmed perception : what is

available from the virtual world

CNTT-ĐHBK Hà nội 28

C

ác b

ướ

c thi

ế

t k

ế

VR Environments

Content

• story writing
• scenario setup
• semantics

Objects

• geometry and static attributes (color etc…)
• textures

• sound

Dynamics

• object relationships
• events

• dynamic object properties (behavior)

System Implementation

CNTT-ĐHBK Hà nội 29

Low Level Tools

• Keep Track of Primitive Lists

• Transformation of Vertices

• Drawing of Primitives

• Reading Devices on Driver Level

• Polygon Intersection Testing

Examples

• C++ Compiler

• OpenGL, Direct3D

CNTT-ĐHBK Hà nội 30

High Level Tools

• Loading Objects (Geometry, Sounds…)

• Scene Graph Construction

• Advanced Camera Models

• Automatic Sensor Handling

• Automatic Collision Detection

Examples

• C++ Compiler

</div>
(6)<div class='page_container' data-page=6>

CNTT-ĐHBK Hà nội 31

V. Ph

ầ

n c

ứ

ng Mơ hình chung

Physical Simulation
and Animation

Lights

Illustration Model

Objects

Geometry
Surface Properties
Dynamic Properties
Physical Constrains
Acoustic Properties

Collision Detection
Head Position

Hand Position

Visual

Audio

Haptic

INPUT OUTPUT

CNTT-ĐHBK Hà nội 32
Glove

Glove tracker

receiver Voice Recognition

Graphics
Processor

VE

Database
Machine

Intelligence

Video Camera
Haptics

Host Computer
VE Real-time OS

Face / Gesture / 
Motion Analysis
3D Sound

Processor

Tracker
Transmitter
3D Tracker
System

Head Tracker Receiver
Head-mounted display(HMD)
Head phones

Microphone

Generic VR System

CNTT-ĐHBK Hà nội 33

M

àn hình và các thi

ế

t b

ị

t

ươ

ng tác

Display & interactive Devices

Visual Displays (3D imagery)

• Head Mounted Displays (HMD)
• Projection Displays (CAVE, Virtual Plane)

Acoustic Displays (spatial sound)

• Multi-Channel Sound Systems

• Specialized Convolution Processors (e.g. Convolvotron)

Haptic Displays (force feedback)

• Robot Arms (e.g. Grope, Phantom)
• Active Joystics (e.g. Microsoft Sidewinder)
• Vibrotactile Devices (e.g. Logitec Cyberman)

CNTT-ĐHBK Hà nội 34

3D Input/output

Head-mounted display(HMD)

Degree of Freedom (DOF)

6 DOF: translation and rotation of X, Y, Z
axes

3D mouse

Sonar-based

3D Trackball (Space-ball)

Pressure sensors
Pushing, pulling, and twisting

Joysticks

Specific platforms of exploration

Gloves

Finger angle (flexible sensors)
Tracking the movement of the hands
Sonic or electromagnetic system
Postures

3D Input

(

Haptic device)

Dials

3D array

Force-feedback devices

Hand and body tracking

LEDs
Hi-ball tracker

Puppets

Eye Tracking

Gaze sensing

Laser Scanner

4 categories of haptic devices

Hand position and orientation

forces and torque feedback devices

tactile devices

</div>
(7)<div class='page_container' data-page=7>

CNTT-ĐHBK Hà nội 37

Sensory Interface

CNTT-ĐHBK Hà nội 38

Motor Interface

CNTT-ĐHBK Hà nội 39

X. CAVE

"CAVE Automatic Virtual Environment”.

1. Introduction

One of the leading VR environments is the CAVE.

“CAVE” stands for “CAVE Automatic Virtual Environment”.
Originally a hardware/software combination, the CAVE was developed

at the Electronic Visualization Lab at the U. of Illinois, Chicago, in the
early 1990’s.

The software component has since been separated and turned into a
commercial product (CAVELIB, sold by VRCO) that runs in any number
of VR environments.

CNTT-ĐHBK Hà nội 40

CAVE - An Immersive VR Environment

(EVL, University of Illinois at Chicago)

CNTT-ĐHBK Hà nội 41

2.CAVE Hardware

Standard CAVE hardware consists of:

Any number of

walls

(screens).

• The original idea was four: three vertical and a floor.

• ARSC has a 1-wall CAVE called an “ImmersaDesk”; we plan to
get a 3-or-4 wall CAVE soon.

Any number of stereo glasses.

• One of these is for the driver; it has a tracker on it.

A

wand

.

• This is a stick with a tracker on it, along with some buttons and a
directional control (“joystick”).

Bài giảng Đồ họa máy tính: Bài 9 - Lê Tấn Hùng

Bài 12 - Hi

ệ

n th

ự

c

ả

o

Virtual Reality

I. Virtual Reality

Khái ni

ệ

m “virtual” ?

<i>virtual X</i>

Đị

nh ngh

ĩ

a Virtual Reality

<b>Coates (1992):</b>

<b>Greenbaum (1992):</b>

<b>Theo kinh nghi</b>

<b>ệ</b>

<b>m con ng</b>

<b>ườ</b>

<b>i</b>

<b>:</b>

<b>(Isdale, 1998) </b>

<b>Các thu</b>

<b>ậ</b>

<b>t ng</b>

<b>ữ</b>

<b>khác th</b>

<b>ườ</b>

<b>ng dùng:</b>

Virtual Worlds, Virtual Environments, Immersive VR, Cyberspace

...

L

ị

ch s

ử

phát tri

ể

n

So s

ánh

Virtual Reality v

à

c

ác

Media kh

ác

Thành ph

ầ

n Ki

ế

n trúc

Đặ

c

đ

i

ể

m

<i>Virtual reality</i>

(VR), Ph

ả

i

đả

m b

ả

o

Trong th

ự

c t

ế để đạ

t

đượ

c ch

ấ

p nh

ậ