„Psychofizjologiczne problemy integracji człowieka z systemami:

łączności, sterowania i dowodzenia a bezpieczeństwo operacji”

 • Jerzy Achimowicz, Olaf Truszczyński, Grzegorz Nowicki 

• Zakład Bezpieczeństwa Lotów i Klinika• Wojskowy Instytut Medycyny Lotniczej• Ul. Krasińskiego 54, 01-755 Warszawa,

6. KONFERENCJA URZĄDZENIA I SYSTEMY RADIOELEKTRONICZNE POD PATRONATEMKomitetu Elektroniki i TelekomunikacjiPolskiej Akademii NaukKomitetu Narodowego Międzynarodowej Unii Nauk Radiowych

STRESZCZENIE

•  • Autorzy pracy dokonują przeglądu aktualnych tendencji rozwojowych i problemów badawczych pojawiających się na 

skutek szybkiego rozwoju  autonomicznych systemów uzbrojenia takich jak bezzałogowe pojazdy latające i naziemne oraz podwodne roboty pola walki.

• Mimo powszechnej automatyzacji systemów sterowania systemami  pozwalającymi na rozpoznanie pola walki, prowadzenie działań bojowych oraz dowodzenie rożnymi rodzajami wojsk z zapewnieniem interoperacyjnosci w systemie NATO, rola czynnika ludzkiego staje się coraz ważniejsza.  

• Z doświadczeń NASA w zakresie projektowania i realizacji złożonych misji/projektów takich jak np. nowy system kontroli lotów lotnictwa cywilnego i wojskowego wynika ze można osiągnąć większe bezpieczeństwo operacji jeżeli zmieni się tradycyjne podejście do integracji człowieka ze złożonymi systemami już na etapie ich projektowania. W tzw. modelu HSI (Human-System Integration) człowieka nie traktuje się jako potencjalne źródło problemów/błędów ale jako główny element systemu zapewniający jego niezawodność.

• W związku z tym w procesie projektowania np. centrów dowodzenia misją uwzględnia aktualne osiągnięcia w dziedzinie psychofizjologii  przede wszystkim umożliwiające określenie zdolności poznawczych człowieka o raz ich zwiększanie prowadzące do efektywnego podejmowania trafnych decyzji.

• Powyższe podejście zostanie zilustrowane na przekładzie systemów selekcji i szkolenia operatorów dronów, projektowania ich systemów pilotażu wykorzystujących takie techniki jak augmented cognition and reality raz biofeedback AFTE ( Autogenic Feedback Traing Exercise) i BCI (Brain Computer Interface).

•  

Human Systems Integration in Maintenance

5

A technician performs maintenance on a Space Shuttle Main Engine (SSME) in building 3202 in preparation for a test firing at the NASA Stennis Space Center. (ca. 2002)

Human System Integration

6

7

RECEIVE  INPUT  

PERCEPTION

INTERPRETATION

SITUATION ASSESSMENT

DECISION MAKING

ACTION EXECUTION SYTEM CONTROL

MACHINE OPERATIONSPROVIDE FEEDBACK TO USER

HMIs

Information Processing Model Wickens 1992

A View of the Human-Machine Interface

Conceptual Shift

From Human –Machine Interface 

• From humans as a source of error…• To humans as a source of resilience

To a new paradighm – HSI

•  (Human System Integration)

8

904/12/20239

New approach: HSI and Automation

Automation and Computer Science

Human Systems Integration

• Iterative technology requirements• Resilience and error implications

•  Complex environment•  Task requirements

1010

Human-Systems Integration

HumanFactors

Engineering

PersonnelSelection

Training Manpower Habitability PersonnelSafety and

Survivability

System and Task DesignHuman-System

Interfaces

Human Capabilities And Competencies

Adequate Knowledge, Skills, and Abilities

Human Workload

Staffing and Work Distribution

Fitness for DutyHuman is Qualified,Rested, Motivated,

and Healthy

Together, these building blocks produce Optimal* Human Performance

               Human-Systems Integration: Systems Engineering Motivation

Fewer Errors(Fewer Mishaps,

Reduced Scrap, Fewer Delays)

ReducedLife-Cycle Cost

andImproved Safety

and Mission Success

Reduced StaffReducedMaintainability

Improved HumanProductivity and

System Performance

Adapted from HSI chart byBased on DoD HSI Acquisition Approach (e.g., Army’s MANPRINT)

1111

SystemDesign

Human Performance Model-BasedRequirements & Standards

Generative Mechanisms ofHuman Performance

Human Performance Metrics & Models

Require

ments/N

eeds

Tech

nolo

gie

s & C

ap

abilitie

s

HSI Research Philosophy

Psychophysiology:from understanding functions

to developing countermeasuresfor a more resilient system and hence greater 

operation safety

12

AUGMENTED  REALITY   AND  AUGMENTED COGNITION 

• Human-centered concepts of operation for the Next Generation Air Transportation System automation that promote

– Situation Awareness

– Transparent Automation

– Seamlessly Shared Authority

The major element of our work is the Cockpit Situation Display

Flight Deck Display Research LaboratoryGeneral Research Focus

 

The Flight Deck Display Research Laboratory (FDDRL) develops advanced display concepts and prototypes to support the Next Generation Air Transportation System.

UAV Ground Station Interface Advanced Flight Deck Interface

15

Cockpit Situation Display (CSD) This presentation is a brief overview of

the CSD, a prototype display developed by the FDDRL to support:

Integrated

Traffic Awareness

Terrain Awareness

Weather Awareness

Trajectory Management

Based upon availability of high quality information on traffic, weather and terrain

16

Weather DisplayGoal is to develop an intuitive 3D convective weather display.

Today:Classic Airborne Radar2D – Storm tops not displayed, must use tiltRange Limited – More tactical viewImmediate

NextRad 2D – Storm tops still not typically displayedRange unlimited - StrategicUpdates every 5-10 min

Today/Tomorrow:FAA is investing in “4D Weather Cube”Range Unlimited - Stragetic3D – Storm top information available4D – Forecast information availableUpdates every 1 min

17

Terrain Display

Goal is to develop a strategic trajectory-based terrain hazard display

• USGS SDTS DEM 30 meter Data• 3D extruded terrain for low 

altitude 3D viewing• 2D  projection for high altitude 

3D viewing• Trajectory based terrain 

alertingAmerican Sierra Nevada range approach 

Tahoe Nevada

Talon and MAARS

LS3 Program & AlpaDog 

• Tag Team Threat-recognition Technology Incorporates Mind, Machine

• September 18, 2012• DARPA links human brainwaves, improved sensors,

cognitive algorithms to improve target detection  

• http://www.darpa.mil/NewsEvents/Releases/2012/09/18.aspxRead more: http://www.digitaltrends.com/cool-tech/this-is-your-brain-on-silicon/#ixzz2hv529y8z Follow us: @digitaltrends on Twitter | digitaltrendsftw on Facebook

BCI – Brain Computer Interface

Basically, a soldier wears an electroencephalogram (EEG) cap that monitors his brain signals as he watches the feed from a 120-megapixel, tripod-mounted, electro-optical video camera with a 120-degree field of view. (Translation: incredible detail in a huge range of vision.)

AFTE- Autogenic Feedback Training Exercise 

AFTE Trainer Controls 20 Displays

1. Blood Volume Pulse left hand2. Blood Volume Pulse right hand3. Respiration Rate4. Heart Rate5. Skin Conductance Level6. Hand temperature7. Blood flow – head8. Blood flow – toe9. EMG – left arm10. EMG – right arm11. EMG – left leg12. EMG right leg13. Systolic Blood Pressure14. Diastolic Blood Pressure15. Mean Arterial Pressure16. Thoracic Fluid Volume17. Stroke Volume18. Cardiac Output19. Total Peripheral Resistance20. Vagal Tone

Typical Preflight AFTE SessionHeart Rate

45

55

65

75

85

bp

m

Cardiac Output

4

8

12

16

20

lite

rs/m

in

Mean Arterial Pressure

70

80

90

100

110

1 25 49 73 97 121 145 16915-second means

mm

Hg

Skin Conductance Level

20

25

30

35

40

1 25 49 73 97 121 145 169

15-second means

mic

rom

ho

s

Total Peripheral Resistance

4

8

12

16

20

1 25 49 73 97 121 145 169

15-second averages

un

its

   

      

80

120

160

200

240

ohm

s/cm

Stroke Volume

BioHarness  and Software

Measures

• Electrocardiography• Respiration• Chest Skin Temperature• Posture• Activity• Acceleration (XYZ), minimum and peak

BioHarness

• Requires non-skin contact sensors

• Can interface with a PC or cell phone

• No sensors for skin conductance, hand temperature, and blood flow, EMG

A Autonomous Mode Behavior:  condition when a high state of physiological arousal is accompanied by a narrowing of the focus of attention

• Sustained Operations:Fatigue, vigilance, sleep loss, contribute to human error accidents

Performance x Phases of Flightflight 1 (pre-training) vs flight 2 (post-training): AFTE 

Performance DimensionsCrew Coordination 

and Communication

Planning and Situational Awareness

Stress Management Aircraft Handling

Checklist execution              *   Taxi/takeoff

Initial cruise

Touch & go               +               *              *Cruise search & rescue *              *

Emergency initiation               *               *              *Emergency return to base              *               *Emergency approach & landing              *               *              *

flight 1 vs flight 2 for Controls were not significant, except a lower score for touch and go (+) on flight 2 

* p <0.05

Future Applications of AFTETransfer NASA Technology and Validation Studies

• Training of Polish Military Pilots• Training of U.S. Naval Pilots for Airsickness Mitigation• Training of U.S. Veterans as a Treatment for Post-

Traumatic Stress Syndrome• Training of Astronauts and Cosmonauts

Develop/ Test New Monitoring and Training Capabilities• Stream-line software• Neuro-feedback and autonomic coherence• Unobtrusive physiological Monitoring

Towards a dynamic balance between humans and automation: authority, ability, responsibility and control in shared and cooperative control situations

•ÜbersichtFlemisch, F.; Heesen, M.; Hesse, T.; Kelsch, J.; Schieben, A.; Beller, J.: Towards a dynamic balance between humans and automation: authority, ability, responsibility and control in shared and cooperative control situations, In: Cognition, Technology & Work (CTW), Springer, Berlin 2011, ISSN 1435-5558, S. 1-16 (online)KurzfassungProgress enables the creation of more automated and intelligent machines with increasing abilities that open up new roles between humans and machines. Only with a proper design for the resulting cooperative human–machine systems, these advances will make our lives easier, safer and enjoyable rather than harder and miserable. Starting from examples of natural cooperative systems, the paper investigates four cornerstone concepts for the design of such systems: ability, authority, control and responsibility, as well as their relationship to each other and to concepts like levels of automation and autonomy. Consistency in the relations between these concepts is identified as an important quality for the system design. A simple graphical tool is introduced that can help to visualize the cornerstone concepts and their relations in a single diagram. Examples from the automotive domain, where a cooperative guidance and control of highly automated vehicles is under investigation, demonstrate the application of the concepts and the tool. Transitions in authority and control, e.g. initiated by changes in the ability of human or machine, are identified as key challenges. A sufficient consistency of the mental models of human and machines, not only in the system use but also in the design and evaluation, can be a key enabler for a successful dynamic balance between humans and machines.

•Schlagworte

Assistant systems, Automation, Human-machine cooperation, Adaptive automation, Levels of automation, Balanced automation