Social Robots Berardina De Carolis e Paolo Buono Dipartimento di Informatica Università di Bari " Aldo Moro" - UniBa

Social Robots
Berardina De Carolis e Paolo Buono
   Dipartimento di Informatica
  Università di Bari “ Aldo Moro”

Robots
• Robota (Czech) = A worker of forced labor
   • From Czech playwright Karel Capek's 1921 play R.U.R (Rossum's Universal Robots)

• Japanese Industrial Robot Association (JIRA)
   •   “A device with degrees of freedom that can be controlled”
   •   Class 1: Manual handling device
   •   Class 2: Fixed sequence robot
   •   Class 3: Variable sequence robot
   •   Class 4: Playback robot
   •   Class 5: Numerical control robot
   •   Class 6: Intelligent robot

A Brief History of Robotics
• Mechanical Automata
   • Ancient Greece & Egypt
      • Water powered for ceremonies
   • 14th – 19th century Europe
      • Clockwork driven for entertainment

• Motor driven Robots
                                                    Maillardet’s Automaton
   • 1928: First motor driven automata
   • 1961: Unimate
      • First industrial robot
   • 1967: Shakey
      • Autonomous mobile research robot
   • 1969: Stanford Arm
      • Dextrous, electric motor driven robot arm

                                                          Unimate

Robots

 Manipulators

 Mobile

Robots

 Walking

 Humanoid

Social Robot (Fong et al. 2003)
A social robot should have a set of “human-like social” characteristics
that lead to specific:
1.S. establish/maintain Social relationships
2.P. exhibit distinctive Personality and character
3.L. Learn/develop social competencies
4.E. Express and/or perceive emotions
5.N. use of Natural cues (gaze +gestures, etc)
6.D. communicate with high level Dialogue
7.O. Other agents perception and modeling
8.R. Recognition and understanding of social situations

Social Robot

Immaginiamo l’interazione con un social robot ...

                                ... perchè immaginare

Pepper è qui ...

Percepire l’ambiente
Percepire utente/utenti:
  • Body Posture, Gestures e Facial expressions
  • Gaze
  • Azioni rivolte al robot (eg. Dare la mano)
  • Speech e NLU
Percezione dell’ambiente:
  • Object detection e Recognition
  • Quante persone
  • Situazione ambientale
  • Mappe

Maschio/Femmina

Fascia di eta'

Ha gli occhiali?

Ha la barba?
...

Reasoning e Decision Making
• Ragionare sull'utente e sull'ambiente
• Prendere decisioni in base al task da svolgere
• Decidere quale comportamento eseguire in base alla situazione
  sociale e alle emozioni
• Gestire il turn-taking e la generation del dialogo

Action Execution
• Navigazione nel mondo che lo circonda
• Comunicazione multimodale coerente
• Espressione di “comportamenti” sociali e di emozioni
• Gesti
• Prossimita'

Affective Computing
• Filone di Ricerca relativamente nuovo
   • importanza delle emozioni nell'interazione uomo macchina

• Rosalind Picard (MIT)
   • Libro Affective Computing del 1997

“Affective Computing is the study and development of systems and
  devices that can recognize, interpret, process, and simulate human
  affect/emotion”

Motivazioni
• “The question is not whether intelligent machines can have any
  emotions, but whether machines can be intelligent without any
  emotions”
— Marvin Minsky (1927–2016) (Co-founder of AI Lab at MIT, Turing Award winner
 (most prestigious award in Computer Science))

• Le emozioni sono fondamentali per l'esperienza umana, influenzano I
  nostri processi cognitivi, la percezione e l'intepretazione di quello che
  avviene, hanno un impatto sui nostri compiti quotidiani come
  l'apprendimento, la comunicazione, il decision-making.

Cosa e' una emozione?
• Basic emotions: fear, anger, happiness, sadness, surprise, disgust

Episodio di breve durata in genere causato da un evento:
   • sentimento soggettivo
   • valutazione della situazione

• Affect = emozioni e umore (mood)
   • emotion : short term, high intensity, object directed
   • mood      : unfocused, long term, low intensity
   • affect    : sometimes seen as abstraction of emotion/mood in terms of,
     positiveness/negativeness and activation/deactivation

Riconoscere le emozioni
• Dal Comportamento          • Dai Segnali Bio/Fisiologici
  •   Espressioni Facciali      •   Battito Cardiaco
  •   Parlato                   •   EEG
  •   Gesti                     •   EMG
  •   Postura                   •   GSR
  •   … altro                   •   … altro

Affective Computing

                      16

Affective Computing

Real time Mental State Inference

Facial feature   Head & facial   Head & facial   Mental state
extraction       action unit     display         inference
                 recognition     recognition

Head pose
estimation

Feature point                                       hmm …
tracking*                                           fammici
                                                    pensare

BioSignals

EEG

Emotion Speech Recognition

Pitch – fundamental frequency
• ANSI acoustical terminology defines pitch as "..that attribute of
  auditory sensation in terms of which sounds may be ordered on a
  scale extending from high to low”
• High levels
   • emotions like anger, joy, fear that aims at attracting attention
• Low levels
   • sober emotions like calm and sadness
• Medium levels
   • neutral attitude

Intensity
• Intensity measures the power of the sound
• Intensity of emotions such as fear and joy increases during the
  pronunciation of the sentence, while it decreases in case of sadness

Spectral features
  • Segmental
  • Timbre
  • Features related to Timbre are calculated through the analsys of harmonicity
    and Mel- Frequency Cepstral Coefficients (MFCCs)
  • Mel-frequency cepstrum (MFC) is a representation of the short-term power
    spectrum of a sound, based on a linear cosine transform of a log power
    spectrum on a nonlinear mel scale of frequency
  • Mel-frequency cepstral coefficients (MFCCs) are coefficients that collectively
    make up an MFC

Engagement e Social Robots
• Engagement: the process of establishing, maintaining an interaction
  (Sidner et al. 2005) or how interested and attentive users are towards
  a conversation (Yu, Aoki, and Woodruff 2004)
• It is also defined as our emotional involvement or commitment to
  something
• Social signals indicate the engagement of a user
   • nodding, laughter, verbal backchannels, emotions, and eye gaze
   • Why? Adapt the interaction in order to keep the user as engaged as possible

Engagement and Social Robots
• Un piccolo esperimento

   • Consenso alla videoregistrazione

   • Interazione con Pepper

   • Risposta ad alcune domande sull’esperienza appena vissuta

Ambiti Applicativi
Assistenza    Autismo     Anziani     MSNA

Accoglienza   Reception   Infopoint   ...

Education     Tutoring    Serious     STEM
                          Games

Esempio
• Sviluppo di un chatbot per pepper per il servizio di accoglienza in un
  dipartimento universitario
• Contesto delle strutture pubbliche
   • Università, Ospedali e Comuni, dove si può avere difficoltà nel trovare
     l’informazione che sta cercando per svariati motivi, tra cui
     Carenza o assenza di personale dedicato all’accoglienza

     Totem informativi difficili da utilizzare

     Sito web che non soddisfa le necessità dell’utente

PERCHÉ PEPPER?

  È un robot sociale
  Cattura l’attenzione
  Obiettivi:
         Aiutare le persone a cercare
         informazioni
         Dare le informazioni rispondendo
         in linguaggio naturale

Com’è fatto?

  Applicazione per il robot Pepper

  Web Server

  Portale Web

Analisi e progettazione

Analisi
          Studio sulla struttura del Dipartimento
           Interviste con esperti (personale guardiania)
           Osservazione utenza nella richiesta delle
          informazioni

Progettazione
       Progettazione del dialogo mediante storyboard
       Web-server

Risultato

Dialogo in linguaggio naturale

Uso del tablet per info aggiuntive

Condivisione delle informazioni mediante QR Code

Richieste di appuntamento con docenti