1 Forschungsanliegen

Technische Systeme der Zukunft sind Companion-Systeme – kognitive technische Systeme, die ihre Funktionalität vollkommen individuell auf den jeweiligen Nutzer abstimmen: Sie orientieren sich an seinen Fähigkeiten, Vorlieben, Anforderungen und aktuellen Bedürfnissen und stellen sich auf seine Situation und emotionale Befindlichkeit ein. Sie sind stets verfügbar, kooperativ und vertrauenswürdig und treten ihrem Nutzer als kompetente und partnerschaftliche Dienstleister gegenüber.

Von dieser Vision geleitet befasst sich im Sonderforschungsbereich/Transregio 62 ein interdisziplinäres Konsortium aus Informatikern, Ingenieuren, Medizinern, Neurobiologen und Psychologen mit der systematischen Erforschung kognitiver Fähigkeiten und deren Realisierung in technischen Systemen. Dabei stehen die Eigenschaften der Individualität, Anpassungsfähigkeit, Verfügbarkeit, Kooperativität und Vertrauenswürdigkeit im Mittelpunkt der Untersuchung. Ziel ist es, diese so genannten Companion-Eigenschaften durch kognitive Prozesse in technischen Systemen zu realisieren und sie an psychologischen Verhaltensmodellen sowie anhand von Hirnmechanismen zu untersuchen. Damit sollen die Grundlagen für eine Technologie geschaffen werden, die menschlichen Nutzern eine völlig neue Dimension des Umgangs mit technischen Systemen erschließt.

Der Sonderforschungsbereich/Transregio 62 (SFB/TRR 62) wurde am 1. Januar 2009 von der Deutschen Forschungsgemeinschaft an den Standorten Ulm und Magdeburg eingerichtet. An der Universität Ulm, der Otto-von-Guericke Universität in Magdeburg und dem dortigen Leibniz-Institut für Neurobiologie arbeiten inzwischen 80 Wissenschaftler an diesem Vorhaben mit.

2 Forschungsbereiche

Das Forschungsprogramm zur Entwicklung einer Companion-Technologie für kognitive technische Systeme umfasst interdisziplinäre methodische Grundlagenforschung in den drei zentralen Bereichen Planung und Entscheidung, Interaktion und Verfügbarkeit und Situation und Emotion. Dabei erfolgt die Bearbeitung der relevanten Forschungsfragen aus zwei komplementären Sichten auf das Zusammenwirken von Nutzer und System:

  • Die Systemsicht fokussiert auf den konstruktiven Aspekt, d.h. die Konstruktion von kognitiven Funktionseinheiten und die Realisierung von Companion-Eigenschaften durch diese Funktionseinheiten.

  • Die Nutzersicht untersucht die Wirkung von Systemverhalten auf den Nutzer. Diese manifestiert sich im mentalen Modell, das der Nutzer von einem Companion-System aufbaut sowie in seiner Reaktion auf das System.

2.1 Planung und Entscheidung

Die zentralen kognitiven Prozesse der Planung, Schlussfolgerung und Entscheidungsfindung bilden die Grundlage von Handlung und Interaktion zwischen Nutzer und technischem System. Dazu wird die Entwicklung von Handlungsstrategien in biologischen und technischen Systemen untersucht sowie die Wirkung von Systemverhalten auf das Nutzerverhalten und seine Auswirkungen auf den Interaktionsverlauf. Übergeordnetes Ziel ist es, wissensbasierte Methoden zu entwickeln, einzusetzen und zu erproben, die ein Companion-System befähigen, Nutzer von Anwendungen und Diensten in ihren Handlungen und Entscheidungen umfassend, kompetent und individuell zu unterstützen. Ein Companion-System soll in der Lage sein, Lösungen für komplexe Aufgabenstellungen – völlig selbstständig oder in Kooperation mit dem Nutzer – zu erarbeiten, dabei zielgerichtet und nachvollziehbar vorzugehen und im Dialog mit dem Nutzer Entscheidungsunterstützung und Handlungsempfehlungen zu geben. Dabei orientiert es sich an der aktuellen Interessenlage des Nutzers, berücksichtigt seine Fähigkeiten und Präferenzen, trägt seinem emotionalen Zustand Rechnung und passt seine Unterstützungsleistung an die gegenwärtige Umgebungssituation an. Der SFB/TRR 62 behandelt die Themenstellungen zu Handlungsplanung, Strategieentwicklung und Entscheidungsfindung aus System- und Nutzersicht heraus. Zum einen steht der systemorientierte Aspekt der automatischen Synthese und individuellen Anpassung von Handlungsplänen und -empfehlungen im Vordergrund, zusammen mit der Bereitstellung einer symbolischen Wissensmodellierung, auf die sich Planungs-, Interaktions- und Dialogprozesse eines Companion-Systems stützen. Zum zweiten werden Forschungsfragen zu Interaktionsverhalten und Handlungsstrategien aus der Sicht menschlicher Nutzer bzw. biologischer Systeme bearbeitet. Längerfristiges Ziel ist eine Modellbildung und Methodenentwicklung, die sich synergetisch aus einer informationstechnisch orientierten und einer neurobiologisch/psychologisch orientierten Systemsicht ergibt.

2.2 Interaktion und Verfügbarkeit

Menschen interagieren mit ihrer Umwelt unter Verwendung aller Sinne und ihrer kognitiven und motorischen Fähigkeiten. Entsprechend sollte ein Companion-System nicht nur stets verfügbar, sondern auch in der Lage sein, jeweils aufgabenspezifische und situations- sowie kontextkonforme Interaktionsformen zu wählen, um als individueller und verlässlicher Assistent seines Nutzers akzeptiert zu werden. Bei heutigen Computersystemen herrschen im Wesentlichen durch die Technologie diktierte Interaktionsformen vor, die auch natürliche, sprachdialogische Kommunikation umfassen, sich aber meist durch eine strikt hierarchische Dialogführung in klar abgegrenzten Domänen auszeichnen. Um die für Companion-Systeme erforderliche Flexibilität und Adaptivität zu erreichen, setzt der SFB/TRR 62 einen Forschungsschwerpunkt in der Methodenentwicklung und Modellbildung auf dem Gebiet der Interaktion. Ziel ist es, Mensch-Computer-Interfaces in kognitiven technischen Systemen so zu realisieren, dass Interaktion und Dialog auf adäquate, den Aufgaben, Aktionen, Handlungszielen und der Umgebungssituation angemessene Art, adaptiv und in individualisierter Form erfolgen kann. Dabei handelt es sich grundsätzlich um multimodale Interaktion und, als zweite wesentliche Dimension, um die Verwendung unterschiedlichster Gerätetypen, so dass Multimodalität in multiplen User-Interfaces umgesetzt werden muss. Parallel zur Bearbeitung von entsprechend technisch orientierten Fragestellungen werden grundlegende Erkenntnisse über Hirnmechanismen der Informationsverarbeitung in Dialogen zwischen Mensch und technischem System gewonnen und in die Methodenentwicklung einbezogen.

2.3 Situation und Emotion

Menschen können Situationen mit emotional und intentional agierenden Personen in ihrer Gesamtheit kontextabhängig bewerten. Diese Fähigkeit auch als wesentliche Eigenschaft von Companion-Systemen zu erforschen ist ein weiteres zentrales Anliegen des SFB/TRR 62. Ziel ist die dynamische Erfassung und Abbildung der Situiertheit – Ort im Raum, Bewegungsorientierung, Aufmerksamkeit, etc. – und des individuell Emotionalen im Umgang mit dem technischen System. Durch Multimodalität und Fusion werden dabei hohe Erkennungsraten, Robustheit und Zuverlässigkeit erreicht. Der Gegenstand der Untersuchung gliedert sich in die dynamische Erfassung und Erkennung von Umgebungssituation, Intention und Emotion des Nutzers, deren Modellierung und die Interpretation und Darstellung der Gesamtsituation. Die Notwendigkeit, Information über den emotionalen Zustand von Nutzern in die Funktionalität eines kognitiven technischen Systems mit einzubeziehen, ergibt sich aus der neurobiologischen Erkenntnis, dass eine ausschließlich kognitive Analyse von Mensch-Computer-Interaktionen für viele Bereiche humaner Informationsverarbeitung zu kurz greift – insbesondere wenn kognitive technische Systeme an sozialen Interaktionen beteiligt sind und wenn es um Prioritätensetzung und Entscheidungsprozesse geht, bei denen Emotionen eine wichtige Informationsquelle darstellen. Aufgrund der Bedeutung von Emotionen bei der Setzung von Prioritäten, bei Entscheidungsprozessen und Handlungssteuerungen sind für die Konzeption von Companion-Systemen situative Aspekte und emotionale Vorgänge in Dialogen zwischen Mensch und Computer zu integrieren und dafür Systemelemente verfügbar zu machen. Bedeutsam ist in diesem Zusammenhang die Untersuchung und Bereitstellung von entscheidungs- und handlungsrelevanten Informationen aus nicht linguistischen, humanen Verhaltensweisen, die in der zwischenmenschlichen Interaktion nur selten bewusstseinsnah verarbeitet oder sprachlich kodiert werden, aber doch eine große Wirksamkeit auf die Steuerung von Verhalten haben.

3 Funktionsweise eines Companion-Systems

Die Abb. 1 zeigt die Hauptfunktionseinheiten eines Companion-Systems. Ein Nutzer äußert sich einem Companion-System gegenüber auf vielfältige Weise und bringt seine expliziten sowie impliziten Anforderungen an das System in der Regel durch mehrere simultan ausgeführte und beobachtbare Aktionen zum Ausdruck. Nutzer und System sind eine Umgebung eingebettet, die sowohl die Aktionen des Nutzers, als auch deren Beobachtbarkeit beeinflusst. Ein Companion-System stellt verschiedene Funktionen bereit, um die Intentionen des Nutzers zu erkennen, entsprechend darauf zu reagieren und seine expliziten und impliziten Anforderungen zu erfüllen. Äußerungen des Nutzers werden als eine Folge von Beobachtungen unterschiedlicher Modalitäten erfasst und durch Komponenten zur Analyse von Sprache, Mimik und Gestik sowie psychobiologischen Merkmalen klassifiziert. Die Erkennung der Umgebung erfolgt analog auf der Basis von sensorisch erkannten Merkmalen der Umgebungssituation. Die durch Perzeption detektierten Merkmale werden zu einer subsymbolischen Repräsentation des Gesamtzustandes fusioniert, der den emotionalen Zustand des Nutzers sowie die aktuelle Umgebungssituation beschreibt. Die Transformation der subsymbolischen Gesamtzustandsrepräsentation in eine symbolische Zustandsbeschreibung erfolgt unter Einbeziehung des hinterlegten Wissensmodells. Sie liefert die Grundlage zur Intentionserkennung und wird zur Steuerung der Planungs- und Interaktionskomponenten sowie zur Dialogsteuerung genutzt. Zur Realisierung nutzerzentrierter Funktionalität und Assistenz erzeugen Planungskomponenten auf der Basis des Wissensmodells aktuelle Handlungspläne und -empfehlungen und führen notwendige Anpassungen der bereits in Ausführung befindlichen Handlungspläne durch. Der Dialog zwischen Nutzer und System erfolgt durch Komponenten der multimodalen Interaktion. Sie erkennen Nutzeraktionen, die mit expliziten Funktionsanforderungen an das Companion-System korreliert sind und über verschiedene Eingabekanäle erfolgen können. Die damit verbundenen Änderungen des Zustandes der Anwendung und der Gesamtsituation führen anschließend zu entsprechenden Systemantworten. Komponenten der multimodalen Interaktion realisieren darüber hinaus die Ausgabe von Information an den Nutzer, wobei sie unterschiedliche Geräte und Präsentationsformen verwenden.

Abb. 1
figure 1

Funktionseinheiten eines Companion-Systems

Full size image

4 Anwendungsperspektiven

Eine Companion-Technologie für kognitive technische Systeme ist für ein weites Spektrum von Anwendungen hoch relevant. Beispielhaft sind im Folgenden zwei Anwendungsbereiche skizziert.

4.1 Individualisierte persönliche Assistenz

Die Companion-Technologie ermöglicht die Entwicklung völlig neuartiger persönlicher Assistenzsysteme, die als zuverlässige Begleiter ihre Nutzer bei der Erledigung täglicher Aufgaben und Vorhaben im privaten und beruflichen Bereich unterstützen. Sie sind unabhängig vom Aufenthaltsort des Nutzers stets verfügbar, verwalten seine aktuellen Aufgaben und unterschiedlich priorisierten Ziele und unterstützen ihn bei der Ausführung entsprechender Aktionen. Dabei sind sie nicht nur in der Lage, auf Abweichungen von geplanten Vorgehensweisen oder erwarteten Situationen dynamisch und flexibel zu reagieren, sondern auch selbstständig alternative Vorgehensweisen zu entwickeln, pro-aktiv vorzuschlagen und deren Konsequenzen vorauszuberechnen. Sie kennen und berücksichtigen persönliche Vorlieben und Prioritäten, erfassen dynamisch die aktuelle Umgebungssituation sowie den emotionalen Zustand und die kognitive Belastung des Nutzers und stellen ihre Unterstützungsleistungen und ihr Kommunikationsverhalten darauf ab. Sie interagieren mit Menschen, erarbeiten kooperativ Lösungen und können gezielt Dienste von außen in Anspruch nehmen oder opportunistisch nutzen, indem sie mit anderen Systemen in Interaktion treten. Das Anwendungspotenzial derartiger Assistenzsysteme umfasst neben allgemeiner Organisationsassistenz im beruflichen und privaten Alltag, insbesondere auch die Unterstützung älterer Menschen in ihrer häuslichen Umgebung. Hier spielen neben einer Assistenz bei der Bedienung von technischen Geräten oder Diensten und individuell abgestimmter Unterstützung – etwa bei der Planung und Durchführung des Tagesablaufs – auch gewisse Überwachungsfunktionen eine Rolle, die eine Gefährdung des Nutzers verhindern helfen bzw. frühzeitig erkennen und ggf. umgehend Hilfe von außen anfordern können. Dabei sind die Aspekte der Vertrauenswürdigkeit und Akzeptanz von Companion-Systemen von zentraler Bedeutung.

4.2 Medizinische Assistenzsysteme

Bedingt durch das stetige Anwachsen chronischer Erkrankungen müssen in Zukunft immer mehr Patienten bei der Durchführung von Therapieplänen, Rehabilitations- und Betreuungsmaßnahmen, vor allem in der Neurologie, der Geriatrie und der Schmerztherapie kontinuierlich individuell motiviert, unterstützt und angeleitet werden. Dabei ist die Berücksichtigung emotionaler Parameter von Patienten und Therapeuten für die Compliance höchst bedeutsam. Companion-Systeme können hier zur individualisierten, interaktiven Patientenaufklärung und -führung eingesetzt werden. Interaktive Informationsportale zur Kooperation mit den Patienten können dann z.B. so gestaltet werden, dass durch eine Individualisierung hinsichtlich der kognitiven und perzeptiven Fähigkeiten des Individuums eine bessere Akzeptanz der therapeutischen Vorschläge und Maßnahmen erreicht wird. Auch die sprechende Medizin (Psychotherapie, Psychosomatik und Psychiatrie), die sich ohnehin wesentlich auf sprachliche Kommunikation stützt, setzt zunehmend IT-Techniken zur Unterstützung ihrer Therapien ein und kann dabei von den Konzepten der Individualität, Anpassungsfähigkeit und Vertrauenswürdigkeit erheblich profitieren. Zunehmend bedeutsam und in anderen Ländern mit großem Nachdruck vorangetrieben ist die telemedizinische Betreuung. Die Behandlung von chronisch Kranken, kranken alten Patienten, Rehabilitationspatienten und Patienten in besonderen Situationen (Kommunikation mit Flugzeug-, Schiffs- und Raumschiffbesatzungen bei der Erkrankung eines Passagiers, Unterstützung von medizinischem Personal bei Kriseneinsätzen, etc.) kann durch Companion-Systeme in erheblichem Maße unterstützt werden. Im Zusammenhang mit medizinischen Anwendungen, die zunehmend von einer aktiven Mitarbeit des Patienten ausgehen, ist Vertrauenswürdigkeit und Akzeptanz der eingesetzten Systeme ganz wesentlich. Eine optimale Compliance setzt zudem voraus, dass der Patient das System als individuell auf seine Bedürfnisse zugeschnitten, anpassungsfähig, universell verfügbar und empathisch erlebt und auf dieser Grundlage vertrauensvoll mit ihm arbeitet.

5 Ausblick

Detaillierte Information zu den Teilprojekten des SFB/TRR 62 sowie aktuelle Publikationen und Forschungsergebnisse sind unter http://www.sfb-trr-62.de/ verfügbar.