| 1 |
Grounding Hindsight Instructions in Multi-Goal Reinforcement Learning for Robotics ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 2 |
LipSound2: Self-Supervised Pre-Training for Lip-to-Speech Reconstruction and Lip Reading ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Neural Network Learning for Robust Speech Recognition
|
|
Qu, Leyuan. - : Staats- und Universitätsbibliothek Hamburg Carl von Ossietzky, 2021
|
|
BASE
|
|
Show details
|
|
|
| 4 |
Towards a self-organizing pre-symbolic neural model representing sensorimotor primitives ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Conversational Language Learning for Human-Robot Interaction
|
|
|
|
BASE
|
|
Show details
|
|
|
| 6 |
Crossmodal Language Grounding in an Embodied Neurocognitive Model
|
|
|
|
In: Front Neurorobot (2020)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Incorporating End-to-End Speech Recognition Models for Sentiment Analysis ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 8 |
Towards Dialogue-based Navigation with Multivariate Adaptation driven by Intention and Politeness for Social Robots ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 9 |
GradAscent at EmoInt-2017: Character- and Word-Level Recurrent Neural Network Models for Tweet Emotion Intensity Detection ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Syntactic Reanalysis in Language Models for Speech Recognition
|
|
|
|
In: 2017 Joint IEEE International Conference on Development and Learning and Epigenetic Robotics (ICDL-EpiRob) ; https://hal.inria.fr/hal-01558462 ; 2017 Joint IEEE International Conference on Development and Learning and Epigenetic Robotics (ICDL-EpiRob), Sep 2017, Lisbon, Portugal ; http://icdl-epirob.org/ (2017)
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Interactive Natural Language Acquisition in a Multi-modal Recurrent Neural Architecture ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 12 |
Recurrent Neural Network for Syntax Learning with Flexible Predicates for Robotic Architectures
|
|
|
|
In: The Sixth Joint IEEE International Conference Developmental Learning and Epigenetic Robotics (ICDL-EPIROB) ; https://hal.inria.fr/hal-01417697 ; The Sixth Joint IEEE International Conference Developmental Learning and Epigenetic Robotics (ICDL-EPIROB), Sep 2016, Cergy, France ; http://icdl-epirob.org/ (2016)
|
|
BASE
|
|
Show details
|
|
|
| 13 |
Semantic Role Labelling for Robot Instructions using Echo State Networks
|
|
|
|
In: European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN) ; https://hal.inria.fr/hal-01417701 ; European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN), Apr 2016, Bruges, Belgium ; https://www.elen.ucl.ac.be/esann/index.php?pg=esann16_programme (2016)
|
|
BASE
|
|
Show details
|
|
|
| 14 |
Using Natural Language Feedback in a Neuro-inspired Integrated Multimodal Robotic Architecture
|
|
|
|
In: 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN) ; https://hal.inria.fr/hal-01417706 ; 25th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), Aug 2016, New York City, United States. pp.52 - 57, ⟨10.1109/ROMAN.2016.7745090⟩ ; http://www.tc.columbia.edu/conferences/roman2016/ (2016)
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Natural language acquisition in recurrent neural architectures ; Erwerb von natürlicher Sprache in rekurrenten neuronalen Architekturen
|
|
Heinrich, Stefan. - : Staats- und Universitätsbibliothek Hamburg Carl von Ossietzky, 2016
|
|
Abstract:
The human brain is one of the most complex dynamic systems that enables us to communicate (and externalise) information by natural language. Our languages go far beyond single sounds for expressing intentions - in fact, human children already join discourse by the age of three. It is remarkable that in these first years they show a tremendous capability in acquiring the language competence from the interaction with caregivers and their environment. However, our understanding of the behavioural and mechanistic characteristics for the acquisition of natural language is - as well - in its infancy. We have a good understanding of some principles underlying natural languages and language processing, some insights about where activity is occurring in the brain, and some knowledge about socio-cultural conditions framing the acquisition. Nevertheless, we were not yet able to discover how the mechanisms in the brain allow us to acquire and process language. The goal of this thesis is to bridge the gap between the insights from linguistics, neuroscience, and behavioural psychology, and contribute an understanding of the appropriate characteristics that favour language acquisition, in a brain-inspired neural architecture. Accordingly, the thesis provides tools to employ and improve the developmental robotics approach with respect to speech processing and object recognition as well as concepts and refinements in cognitive modelling regarding the gradient descent learning and the hierarchical abstraction of context in plausible recurrent architectures. On this basis, the thesis demonstrates two consecutive models for language acquisition from natural interaction of a humanoid robot with its environment. The first model is able to process speech production over time embodied in visual perception. This architecture consists of a continuous time recurrent neural network, where parts of the network have different leakage characteristics and thus operate on multiple timescales (called MTRNN), and associative layers that integrate embodied perception into continuous phonetic utterances. As the most important properties, this model features compositionality in language acquisition, generalisation in production, and a reasonable robustness. The second model is capable to learn language production grounded in both, temporal dynamic somatosensation and temporal dynamic vision. This model comprises of an MTRNN for every modality and the association of the higher level nodes of all modalities into cell assemblies. Thus, this model features hierarchical concept abstraction in sensation as well as concept decomposition in production, multi-modal integration, and self-organisation of latent representations. The main contributions to knowledge from the development and study of these models are as follows: a) general mechanisms on abstracting and self-organising structures from sensory and motor modalities foster the emergence of language acquisition; b) timescales in the brain's language processing are necessary and sufficient for compositionality; and c) shared multi-modal representations are able to integrate novel experience and modulate novel production. The studies in this thesis can inform important future studies in neuroscience on multi-modal integration and development in interactive robotics about hierarchical abstraction in information processing and language understanding. ; Das Gehirn des Menschen ist eines der komplexesten dynamischen Systeme, welches uns ermöglicht, Informationen in natürlicher Sprache zu kommunizieren. Unsere Sprachen gehen weit über einzelne Laute, um Intentionen auszudrücken, hinaus - vielmehr sind bereits Kinder im Alter von drei Jahren in der Lage, einen Diskurs zu führen. Erstaunlicherweise zeigen sie in diesen ersten Jahren die außerordentliche Fähigkeit, sich Sprachkompetenz durch die Interaktion mit den Eltern und der Umgebung anzueignen. Unser Verständnis von den Verhaltens- und Mechanistischen Merkmalen des Erwerbs natürlicher Sprache steckt aber ebenfalls noch in den Kinderschuhen. Wir haben ein gutes Verständnis von einigen Prinzipien der natürlichen Sprache und der Sprachverarbeitung, Erkenntnisse darüber, wo Aktivität dafür im Gehirn auftritt, und Wissen über die sozio-kulturellen Rahmenbedingungen für den Spracherwerb. Trotzdem waren wir bisher nicht in der Lage aufzudecken, wie die Mechanismen im Gehirn es dem Menschen ermöglichen, Sprache zu erwerben und zu verarbeiten. Diese Dissertation hat zum Ziel, die Brücke zwischen den Erkenntnissen aus der Linguistik, Neurowissenschaft und Verhaltenspsychologie zu schlagen und dazu beizutragen, unser Verständnis über geeignete Merkmale in einer vom Gehirn inspirierten neuronalen Architektur, welche den Spracherwerb begünstigt, zu verbessern. Dazu stellt die Dissertation Werkzeuge zur Verfügung, um den Ansatz der Developmental Robotics anzuwenden und bezüglich Spracherkennung und Objekterkennung weiterzuentwickeln. Außerdem präsentiert sie Konzepte sowie Verbesserungen zur kognitiven Modellierung im Bezug auf das Gradientenabstiegsverfahren und die hierarchische Abstraktion von Konzepten in rekurrenten Architekturen. Auf dieser Grundlagen demonstriert diese Dissertation aufeinander aufbauende Modelle für den Spracherwerb über natürliche Interaktion eines humanoiden Roboters mit dessen Umgebung. Das erste Modell ist fähig, über die Zeit Sprachproduktion durch Einbettung in visuelle Wahrnehmung zu verarbeiten. Diese Architektur besteht aus einem zeitlich-kontinuierlich rekurrentem neuronalen Netz, in dem Segmente verschiedene Leakage-Egenschaften aufweisen und so auf verschiedenen Zeitskalen arbeiten (genannt: MTRNN) und dabei assoziative Schichten der körperlichen Wahrnehmung in die kontinuierlichen phonetischen Aussagen integrieren. Die wichtigsten Eigenschaften dieses Modells sind die Kompositionalität im Spracherwerb, Generalisierung in der Produktion und eine gewisse Robustheit. Das zweite Modell ist fähig, Sprachproduktion, welche in zeitlich dynamischer Somatosensorik und zeitlich dynamischem Sehen eingebettet ist, zu erlernen. Dieses Modell besteht aus einem MTRNN für jede Modalität und assoziiert die Knoten aller Modalitäten auf höherem Level in Cell Assemblies. Dadurch bietet das Modell die hierarchische Abstraktion von Konzepten in der Wahrnehmung und auch die Dekomposition von Konzepten in der Produktion, multi-modale Integration sowie Selbstorganisation von verborgenen Repräsentationen. Wichtigste Beiträge zum Wissen aus Entwicklung und Untersuchung dieser Modelle sind Folgende: a) Emergenz vom Spracherwerb wird von generellen Mechanismen zur Abstraktion und Selbstorganisation von Strukturen aus sensorischen und motorischen Modalitäten, unterstützt; b) Zeitskalen in der Sprachverarbeitung im Gehirn sind notwendig und hinreichend für Kompositionalität; und c) geteilte multi-modale Repräsentationen können neue Wahrnehmungen integrieren und neue Produktionen modulieren. Die Untersuchungen können zukünftige Studien der Neurowissenschaften im Bereich multi-modaler Integration und die Entwicklung von interaktiven Robotern bezüglich hierarchischer Abstraktion in Informationsverarbeitung und Sprachverstehen motivieren.
|
|
Keyword:
004 Informatik; 54.72 Künstliche Intelligenz; 54.75 Sprachverarbeitung; 54.76 Computersimulation; Computational Neuroscience; ddc:004; Developmental Robotics; Hierarchische Abstraktion; Künstliche Intelligenz; Lernen; Maschinelles Lernen; Multi-modal Integration; Multi-modale Integration; Natürliche Sprache; Natural Language; Recurrent Neural Networks; Rekurrente Neuronale Netze; Selbstorganisation; Self-organisation; Spracherwerb; Zeitskalen
|
|
URL: http://nbn-resolving.de/urn:nbn:de:gbv:18-79721
https://ediss.sub.uni-hamburg.de/handle/ediss/6800
|
|
BASE
|
|
Hide details
|
|
|
| 16 |
A Recurrent Neural Network for Multiple Language Acquisition: Starting with English and French
|
|
|
|
In: Proceedings of the NIPS Workshop on Cognitive Computation: Integrating Neural and Symbolic Approaches (CoCo 2015) ; https://hal.inria.fr/hal-02561258 ; Proceedings of the NIPS Workshop on Cognitive Computation: Integrating Neural and Symbolic Approaches (CoCo 2015), Dec 2015, Montreal, Canada ; http://ceur-ws.org/Vol-1583/ (2015)
|
|
BASE
|
|
Show details
|
|
|
| 17 |
Toward a self-organizing pre-symbolic neural model representing sensorimotor primitives
|
|
|
|
BASE
|
|
Show details
|
|
|
| 18 |
Toward a self-organizing pre-symbolic neural model representing sensorimotor primitives
|
|
|
|
BASE
|
|
Show details
|
|
|
|
|
