| 1 |
Ultrasonic Doppler Based Silent Speech Interface Using Perceptual Distance
|
|
|
|
In: Applied Sciences; Volume 12; Issue 2; Pages: 827 (2022)
|
|
BASE
|
|
Show details
|
|
|
| 2 |
Exploring Silent Speech Interfaces Based on Frequency-Modulated Continuous-Wave Radar
|
|
|
|
In: Sensors; Volume 22; Issue 2; Pages: 649 (2022)
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Haptic performativity: exploring the force of bodies and the limits of linguistic action in silent protests
|
|
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Machine Learning Methods for Automatic Silent Speech Recognition Using a Wearable Graphene Strain Gauge Sensor. ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 6 |
Silent EEG-Speech Recognition Using Convolutional and Recurrent Neural Network with 85% Accuracy of 9 Words Classification
|
|
|
|
In: Sensors ; Volume 21 ; Issue 20 (2021)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Machine Learning Methods for Automatic Silent Speech Recognition Using a Wearable Graphene Strain Gauge Sensor
|
|
|
|
In: Sensors; Volume 22; Issue 1; Pages: 299 (2021)
|
|
BASE
|
|
Show details
|
|
|
| 9 |
Women in the New Testament’s Church Ministry: The Problem of Remaining Silent
|
|
|
|
In: Diligence: Journal of the Liberty University Online Religion Capstone in Research and Scholarship (2018)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Variation de la durée des pauses silencieuses : impact de la syntaxe, du style de parole et des disfluences
|
|
|
|
In: Langages, N 211, 3, 2018-08-29, pp.13-40 (2018)
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Neural and Behavioral Mechanisms of Clear Speech
|
|
|
|
In: Graduate Theses and Dissertations (2017)
|
|
BASE
|
|
Show details
|
|
|
| 12 |
Невербальные средства общения в диалогическом дискурсе терциарной речи
|
|
БАБАЯН ВЛАДИМИР НИКОЛАЕВИЧ. - : Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Вятский государственный гуманитарный университет», 2016
|
|
BASE
|
|
Show details
|
|
|
| 13 |
Articulation in multimodal silent speech interface for European Portuguese ; Interfaces de fala silenciosa multimodais para português europeu com base na articulação
|
|
|
|
Abstract:
Doutoramento conjunto MAPi em Informática ; The concept of silent speech, when applied to Human-Computer Interaction (HCI), describes a system which allows for speech communication in the absence of an acoustic signal. By analyzing data gathered during different parts of the human speech production process, Silent Speech Interfaces (SSI) allow users with speech impairments to communicate with a system. SSI can also be used in the presence of environmental noise, and in situations in which privacy, confidentiality, or non-disturbance are important. Nonetheless, despite recent advances, performance and usability of Silent Speech systems still have much room for improvement. A better performance of such systems would enable their application in relevant areas, such as Ambient Assisted Living. Therefore, it is necessary to extend our understanding of the capabilities and limitations of silent speech modalities and to enhance their joint exploration. Thus, in this thesis, we have established several goals: (1) SSI language expansion to support European Portuguese; (2) overcome identified limitations of current SSI techniques to detect EP nasality (3) develop a Multimodal HCI approach for SSI based on non-invasive modalities; and (4) explore more direct measures in the Multimodal SSI for EP acquired from more invasive/obtrusive modalities, to be used as ground truth in articulation processes, enhancing our comprehension of other modalities. In order to achieve these goals and to support our research in this area, we have created a multimodal SSI framework that fosters leveraging modalities and combining information, supporting research in multimodal SSI. The proposed framework goes beyond the data acquisition process itself, including methods for online and offline synchronization, multimodal data processing, feature extraction, feature selection, analysis, classification and prototyping. Examples of applicability are provided for each stage of the framework. These include articulatory studies for HCI, the development of a multimodal SSI based on less invasive modalities and the use of ground truth information coming from more invasive/obtrusive modalities to overcome the limitations of other modalities. In the work here presented, we also apply existing methods in the area of SSI to EP for the first time, noting that nasal sounds may cause an inferior performance in some modalities. In this context, we propose a non-invasive solution for the detection of nasality based on a single Surface Electromyography sensor, conceivable of being included in a multimodal SSI. ; O conceito de fala silenciosa, quando aplicado a interação humano-computador, permite a comunicação na ausência de um sinal acústico. Através da análise de dados, recolhidos no processo de produção de fala humana, uma interface de fala silenciosa (referida como SSI, do inglês Silent Speech Interface) permite a utilizadores com deficiências ao nível da fala comunicar com um sistema. As SSI podem também ser usadas na presença de ruído ambiente, e em situações em que privacidade, confidencialidade, ou não perturbar, é importante. Contudo, apesar da evolução verificada recentemente, o desempenho e usabilidade de sistemas de fala silenciosa tem ainda uma grande margem de progressão. O aumento de desempenho destes sistemas possibilitaria assim a sua aplicação a áreas como Ambientes Assistidos. É desta forma fundamental alargar o nosso conhecimento sobre as capacidades e limitações das modalidades utilizadas para fala silenciosa e fomentar a sua exploração conjunta. Assim, foram estabelecidos vários objetivos para esta tese: (1) Expansão das linguagens suportadas por SSI com o Português Europeu; (2) Superar as limitações de técnicas de SSI atuais na deteção de nasalidade; (3) Desenvolver uma abordagem SSI multimodal para interação humano-computador, com base em modalidades não invasivas; (4) Explorar o uso de medidas diretas e complementares, adquiridas através de modalidades mais invasivas/intrusivas em configurações multimodais, que fornecem informação exata da articulação e permitem aumentar a nosso entendimento de outras modalidades. Para atingir os objetivos supramencionados e suportar a investigação nesta área procedeu-se à criação de uma plataforma SSI multimodal que potencia os meios para a exploração conjunta de modalidades. A plataforma proposta vai muito para além da simples aquisição de dados, incluindo também métodos para sincronização de modalidades, processamento de dados multimodais, extração e seleção de características, análise, classificação e prototipagem. Exemplos de aplicação para cada fase da plataforma incluem: estudos articulatórios para interação humano-computador, desenvolvimento de uma SSI multimodal com base em modalidades não invasivas, e o uso de informação exata com origem em modalidades invasivas/intrusivas para superar limitações de outras modalidades. No trabalho apresentado aplica-se ainda, pela primeira vez, métodos retirados do estado da arte ao Português Europeu, verificando-se que sons nasais podem causar um desempenho inferior de um sistema de fala silenciosa. Neste contexto, é proposta uma solução para a deteção de vogais nasais baseada num único sensor de eletromiografia, passível de ser integrada numa interface de fala silenciosa multimodal.
|
|
Keyword:
Articulation; Comunicação oral - Silêncio; Depth Information; European Portuguese; Human-Computer Interaction; Informática; Interacção homem-computador; Língua portuguesa - Fonologia; Multimodal; Nasality; Silent Speech; Surface Electromyography; Ultrasonic Doppler Sensing; Video
|
|
URL: http://hdl.handle.net/10773/14425
|
|
BASE
|
|
Hide details
|
|
|
| 14 |
Charting the recovery of dysphagia in two complex cases of post-thermal burn injury: physiological characteristics and functional outcomes
|
|
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Preliminary Test of a Real-Time, Interactive Silent Speech Interface Based on Electromagnetic Articulograph
|
|
|
|
In: CSE Conference and Workshop Papers (2014)
|
|
BASE
|
|
Show details
|
|
|
| 18 |
Individual articulator's contribution to phoneme production
|
|
|
|
In: CSE Conference and Workshop Papers (2013)
|
|
BASE
|
|
Show details
|
|
|
| 19 |
Word Recognition from Continuous Articulatory Movement Time-Series Data using Symbolic Representations
|
|
|
|
In: CSE Conference and Workshop Papers (2013)
|
|
BASE
|
|
Show details
|
|
|
|
|
