Bachelor and Master Theses

To apply for conducting this thesis, please contact the thesis supervisor(s).
Title: Audiovisual Programming in Rust / Audiovisuell programmering med Rust
Subject: Computer science, Embedded systems, Software engineering
Level: Basic, Advanced
Description:

The thesis examines how the programming language Rust can be used to play and process video files and audio. The work partly examines which libraries, so-called crates, which are best suited for audiovisual content. The work also examines developer experience DX. How easy is it to understand the library's API? How much boilerplate code is needed to transfer video frames and audio buffers from decoders to graphics and audio playback libraries, respectively? The work also examines empirical performance for playing video and audio files compared to the frameworks that are part of Windows or macOS, Media Foundation and AVFoundation, respectively.

 

In the work we propose some starting points: (1) to use the programming language Rust, (2), wgpu / WebGPU to draw video frames, (3) the library ffmpeg to decode video and audio files. We also suggest that the work uses nannou which is a unified framework for creative coding.

 

 

Epistemologically, the work is based on pragmatism, while the description and interpretation of the developer experience is connected to phenomenology and hermeneutics, respectively.

 

The degree work is carried out within the framework of the project Information Retrieval in Embedded Systems for Audiovisual Artistic Processes (IRESAP). The project is a collaboration between Spotify, Ericsson, teenage engineering, the Royal College of Music in Stockholm and Mälardalen University.

 

/

 

Examensarbetet undersöker hur programspråket Rust kan avvändas för att spelat upp och bearbeta videofiler och ljud. Arbetet undersöker dels vilka bibliotek, s.k. crates, som är bäst lämpade för audiovisuellt innehåll. Arbetet undersöker också developer experience DX. Hur lätt är det att förstå bibliotekens API? Hur mycket boilerplate-kod behövs för att föra över videoramar och ljudbuffrar från avkodare till grafik- respektive ljuduppspelningsbibliotek? Arbetet undersöker också empirisk prestanda för att spela upp video och ljudfiler jämfört med de ramverks som är en del av Windows eller macOS, Media Foundation respektive AVFoundation. 

 

I arbetet föreslår vi några utgångspunkter: (1) att använda programspråket Rust, (2), wgpu / WebGPU för att rita videoramar, (3) biblioteket ffmpeg för att avkoda video- och ljudfiler. Vi föreslår också att arbetet använder nannou som är ett samlat ramverk för kreativt kodande.

 

Epistemologiskt utgår arbetet ifrån pragmatismen medan beskrivningen och tolkningen av utvecklarupplevelsen knyter an till fenomenologi respektive hermeneutik.

 

Examensarbetet utförs inom ramen för projektet Information Retrieval in Embedded Systems for Audiovisual Artistic Processes IRESAP som är ett samarbete mellan Spotify, Ericsson, teenage engineering, Kungliga Musikhögskolan i Stockholm och Mälardalens universitet.

Start date: 2024-01-15
End date: 2024-06-14
Prerequisites:

Computer Graphics

/

Datorgrafik

IDT supervisors: Rikard Lindell
Examiner:
Comments:

The start date for bachelor students' thesis work coincides with study period two (LP2). If there are many applicants for the same thesis work, a selection will be made based on results from Ladok.

/

Startdatum för examensarbetet för kandidatstudenter sammanfaller med läsperiod två (LP2). Om det är många som söker samma arbete kommer vi att göra ett urval baserat på resultat från Ladok.

Company contact:

teenage engineering is a Swedish consumer electronics company and manufacturer founded in 2005 based in Stockholm. Its products include electronics and synthesizers, with its core product being the OP-1, OP-Z, the line of Pocket Operators, and the recent portable mixer (TX-6), recorder (TP-7), and microphone (CM-15).

Spotify is the world's largest music streaming platform.

Ericsson is a world leading mobile network intrastructure supplier.

The Royal College of Music (KMH) is one of the worlds most highly regarded academic music institutions.