\documentclass[10pt,a4paper]{article} \usepackage[dutch]{babel} \usepackage[utf8]{inputenc} \usepackage{amsmath,hyperref,graphicx,booktabs,float} % Link colors \hypersetup{colorlinks=true,linkcolor=black,urlcolor=blue} % Paragraph indentation \setlength{\parindent}{0pt} \setlength{\parskip}{1.5ex plus 0.5ex minus 0.2ex} \title{Bachelor thesis\\Universal multi-touch event mechanism} \author{\begin{tabular}{ll} Name: & Taddeüs Kroes\\ Student number: & 6054129\\ E-mail address: & \texttt{taddeus.kroes@student.uva.nl}\\ Adres: & Wethouder van Wijckstraat 40, 1107 BR Amsterdam\\ Phone number: & 06-23437025\\ supervisor: & Dr. R.G. Belleman (UvA)\\ \end{tabular}} \begin{document} \maketitle \pagebreak \tableofcontents \pagebreak \section{Introduction} % Ruwe probleemstelling Multi-touch interaction is becoming increasingly common, mostly due to the wide use of touch screens in phones and tablets. When programming applications using this method of interaction, the programmer needs an abstraction of the raw data provided by the touch driver of the device. This abstraction exists in several multi-touch application frameworks like Nokia's Qt\footnote{\url{http://qt.nokia.com/}}. However, applications that do not use these frameworks consequently have no access to multi-touch events. % Aanleiding This problem was observed during an attempt to create a multi-touch ``interactor'' class for the Visualization Toolkit (VTK\footnote{\url{http://www.vtk.org/}}). % Ruw doel The goal of this thesis is to define a universal multi-touch event triggering mechanism. - Om een universeel multi-touch event 'gesture'-detectie te definiëren. % Setting/afbakening Dit onderzoek heeft als einddoel een Proof of Concept te maken, namelijk een toepassing van de universele multi-touch gesture-detectie in een VTK interactor. \subsection{Opbouw verslag} In hoofdstuk \ref{sec:vraagstelling} wordt de probleemstelling vertaald naar een doelstelling en een centrale vraagstelling. Hoofdstuk \ref{sec:deelvragen} verdeelt de centrale vraagstelling in een aantal deelvragen, die elk kort worden toegelicht. Na de vraagstelling wordt in hoofdstuk \ref{sec:afbakening} de afbakening van het onderzoeksgebied aangegeven. Vervolgens wordt de gebruikte onderzoeksmethodiek beschreven in hoofdstuk \ref{sec:methodiek}, bestaande uit een faseverdeling en een globale tijdsplanning. Tot slot wordt in hoofdstuk \ref{sec:gerelateerd} een blik geworpen op een gerelateerd project. \emph{- Rest v/d hoofdstukken beschrijven} \section{Vraagstelling} \label{sec:vraagstelling} \subsection{Doelstelling} Het doel van dit onderzoek is om een bijdrage te leveren aan het ontwikkelen van een universeel datavisualisatie-programma. In dit projectvoorstel zal naar het programma worden verwezen met de afkorting ``UVA'' (Universal Visualizaton Appliance). \subsection{Centrale vraag} Hoe kan een Proof of Concept voor een universeel datavisualisatie-programma worden gerealiseerd, gericht op 3D-visualisatie en met multi-touch interactie? \subsection{Deelvragen} \label{sec:deelvragen} \begin{itemize} \item \emph{Welke taal (en evt. framework) zijn de beste keuze om het programma in te ontwikkelen?} Het kiezen van een taal is vooral afhankelijk van de beschikbaarheid van zgn. ``libraries'' met multi-touch ondersteuning. Voor Python\footnote{\url{http://python.org}} bestaat bijvoorbeeld het applicatieframework Kivy\footnote{\url{http://kivy.org}}. \item \emph{Hoe werkt de communicatie met de multi-touch tafel?} Het is nodig om te weten wat voor ``events'' er worden ondersteund door frameworks als Kivy, om te bepalen welke touch-gebaren kunnen worden geïmplementeerd. \item \emph{Welke soorten 3D datasets zijn er en welke daarvan zijn relevant om te ondersteunen in het Proof of Concept?} De term ``3D dataset'' is een generieke benaming. Omdat de multi-touch tafel in het bezit van de UvA is, zal het onderzoek zich in eerste instantie richten op bestandsformaten die op de UvA worden gebruikt om de kans op daadwerkelijk gebruik van het programma te vergroten. \item \emph{Hoe kunnen de verschillende 3D datasets worden gevisualiseerd?} Is het bijvoorbeeld makkelijk om OpenGL commando's te gebruiken? En wanneer er vele duizenden vectoren zijn, is het dan nuttig om bijvoorbeeld clusters van vectoren te groeperen tot een enkele vector? \item \emph{Hoe kunnen multi-touch gebaren worden gebruikt in de interactie met 3D datasets?} Er moet een intuïtieve manier worden ontwikkeld voor de interactie met 3D data op een 2D scherm. \item \emph{Wat is een goede structuur die toestaat om in de toekomst nieuwe visualisatiemethodes toe te voegen?} Een universeel programma moet flexibel zijn zodat ontwikkelaars gemakkelijk nieuwe methodes kunnen toevoegen. Een voorbeeld van een al bestaand is Eclipse. Elk component van Eclipse wordt gezien is een ``plugin''. Zo'n plugin heeft een vast formaat waardoor het kan worden gebruikt in combinatie met andere plugins. Een soortgelijke structuur is wellicht nuttig om te hanteren in het UVA-programma. De structuur moet flexibel genoeg zijn om een verschillende frameworks te kunnen gebruiken in verschillende visualisatiemethodes. Kivy maakt bijvoorbeeld gebruik van een eigen main loop (een functie die zorgt voor het functioneren van de grafische interface). De loop is ``blocking'', dus is het mogelijk nodig om gebruik te maken van threads voor continue taken. \end{itemize} \subsection{Afbakening} \label{sec:afbakening} Het onderzoek zou waarschijnlijk het best tot zijn recht komen wanneer het zou worden uitgevoerd door meerdere onderzoekers. Omdat er echter slechts een enkele onderzoeker is, en er een beperkte tijd voor het onderzoek beschikbaar is, is besloten tot het maken van een Proof of Concept. %Omdat het UVA-programma expliciet als opdracht is geformuleerd, wordt in dit %onderzoek aangenomen dat er nog geen universeel programma voor %datavisualisatie bestaat. \subsection{Programma-onderdelen} \emph{- Multitouch-library} \emph{- front-end in VTK} \section{Relatie met vergelijkbaar onderzoek} \label{sec:gerelateerd} Er is gezocht naar programma's met een soortgelijke strekking met het doel er inspiratie uit op te doen, zo is het programma ``UDAV'' gevonden. UDAV\footnote{\url{http://udav.sourceforge.net/}} is een programma waarmee data op verschillende manieren kan worden gevisualiseerd met behulp van MathGL\footnote{\url{http://mathgl.sourceforge.net/}}. Om dit programma te kunnen gebruiken is kennis nodig van de MathGL syntax, waar het UVA-programma juist als eigenschap heeft dat er weinig kennis nodig is van de gebruiker. Het zou echter wel een optie zijn om visualisatiemogelijkheden in de MathGL library onder te brengen in een module voor het UVA-programma. \section{Onderzoeksmethodiek} \label{sec:methodiek} \subsection{Methode} Het UVA-programma is een nieuw soort programma, er is nog geen bestaande variant van. Dit onderzoek maakt daarom gebruik van een experimentele onderzoeksmethode\footnote{\url{http://artikelen.foobie.nl/verslagen-scripties/onderzoeksmethode-samenvatting/}}: tijdens de ontwikkeling van het programma wordt geëxperimenteerd met de beschikbare opties voor implementatie, en wordt bepaald in hoeverre deze opties voldoen aan de vooraf gestelde eisen. \subsection{Fases} Het onderzoek kan worden verdeeld in vier hoofdfases: \subsubsection*{Oriëntatiefase} De eerste fase is de oriëntatie op het werken met de multi-touch interface, en op het weergeven van voorbeeld-datasets in 3D (gebruik makend van de OpenGL- bindings\footnote{\url{http://kivy.org/docs/api-kivy.graphics.opengl.html}} in Kivy). Er moet bijvoorbeeld worden uitgezocht welke touch-gebaren worden herkend. Dit kan worden getest met behulp van een testprogramma dat een bericht toont op het moment dat een event optreedt. Ook is het nuttig om een testprogramma te maken dat met behulp van de eerder genoemde OpenGL-bindings een 3D plot maakt van een voorbeeld-dataset, om bekend te worden met de OpenGL functionaliteit. Daarnaast moet worden bepaald welke soorten 3D data gaan worden gebruikt, en hoe het formaat hiervan eruit ziet. \subsubsection*{Ontwerpfase} Met de kennis die is opgedaan tijdens de oriëntatiefase kan een ontwerp worden gemaakt van het kerncomponent van het programma, en de aansluiting hiervan op de 3D/multi-touch visualisatiecomponenten. \subsubsection*{Implementatiefase} Deze fase bevat het daadwerkelijk programmeren van de ontworpen onderdelen. Tijdens deze fase zullen ook ontwerpproblemen op een gedetailleerd niveau worden opgelost. Denk aan het invullen van de grafische interface met knoppen en eventuele widgets. \subsubsection*{Verslaglegging} Het is de bedoeling dat al tijdens de eerste drie fases wordt gewerkt aan de basis van de afstudeerscriptie. Tijdens die fases kunnen een aantal deelvragen worden beantwoord. Er zal een logboek worden bijgehouden in de vorm van Version Control. Het gebruikte Version Control systeem is Git\footnote{\url{http://git-scm.com/}}. Bij de ``commits'' worden ``commit messages'' ingevuld zodat zichtbaar is op welk moment (in welke commit) bepaalde taken zijn uitgevoerd. Tijdens de laatste fase worden de antwoorden op de deelvragen waar nodig aangevuld, en worden de overige hoofdstukken geschreven. \section{Het TUIO-protocol} \emph{- Vertellen dat het op een UDP poort binnenkomt}\\ \emph{- wat komt er dan binnen?}\\ \emph{- wat doet de implementatie ermee?} \section{Multitouch-library} \subsection{Threads} \emph{- Meerdere threads nodig omdat er 3 loops zijn}\\ \emph{- Daemon threads voor stabiliteit} \subsection{Gebaarherkenning} \subsubsection*{Rotatie} \emph{- Tangens-vergelijking voor rotatie om centroid} \subsubsection*{``Pinch''} \emph{- Relatief verschil in afstand tot centroid} \subsubsection*{Slepen met meerdere vingers} \emph{- meerdere vingers in dezelfde richting genereert drag event met beweging van centroid} \subsection{Afvuren ``event''} \emph{- Event binding uitleggen}\\ \emph{- Waarom deze manier handig is}\\ \emph{- Eventueel: beschrijven welk design pattern dit is} \subsection{Toewijzing aan ``event window''} \emph{- TUIO coördinaten zijn over het hele scherm en van 0.0 tot 1.0, dus moeten worden vertaald naar pixelcoördinaten binnen een ``window''.} \section{Experimenten} \emph{- draw.py}\\ \emph{- UVA front-end} \section{Conclusies} \section{Referenties} \begin{itemize} \item Homepage Robert Belleman \url{http://staff.science.uva.nl/~robbel/} \item Python homepage \url{http://python.org} \item Definitie experimentele onderzoeksmethode \url{http://artikelen.foobie.nl/verslagen-scripties/onderzoeksmethode-samenvatting/} \item Kivy homepage \url{http://kivy.org} \item Kivy OpenGL-bindings documentatie \url{http://kivy.org/docs/api-kivy.graphics.opengl.html} \item Git homepage \url{http://git-scm.com/} \item UDAV homepage \url{http://udav.sourceforge.net/} \item MathGL homepage \url{http://mathgl.sourceforge.net/} \end{itemize} \end{document}