OmniTouch

En av de stora revolutionerna inom datoranvändning har varit pekskärmar. De kom med ett nytt sätt att interagera med datorn, antingen med en speciell pekare eller med fingret. 2011 gick Microsoft längre med introduktionen av OmniTouch, ett projekt som gjorde vilken yta som helst som kunde beröras. Grundidén är att montera en kamera och projektorenhet på axeln, som projicerar skärmen och läser av användarens tangenttryckningar. Möjligheterna är oändliga, vilket gör att vi kan förvandla vår hand, väggen, ett lakan eller någon annan yta till en pekskärm .

Hur OmniTouch fungerar: känner igen tangenttryckningar

Den viktigaste delen av OmniTouch-projektet är spårningen av fingrarnas position och djup för att veta var användaren rör vid. För detta användes en djupkänslig PrimeSense-kamera i prototypen. Till skillnad från en vanlig kamera som mäter färger, mäter PrimeSense avståndet för varje punkt i bilden från kameralinsen. 1 mm noggrannhet och minsta räckvidd på 20 cm är de största fördelarna jämfört med Kinect-kameran, som ursprungligen användes i projektet.

"

För att lokalisera fingrar, fångar OmniTouch först djupkartan (A). Sedan beräknas lutningskartan >"

I (B) kan du se kartan översatt till färger: rött betyder att det är mindre djup i X- eller Y-axelns positiva riktning (uppåt eller till höger) och blått betyder att det finns är mindre djup i X- eller Y-axelns negativa riktning (ner eller åt vänster).Lila betyder att det knappt sker någon förändring i djupet.

Med den här kartan letar programvaran efter vertikala cylindriska sektioner, en yta som närmar sig kameran, sedan stannar och slutligen rör sig bort. Vad har varit ett finger om du kör det från ena sidan till den andra, wow. På färgkartan letar du efter ett rött avsnitt, sedan ett lila avsnitt, sedan ett blått avsnitt, allt på samma vertikala axel.

Möjliga kandidater filtreras efter höjd, för att filtrera bort allt som inte kan vara ett finger (till exempel kan en 2-millimeter hög cylinder inte kännas igen som ett finger, så det kasseras). I figur (C) kan du se alla fingersektioner identifierade.

När detta är gjort, sammanförs alla vertikala sektioner för att bilda fingret (figur D). Fingrar som kan vara för korta kasseras och det antas att eftersom användaren är högerhänt är den längst till vänster på fingret spetsen.Och vips, vi vet nu var användaren pekar på .

Nu, hur vet vi om fingret nuddar ytan? De kallar det översvämningsfyllning, men det blir mer bekant om jag säger att det är som att fylla med färghinken med Paint.

Tekniken är enkel: lokalisera mittpunkten på fingret och börja fylla pixlar uppåt, vänster och höger, med en tolerans på 13 millimeter. Det vill säga, de fyller bara en pixel om skillnaden mellan dess djup och mittpunkten på fingret är mindre än 13 millimeter.

På detta sätt, om ditt finger inte rör vid någonting, fylls bara de pixlar som motsvarar ditt finger. Om du rör vid handen kommer många fler att fyllas. På bilden kan du se vad som händer om fingret är i luften (vänster) eller rör vid handen (höger). När en viss marginal av fyllda pixlar har passerats kommer programvaran att skicka ett tryck eller klick på motsvarande plats.

Hur OmniTouch fungerar: Projicera bilden

Även om fingerigenkänning är den centrala delen kan vi inte glömma att OmniTouch också måste projicera en bild på vilken yta som helst. Även djupkammaren används för detta. Alla ytor i bilden detekteras med hjälp av en ansluten komponentalgoritm, som mycket effektivt detekterar sammankopplade punkter i bilden.

När ytorna som är mindre än en hand har kasserats fortsätter vi att fixa ett centrum eller referenspunkt för att projicera bilden. Denna punkt hjälper till att upptäcka ytans orientering och gör det därför möjligt att skapa en bild som inte ser förvriden ut.

Nästa svåra punkt kommer när det gäller att upptäcka storleken på ytan.Eftersom kanterna på ytor inte kan identifieras tillräckligt bra, använder OmniTouch medelvärdet och standardavvikelsen för komponentpunkterna för att klassificera det i fem punkter: hand, arm, anteckningsbok, vägg och bord. Var och en av dem har en viss storlek och ett centrum för bilden.

Programvaran genererar bilden som ska projiceras med all data och förvränger den så att den visas korrekt på ytan. Den skickar sedan bilden till projektorn, som kommer att visa bilden på vilken yta den än är.

Exakt teknik med många möjligheter

Tester som används för att mäta OmniTouchs noggrannhet.

I tester visade sig OmniTouch vara en mycket exakt teknik. 96,5 % träffsäkerhet när det gäller att känna igen ett klick, en mycket bra siffra och ännu mer med tanke på att det är en prototyp.När det gäller storleken på gränssnittet, med knappar på 2 centimeter i diameter, skulle 95 % av tangenttryckningarna kännas igen.

Denna maximala storlek är nödvändig för ett gränssnitt som projiceras i handen. På andra ytor längre bort, till exempel ett bord eller en vägg, kan den minskas till 15 millimeter, ungefär samma storlek som rekommenderas för en knapp på en vanlig pekskärm .

"

När det gäller möjligheterna är de oändliga. Med prototypen skapades en talarstol att måla: på väggen ritade du och i vänster hand valde du färgerna. Används även som highlighter>"

Men det mest intressanta är vad de nämner i slutet av dokumentet: de möjligheter som OmniTouch öppnar upp när vi slutar överväga tvådimensionella ytor och drar fördel av kroppens former för att förändra hur vi interagerar med datorn.

"

OmniTouch är ett verkligt spännande projekt, både i sin teknik och i sina möjligheter. Vi kommer snart att prata om honom igen i den speciella Framtiden enligt Microsoft>"

I Xataka Windows | Framtiden enligt Microsoft Mer information | OmniTouch