Utvecklingen av Kinect och den verkliga betydelsen av Microsoft Research
Innehållsförteckning:
Att Kinect är viktigt för Microsoft är nästan en sanning. Redmond-fångstenheten går långt utöver en enkel metod för att styra deras videospelskonsol och har blivit en viktig del av deras strategi och en referens för många av deras produkter. Men det är också ett påtagligt exempel på vad som kan födas ur kombinationen av en företagsavdelning med Microsoft Research idélaboratorium.
Den första Kinect var redan ett exempel på detta. Tre år senare är det samma fackförbund som har tillåtit enheten att utvecklas till oanade gränser för att följa med releasen av Xbox One.I alla sina avsnitt representerar Kinect 2.0 en betydande förbättring jämfört med sin föregångare och under denna vecka har Microsoft tagit tillfället i akt att förklara hur det har varit en del av gadgetutvecklingsprocessen som är på väg att bli en grundläggande del i samspelet mellan människor och maskiner.
Kinect 1.0
När Microsoft presenterade Project Natal på E3 i juni 2009 såg många i det ett enkelt svar från Redmond på den otvivelaktiga framgång som Nintendo skördade med Wii och dess kontrollsystem. Men under det projektet med namnet på en brasiliansk stad gömde sig Kinect, en enhet som visade sig vara en obestridlig bästsäljare och med tiden har blivit mycket mer än förväntat.
Även om tekniken bakom den första Kinect föddes från mjukvaruutvecklingen i Rare-studion och bildfångningstekniken från det israeliska företaget PrimeSense, kommer det att vara kombinationen av Xbox-teamet med undersökningarna av Microsoft Research som gör det möjligt att nå marknaden
Den stavformade enheten använde en infraröd projektor och en kamera som skannade scenen och skickade informationen till ett mikrochip speciellt förberett för att fånga objekts och människors rörelse i tre dimensioner. De fick sällskap av en rad mikrofoner som kunde känna igen användarens röst. Alla dessa element tillsammans möjliggjorde 3D-rörelsefångst tillsammans med ansikts-, gest- och röstigenkänning.
För en sådan uppgift var Kinect-specifikationerna inte något speciellt. Kameran hade VGA-upplösning och fungerade som standard på 640x480, även om den kunde arbeta med 1280x1024 pixlar till priset av en lägre uppdateringsfrekvens. Det medföljande mikrochippet utförde bara en del av arbetet med att bearbeta informationen och lämnade en stor del av uppgiften till konsolen själv.
En av nycklarna till hela systemet fanns i programvaran skapad av Microsoft för att tolka all information som samlas in av Kinect-sensorerna.Det är här Microsoft Research spelade och fortsätter att spela en viktig roll, genom att undersöka de mest olika användningsområdena för Kinect och samarbeta kring SDK:n som Microsoft har gjort tillgängligt online sedan 2011 så att alla utvecklare integrerar det i sina produkter eller tjänster.
Kinect 2.0
Den stora skillnaden mellan nya Kinect och dess föregångare ligger i den nya huvudkameran. Den andra generationen av motion capture-enheten innehåller en högupplöst flygtidskamera (TOF) som gör att den kommande Xbox One Kinect kan fånga fler detaljer med hög precision och högre upplösning. Det nya djupläget som tillhandahålls av denna TOF-kamera låter dig återskapa en scen med tre gånger mer exakthet än den första Kinect.
Detta är inte den enda fördelen med att använda den här typen av kamera.Med den uppnås också ett 60 % större synfält, vilket gör att ett större utrymme kan registreras och gör det möjligt för fler personer att registreras samtidigt och på kortare avstånd från enheten. Med den nya konsolen kan upp till 6 personer dyka upp på scenen, känna igen och särskilja alla deras rörelser. Det är ett betydande framsteg jämfört med sin föregångare som bara kunde registrera rörelsen på 2,
Den andra stora förändringen i den nya generationen Kinect kommer från den nya infraröda sensorn som lyckas känna igen objekt och människor i mycket svaga ljusförhållanden. Sensorn är nu så kraftfull att den kan identifiera föremål i ett helt mörkt rum. Precisionen är sådan att den kan känna igen människor och registrera kroppar även utan ljus som är synligt för det mänskliga ögat. I svagt ljus känner den igen handens ställning upp till fyra meter bort, och särskiljer var och en av fingrarna med precision.
Kinect 2.0 särskiljer användarens fullständiga skelett, orienteringen av dess lemmar, kroppens muskler och till och med hjärtats slag.
Kombinationen av de nya elementen gör det möjligt att spela in inte bara användarens siluett, utan också att särskilja deras kompletta skelett, orienteringen av deras lemmar, musklerna i kroppen med kraft och viktfördelning utövade på dem, och till och med hjärtslag. Ansiktsigenkänningen är också avsevärt förbättrad, upptäcker även den minsta detalj och gest och tillåter mer exakt identifiering. För att få en uppfattning om vad allt detta betyder, ta bara en titt på följande video.
All denna nya teknik har också en förbättring av Kinect-processorn som gör att den kan hantera den enorma mängd information som alla nya sensorer får. Upp till 2 gigabit data per sekund samlas in av enheten för att läsa miljönAll denna information måste bearbetas och tolkas snabbt och för detta har en uppenbar förbättring av maskinspecifikationerna varit nödvändig.
Men att byta komponenter har inte räckt. Den kraftfulla skannern som Kinect har blivit kräver mjukvara som kan tolka allt den ser, och för detta har det varit nödvändigt att genomföra en viktig utveckling i koden som kör den. Det är här erfarenheten och kunskapen om Microsoft Research har blivit viktigare än någonsin, och hjälper Xbox-teamet där problem uppstod och ger rätt lösningar i tid. snabbt och effektivt. Kinect 2.0 blev därmed produkten av ett samarbete vars historia visar den potential som Microsoft döljer i sitt laboratorium av idéer.
Evolutionsprocessen
The Evolution of Kinect är berättelsen om hur ett team av ingenjörer försökte ta med en TOF-kamera till Xbox One.Dessa typer av kameror avger ljussignaler som studsar mot föremål och samlas tillbaka genom att mäta tiden det tar att resa avståndet. För att de ska fungera korrekt, för att skilja reflektioner från föremål i ett rum och från deras miljö, krävs en noggrannhet på upp till 1/10 miljard sekunder. En sådan noggrannhetsnivå är det enda sättet att tillhandahålla tillräckligt med information för att tillåta att objektens former och konturer kan beräknas på ett adekvat sätt.
Låter komplicerat, och problemet är att det är så svårt som det verkar att nå dessa nivåer med en konsumentprodukt. Under utvecklingsprocessen av nya Kinect måste alla typer av problem hanteras som måste lösas på en begränsad tid. Kinect 2.0 bör vara redo att följa med lanseringen av Xbox One, planerad till slutet av 2013.
Det är under dessa omständigheter som Microsoft har ett ess i rockärmen: Microsoft Research, din tankesmedjaTeamet bakom Kinect använde Microsoft Research-medlemmars enorma kunskap och tekniska erfarenhet för att lösa de olika problem som uppstod med den nya tekniken integrerad i enheten. Det var här åren av investeringar i forskning och utveckling började bära frukt tack vare samarbetet mellan företagets olika avdelningar.
Utmaningen var inte lätt. Att skilja förgrundsobjekt från bakgrund och minimera kameraoskärpa är en skrämmande uppgift. För det första måste små föremål mätas noggrant i alla typer av scenarier och med alla typer av ljusförhållanden. Det var nödvändigt att arbeta tills det var möjligt att särskilja händernas fingrar, vilket hindrade dem från att förväxlas med miljön. Som ett resultat av detta arbete kan nya Kinect upptäcka objekt så små som 2,5 centimeter, jämfört med föregångarens 7,5 centimeter. Oskärpa problemet krävde lite mer arbete och mjukvaruoptimering, men med tiden kunde Microsofts ingenjörer minska rörelseoskärpa från 65 millisekunder på original Kinect till 14 millisekunder på efterföljaren.
Alla dessa uppgifter kräver bearbetning av en enorm mängd information. Data som fångas av Kinect-kameror sker per pixel, vilket innebär att var och en av de 220 000 pixlarna som stöds av Kinect-sensorn samlar in data oberoendeTill detta måste vi lägga till mycket mer information som samlats in av resten av sensorerna. Den komplicerade frågan är att lyckas identifiera och tolka all denna information, separera elementen och djupet där de hittas och eliminera bruset från bilden.
Med Kinect behöver Xbox One behandla 6,5 miljoner pixlar per sekund
"Xbox One behöver bearbeta 6,5 miljoner pixlar per sekund och endast en liten del av konsolens datorkraft kan dedikeras till uppgiften att tolka informationen eftersom mest kraft måste reserveras för spel, skelett spårning eller ansikts- eller ljudigenkänning. Mycket lite beräkning krävdes per pixel, vilket krävde rensning>Utan den ovärderliga hjälpen från Microsoft Research skulle Kinect-teamet aldrig ha uppnått sitt mål i tid"
Microsoft Researchs effektiva betydelse
Kinect-teamets kombinerade arbete med personalen på Microsoft Research har inte varit ett rent konsultativt förhållande. Microsofts forskare tog på sig mycket av arbetet och byggde en hel infrastruktur och mjukvara för att lösa problemen med att hantera enhetens utveckling. Kunskapen hos de två teamen inom sina respektive områden gjorde det möjligt att avancera snabbare än var för sig.
Nyckeln var den snabbhet med vilken de integrerade och förmågan att tillhandahålla lösningar på kort tid. Men allt det arbetet är inte begränsat till att få ut en produkt till försäljning. Den extra fördelen är att framsteg som gjorts av Redmonds ingenjörer är tillgängliga för utvecklare, vilket gör att fler visningslägen kan arbeta med och mycket renare data.
Kinect avslöjar all potential som Microsoft döljer som företag och som avslöjas när dess avdelningar arbetar på ett integrerat sätt.Flera Microsoft Research-forskare har varit aktiva i utvecklingen av Kinect 2.0 och arbetat med ett projekt som kommer att få omedelbar påverkan på marknaden. För de av oss som har krävt ett större deltagande av Microsoft Research i Redmond-produkter är detta goda nyheter.
Kinect är också det påtagliga beviset att Microsoft Research är mycket mer än ett laboratorium av idéer, det är ett grundläggande kapital för Microsofts framtid .
Via | Microsofts officiella blogg | TechCrunch
