Gateways to the Soul - EyeWriter - 💡 Fix My Ideas

Gateways to the Soul - EyeWriter

Gateways to the Soul - EyeWriter


Forfatter: Ethan Holmes, 2019

I 2003 ble min venn Tony, aka graffiti artist Tempt1, diagnostisert med ALS, en progressiv sykdom som forlot ham nesten helt lammet bortsett fra øynene hans. For å hjelpe ham med å fortsette å lage sin kunst, samarbeidet jeg med en gruppe programvareutviklere og maskinvarehackere, inkludert medlemmer av Free Art and Technology (FAT), OpenFrameworks og Graffiti Research Lab, for å gjøre EyeWriter (eyewriter.org ), et kostnadsfritt, åpen kilde, øye-sporingssystem som vil tillate Tempt1 og andre ALS-pasienter å tegne og kontrollere en datamaskin med bare øynene sine.

Vårt mål var et super-billig system som kunne gjøres av nesten alle, nesten hvor som helst. Det er kommersielle og forskningssporingssystemer, men de er komplekse og dyre, som strekker seg oppover til $ 10.000. Vi begrenser EyeWriter-designet for å understreke lavpris og enkel konstruksjon over andre aspekter av ytelse.

Design

EyeWriter fungerer ved å belyse brukerens øyne på en kontrollert måte og analysere et videobilde av øyets bevegelser. For kameraet valgte vi et PlayStation Eye (aka PS3 Eye), et lite $ 25-kamera som selges som et tilbehør til spillsystemet.

PS3 Eye tar opp 640 × 480 NTSC-video og kan modifiseres for høy følsomhet overfor infrarød, noe som gjør kameraet til en favoritt av multi-touch hacking community. PS3-øyet strømmer deretter sin video via USB til en datamaskin, hvor den er fanget av EyeWriter-programmet bygget i C ++ ved hjelp av openFrameworks (openframeworks.cc).

For vår første EyeWriter, ferdigstilt i 2009, setter vi PS3 Eye-kameraet foran ett øye, monterer det på en forlengelse festet på forsiden av et par briller. Programvaren beskjærte videobildet, økte kontrasten, og terskelte den for å vise bare en svart pupil prikk mot en hvit bakgrunn. For å øke denne mørke-pupil-effekten opplyste vi øyeeballet med 2 nær-infrarøde lysdioder montert i nærheten av kameraet.

Programvaren befant elevens koordinater i webkamerabildet, og brukte et kart for å knytte denne plasseringen til stedet der tegning børsten må være på brukerens dataskjerm. For å bygge kartet kjørte brukeren gjennom en kalibreringsrutine hvor han flyttet øynene for å visuelt følge en rekke punkter som vises rundt skjermen.

Denne 1.0-versjonen var enkel og det virket, men bare så lenge brukerens øyne ble stasjonære i forhold til skjermen. Flytt hodet, og det kastet kalibreringen av. Så vi bestemte oss for å bygge en 2,0-versjon som er litt mer kompleks, men muliggjør mer normal hodebevegelse.

EyeWriter 2.0

I EyeWriter 2.0 sitter kameraet rett under skjermen, i stedet for brukbar på briller. Det er 3 infrarøde belysningsapparater: en ring med 16 IR-lysdioder rundt kameraets objektiv og to 8-LED-belysning på begge sider av skjermen. Vi hakkede PS3-øyet for å trykke på VSYNC-signalet og matte det elektriske signalet inn i en Arduino, som bruker den til å strobe belysningsapparatene med hver videoramme, vekslende mellom midten og begge sider. Med senterbelysningen på, spretter IR-en bakover i øyet og skaper den samme glødende "røde øye" -effekten som du ser i flashfotografering, men med sidelysene på, virker eleverne mørke. Dette lar programvaren finne elevposisjon som den delen av bildet som veksler mellom lys og mørke.

Hver sidebelysning skaper en "glint" hvor lyset hopper rett ut av øyebollet og inn i kameraet. Ved å spore glintstedene på begge sider, så vel som midtpunktet av eleven, kan systemet beregne øyeorientasjoner uansett hvor hodet er eller hvor ansiktet vender.

Mine studenter på Parsons School of Design har endret EyeWriter-programvaren slik at den kan styre markøren på operativsystemnivå, ikke bare i øyetegningsprogrammet. Sammen med en hvilken som helst knapp eller annen klikkinngang, gjør dette EyeWriter til en generell mus / styreplass erstatning. EyeWriter 2.0 koster mindre enn $ 150 for å gjøre, og systemet holder seg mot systemer mer enn 50 ganger prisen.

EyeWriter har vunnet priser og har blitt godt mottatt, men det når ikke nesten antall personer det kan ha nytte av. Jeg har hørt fra mange som vil ha en EyeWriter for noen de elsker, men for hvem som gjør en er fortsatt en høy forhindring. Så vi har samarbeidet med MakerBot Industries på et sett som vil inkludere 3D-trykte brikker og alt annet du trenger for å bygge en EyeWriter 2.0. Vi forventer å gjøre dette settet tilgjengelig en gang i 2012.

Den største utfordringen med settet akkurat nå er å kjøpe kameraet. Vi vil ha en som er høyere klasse enn PS3-øyet, har samme type VSYNC-utgangsstift, er ikke dyrt, og krever ikke sprekkdannelse åpne en plastikkasse og kaste den bort sammen med 4 ubrukte mikrofoner. Forslag er velkomne.

Se blog.makezine.com/errata/make-volume-29-web-extras-and-downloads/ for hvordan du bygger en EyeWriter 2.0.



Du Kan Være Interessert

Mini papir lysekrone

Mini papir lysekrone


Sketching Designs for Fairytale Fashion

Sketching Designs for Fairytale Fashion


Circuit Bending Orchestra for Fairytale Fashion Show

Circuit Bending Orchestra for Fairytale Fashion Show


Kunngjør Hackerspaces i Space, Space Blimp konkurransen

Kunngjør Hackerspaces i Space, Space Blimp konkurransen






Siste Innlegg