Как сделать гугл гласс
Программу для Google Glass сможет сделать каждый. Вот что для этого нужно
На фестивале SXSW, прошедшем в марте 2013 года в США, инженер Google Тимоти Джордан рассказал, как работают Google Glass и как разрабатывать приложения для них. И хотя прототипы очков пока что доступны лишь малому числу разработчиков и пользователей, знать, как они устроены, может оказаться очень полезным. Похоже, в Google сделали всё возможное, чтобы создать экзотический интерфейс очков удобным, а разработку приложений — лёгкой.
Стоит учитывать, что до того, как очки начнут продаваться, кое-что ещё может измениться, но по речи Джордана уже можно составить достаточно полное впечатление. К тому же изменения, если и последуют, будут основаны как раз на пожеланиях разработчиков-первопроходцев.
Как работает интерфейс Google Glass
Итак, как работают очки Google? Первое, что важно знать: они не блокируют зрение — человек по-прежнему видит всё, что происходит перед ним. Как и любой смартфон, очки по умолчанию вообще не отображают информации на экране. Если прикоснуться к тачскрину на дужке, на экране появятся часы и подсказка «ok glass».
Эту фразу нужно произнести, чтобы активировать очки. Проведя пальцем сверху вниз по тачпаду, можно заблокировать экран обратно. Произнеся приветствие, мы видим список доступных команд: «google, сделать фото, записать видео, проложить маршрут, послать сообщение».
Например, можно сказать: «Google, как сказать «спасибо» на японском?» — и система отправит голосовой запрос к поисковику. Когда ответ будет доставлен, пользователь увидит написание японского слова «спасибо» в оригинале и на английском, а также услышит это слово, произнесённое вслух.
Если провести пальцем вперёд по дужке очков, то можно последовательно листать между результатами всех предыдущих команд. Фотографии, видео, ответы поисковика и любые другие результаты действий или оповещения отображаются в виде отсортированных по времени карточек, к которым всегда можно вернуться.
Ткнув в дужку в тот момент, когда очки показывают карточку, мы вызываем контекстное меню. Его пункты тоже листаются при помощи тачпада. Например, для картинки меню будет состоять из команд «поделиться» и «удалить». Нажав «поделиться», можно следом выбрать, куда отправить картинку.
Существует также специальный тип карточек — с загнутым уголком наверху. Это на самом деле не карточки, а «связки» карточек (bundle), и каждую из них можно развернуть, чтобы увидеть дополнительное содержимое. Движение пальцем вниз по тачпаду всегда будет возвращать на предыдущий уровень меню.
Как разрабатывать приложения для Glass
Приложений, работающих непосредственно на компьютере, встроенном в Glass, в Google делать не разрешат. Вместо этого разработчикам предлагается создавать веб-сервисы, которые будут общаться с сервером компании, а тот, в свою очередь, будет обмениваться информацией с пользовательскими очками. Сервис отправляет карточки серверу Google, который отслеживает состояние очков и берёт на себя всю работу по синхронизации данных.
Для взаимодействия используется три технологии: запросы REST, протокол авторизации OAuth2 и формат данных JSON. Если вкратце, то REST позволяет работать с наборами данных: по HTTP у сервера либо запрашивается список элементов, либо посылается команда на удаление или добавление элемента. OAuth2 — это технология, которая позволяет разрешать сторонним сервисам делать что-то от имени пользователя. Подключение сервиса к Glass более или менее аналогично установке программы: пример такого взаимодействия можно видеть в Twitter, Facebook и во многих других сервисах, предоставляющих интерфейсы для сторонних приложений.
Каждая карточка может содержать текст, картинки, HTML или видео. Также разработчик может сделать карточку «связкой», содержащей другие карточки. К примеру, связка карточек со сводкой новостей будет отображаться в таймлайне как одна новость, но если выбрать её, можно узнать подробности или прочесть остальные актуальные заголовки.
По желанию разработчик может задать и пункты меню, прилагающегося к карточке. Например, если какой-то сервис прислал сообщение, то оно может быть сопровождено системными опциями «ответить» и «зачитать вслух», но автор сервиса может добавить и собственный пункт, задав для него текст и значок.
Так, социальная сеть Path, прислав фотографию, сделанную кем-то из друзей, кроме возможности ответить текстом предлагает на выбор смайлики — во многих случаях улыбающегося или подмигивающего лица достаточно для ответа. Текст же система предложит надиктовать.
Ещё сервисы могут регистрировать возможность принимать карточки через системный пункт «поделиться»: для этого они должны «подписаться» на определённый тип действия. Когда пользователь выберет соответствующий пункт меню, сервер Google отправит сервису уведомление, содержащее идентификатор связки и карточки, по которым можно запросить остальные данные.
Получается, что весь интерфейс построен вокруг оповещений. В Google обращают особое внимание разработчиков на то, что пользователь вовсе не обязан реагировать на каждое послание сервиса: при разработке нужно учитывать, что оповещения могут быть пропущены. А вот на действия пользователя нужно реагировать моментально: если сервису положено срабатывать при появлении какой-то информации, он должен делать это как можно быстрее.
В Google также предупреждают разработчиков: на Glass не стоит посылать что-то, чего пользователь не ждёт, — иными словами, ни в коем случае не слать спам. Если приложение вдруг начнёт донимать пользователя нежелательными сообщениями, тот в два счёта отпишется.
Предварительные выводы
Презентация Джордана даёт неплохое представление о том, для чего будут хороши очки Google. Вот несколько выводов, которые можно сделать при её просмотре.
Даже если Glass не станет массовым продуктом (в чём уже есть некоторые сомнения), у очков есть все шансы привлечь армию приверженцев, которые будут выдумывать им всё новые и новые применения и не снимать их даже по ночам.
Что такое Google Glass, как начать программировать и что для этого нужно
В статье я расскажу, что такое Google Glass, как начать программировать и что для этого нужно. Статья ни в коем случае не претендует на полноту изложения (информация имеет свойство постоянно устаревать), но может служить отправной точкой для начала и содержит ссылки на базовые ресурсы (видео и текст).
Производит Explorer Edition компания FoxConn (та же, которая производит продукцию Apple) И, собственно, вот из чего состоит само устройство:
На иллюстрации ниже показано, как работает проекционный экран (с сайта dailymail).
Звуковая карта работает еще более интересно:наушников нет, есть датчик за правым ухом — звук передается за счет костной проводимости звука.
Что интересно, при помощи рук можно очень просто влиять на качество изображения или звука. Для этого нужно всего лишь поставить руку за экраном либо закрыть уши двумя руками. Качество улучшается невероятно.
Что же касается ПО, Google не стал изобретать велосипед и установил Android 4.0.4. Более того, следуя своему свободному духу, Google выложил исходный код прошивки, инструкцию по сборке и root bootloader.
У разработчиков есть два способа разрабатывать приложения, или как они называются в концепции очков, — Glassware.
Первый — это использовать GDK (Glass Development Kit), что потребует знаний Android, Java или C++ в качестве языка программирования.
Что характерно, для первоначальной разработки не требуется, в общем-то, Google Glass. Более того, нет никакого особенного SDK, берется стандартный Android 4.0.4. Есть еще несколько примеров от Google, показывающих, как создавать приложения, и обещание от Google в ближайшее время закончить работы.
Второй способ — использовать Mirror Api, и тут концепция следующая:
Используя RESTfull api, ваш сервис (написанный на любом языке программирования) может отсылать на Glass небольшие сообщения — Timeline Items.
Сообщения не показываются мгновенно (как в GDK, и чтобы работать с Mirror Api нужен зарегистрированные на Gmail аккаунт Google Glass.
Mirror Api очень подробно описан на сайте Google, потому я не буду его описывать тут. Вместо этого расскажу, каким образом можно тестировать MirrorApi с помощью Android-телефона (описанный ниже метод был успешно опробован на Nexus 7 и Samsung Galaxy Note).
Стало это возможным, после того как товарищ zhuowei с сообществом декомпилировал прошивку Google Glass и собрал из нее модифицированные apk-файлы.
Собственно, все действия состоят из трех частей.
После установки запустить glasssetup-modded.apk и перейти ко второй части.
Вторая часть — зайти на Gmail-аккаунт по адресу https://glass.google.com — аккаунт должен использоваться тот же, что и на телефоне. И двигатmся по шагам:
После всей этой магии, во-первых, на телефоне можно будет попробовать любые Mirror Api из списка – причем все нотификейшены и timline буду приходит на телефон, как будто на Google Glass, кроме того, можно попробовать голосовое управление аля Google Glass (okey glass, google dataart)
А теперь пора перейти к третей части, а именно — разработке.
Google Glass. Начало
Google glass. Безусловно интересный гаджет, открывающий новую страницу в потребительской электронике. Нужный или нет, возможно сложный, ненадежный и мало держит батарею, но он первый и с этим нельзя поспорить. Или не первый… ведь идея не появилась из воздуха – постараюсь проследить эволюцию развития подобных устройств, способных совмещать внешнее реальное изображение с дополнительным, виртуальным.
Авиационные прицелы
У истоков всех оптических систем, накладывающих дополнительное изображение на реальный мир, лежат авиационные прицелы. Дело было после первой Мировой Войны, самолеты стали строиться с учетом аэродинамики, стали оснащаться мощными двигателями, летать быстро и высоко и вообще перестали сваливаться в штопор при каждой попытке выполнить маневр. 
Как известно, на пулю выпущенную из пулемета действуют сила тяжести и тормозящая сила воздуха (которую в данном случае не учитывают). Но если в момент выстрела маневрировать, да еще крутиться вокруг своей оси – то определить в какою сторону отклониться очередь, могли только самые опытные пилоты.
Для отображения той самой точки попадания (PIP – Predicted impact point (WikiEn) или индикатор «Прогноз-дорожка») в начале 40 годов была разработана полностью механическая система, работавшая по следующему принципу:
Видя цель, пилот захватывал ее в кольцо, названное дальнометрическим, потому что позволяло внести в «бортовую систему» дальность до цели. Алгоритм работы был следующим – нажимая на дополнительную педаль ( коленом), летчик вызывал расширение кольца, которое надо было потом уменьшить до размеров самолета противника, немного приотпустив педаль. По мере сближения пилот также увеличивал кольцо, постепенно уменьшая давление на педаль.
С положением в пространстве было проще – в середине 30-х годов были изобретены гироскопы, таким образом бортовая система механически передавала информацию на подвижную осветительную систему. Схема показана на следующем рисунке. 
Поскольку погрешность гироскопа была невелика, а погрешность расстояния несущественна (на средних дальностях) – использование таких систем давало преимущество пилотам, не имеющих большого опыта.
Право первыми изобрести такой прибор принадлежит Франции, но в Германии он был доведен до работоспособного варианта. Можно также отметить, что немцы использовали оптические бомбовые прицелы сложной конструкции.
Первый электронный прибор, использовавший электролучевую трубку в качестве индикатора на лобовом стекле (ИЛС — Head up display (WikiEn), создали в СССР на 5-6 лет раньше США. Устанавливался на перехватчик МИГ-15П бис. Он изображал, кроме прицела, еще и положение вражеского самолета (полученное от радиолокатора).
Первые отечественные полнофункциональные ИЛС стояли в кабинах самолетов МИГ-27К, которые выпускались серийно в 1976–1982 годах. Индикаторы на лобовом стекле выводили теперь всю пилотажную информацию (скорость, высота, линия горизонта), а также передавали изображение с тепловизоров (FLIR – forward looking IR – «ИК камера, смотрящая вперед» ).
В то время ИЛС был прекрасным помощником и в гражданской авиации. Специальные покрытия позволяли увеличить контраст изображения, уменьшая коэффициент пропускания экрана на длине волны изображающего дисплея. Таким образом изображение стало более читаемым при ярком освещении.
Но кому потребовалось надевать эту систему пилоту на голову?
Изображение поворачиваемой головки самонаведения.
(PS у нас на кафедре стоит одна из подобных ракет, она способна захватить тепловое излучение лампы накаливания или зажигалки и поворачиваться за ним) 
Поле зрения головки без дополнительного поворота –
10° — поэтому повернуть ее в сторону цели надо очень точно (джойстиком не получится).
В 1974-78 годах для самолетов F-14 и F-15 были разработаны системы, позволяющие пилоту движением головы и совмещением небольшой метки, повернуть ГСН на цель. Метка проецировалась на небольшое стеклышко, располагающееся перед глазом. Это и был первый нашлемный прицел.
Стоит заметить, что американская система была ненадежна и неточна, поэтому практически не использовалась. Поэтому, созданная в 1985 году, советская система «СУРА» может по праву называться первым массовым нашлемным прицелом. Сура устанавливалась на самолеты МИГ-25 и СУ-27 и работала для ракеты Р-73 «Вымпел». Ракета позволяет захватить цель на расстоянии 25-30 км. 
Маленькое стеклышко — экран, светящиеся лампы — система позиционирования
Алгоритм работы был следующим:
Пилот поворачивал голову в сторону самолета противника и захватывал силуэт в кольцо, которое изображалось на стеклышке. 2 лампы накаливания, находящиеся на шлеме, 2 фотоприемника на приборной панели позволяли определить положение взгляда. (Также возможно было использовать электромагнитные системы, но точность оптической была достаточно, да и наличие дополнительных радиоизлучателей в кабине мешало бы основным приборам).
Практически сразу после наведения, летчик слышал звуковой сигнал в наушнике и мог произвести пуск. 
Кстати, самонаводящаяся ракета не обязательно взрывалась при попадании в цель. Обычно она взрывалась на небольшом расстоянии (500 метров?) и стальными шариками накрывала небольшую область. (в виде конуса). Поскольку скорость ракеты почти 5 махов, то шарики прошивали всювозможную броню.
На такой пробивной ноте, хочется перейти ко второй части – конструкция.
Сначала прошу определиться с обозначениями. Самый важный элемент, который совмещает изображения называется combiner (в моем дипломе я писал просто — комбинер) – отвечает за добавление виртуального изображения. Обычно это зеркало с покрытием хорошо отражающем длину волны излучения дисплея, но возможен вариант с кубом, как в google glass.
Самая простая схема, характерна небольшими углами и большими габаритами.
По этой схеме построен Google Glass и многие другие очки виртуальной реальности, профессионального и развлекательного сектора.
Но существуют другая возможность ввести дополнительное изображение. При этом будут уменьшены габариты и добавлены уникальные свойства.
Q-sight от BAE systems.
Все начинается с создания в центральном слое из Дихромированного Желатина (DCG) дифракционной решетки. Данная решетка преломляет излучение (которое должно быть монохроматичным) и отклоняет пучок в сторону глаза. На излучение приходящее от реального мира решетка действует слабо, поскольку это излучение состоит из всего спектра длин волн.
Принцип действия. 
После LCD монитора излучение преобразуется в квазипараллельный пучок и попадает в пластинку под углом полного внутреннего отражения. Благодаря дифракционной решетке, находящейся внутри пластинки, пучки отклоняются и нарушают условие полного внутреннего отражения; таким образом, широкий параллельный пучок попадает в глаз и создает представление, что изображение находится в бесконечности. 
Нарушение ПВО за счет преломления части пучка на ДОЭ. 
Образование полноценного неразрывного выходного пучка за счет сложной дифракционной решетки.
Стоит заметить, что пользователю не требуется точно устанавливать нашлемный прицел, при смещении глаз начинает видеть соседний пучок. Возможно, там стоит система слежения за глазом или глаз/мозг способен “склеивать” две половинки изображения в одно – так или иначе пользователю проще использовать такой легкий дисплей. 
BAE имеет 25 летний опыт создания индикаторов на лобовом стекле на основе DCG для истребителей EFA (eurofighter), F-22, F16. Сейчас данные приборы поставляются и на гражданские самолеты.
2 «сложный» вариант системы совмещения. На дифракции Брэгга
Дифракция Брегга в двух словах – под действием акустической волны вызываемой наклеенным пъезоэлектрическим источником вибрации с одной стороны и медной пластинкой, отражающей вибрации с другой – получается стоячая волна, которую можно рассматривать как дифракционную решетку, поскольку коэффициент преломления в «узлах» и «пучностях» различны.
При выполнении определенных условий возможно выделить один луч, который можно эффективно управлять
Принцип Дифракции
Акустическую волну возможно создавать, как при помощь «механики» так и напрямую, с помощи электрического напряжения приложенного к пластинке. Для этого используют специальные прозрачные пленочные электроды.
Кстати, по похожей схеме построены самозатемняющиеся окна. 
Обычно при отсутствии напряжения стекла матовые.
А теперь представьте, что это не просто кристалл Парателлурита (материал больше всего отклоняющий лучи при одинаковом напряжении), а еще и внутри располагается дифракционная решетка. Кстати, для каждой длины волны определенная решетка, поэтому для полноцветного изображения используются 5 решеток, включающихся поочереди.
Компания SBG Labs Inc (Switchable Bragg Grating – переключаемые брегговские решетки) находится в Кремниевой долине, Калифорния. Создала сначала такие пластинки, которые могут одновременно фокусировать и отклонять луч. 
Позже были созданы очки виртуальной реальности – 40 градусов поле зрения, 3-х цветные – только это опытный образец и в продажу не поступил, хотя и был разработан в 1999 году. 
Сейчас на стадии разработки находится новые очки – разрешение 1080p, 60 градусов поле зрения. 
Видео, описывающее принцип работы:
youtu.be/XkmqKeGn4yo
Очки от Apple
Стоит отметить одно достоинство такой схемы.
Система использующая лазер не нуждается в коллиматоре. Поэтому, человеку носящему Google glass, в котором проецируется «виртуально» изображение на расстоянии сложно смотреть этим глазом на сильно удаленные или близкие объекты, изображение дисплея для него тут же станет расплывчатым и сам глаз будет пытаться перефокусироваться.
В «очках от Apple», как лазерный телевизор способен спроецировать четкое изображение на экран, отстоящий на любом расстоянии, так лазерный луч будет приходить на сетчатку в первозданном «тонком» виде. Понятно, что если 3 лазера еще за ухом разместить можно, то установить 2-х координатную сканирующую систему (на MEMS зеркалах) на переносице – удел далекого будущего.
После обсуждения таких гигантов мировой индустрии будет честно перейти к моему проекту и рассмотреть мою разработку.
Схематическое изображение моего нашлемного дисплея, его фотография и оптическая схема в Zemax. (Призма сильно искажена, поскольку программа показывает ход лучей и расположение поверхностей).
Мой прибор в точности является копией нашлемного дисплея, 20 лет использующегося в вертолете Апач. (ровно, как и мой диплом является копией материалов лекции одного южного института (см список литературы)
В моем приборе источником излучения является ЭЛТ, как наиболее гуманный источник излучения – при посадке вертолета вес «нашлемника» слегка надламливает шею пилота, а отвалившийся кабель высокого напряжения гуманно его приканчивает.
Спасибо, что Вы смогли прочитать это до конца.
О себе: 7 лет назад при поступлении в МГТУ им. Н.Э. Баумана я выбрал своей специальностью оптику, а именно расчет оптических систем (хотя я этого, конечно, не сразу понял). Тогда моему взору представлялись оптические компьютеры и фотоны, несущие информациию со скоростью света. Время шло, курсы сменялись, зачетку от «удовов» все меньше хотелось открывать, а электроны в обычных компьютерах тоже передвигались со скоростью света, видимо наперекор моим мечтам.
А еще моей темой диплома стала «Нашлемная система целеуказания». Или я говорил просто «шлем виртуальной реальности».
Тема диплома удивительным образом сошлась с текущим витком прогресса, и чтобы не совсем потерять квалификацию (диплом был благополучно сдан 8 месяцев назад), я решил написать небольшой доклад, описывающий популярным языком основные моменты моего диплома.
Майские праздники прошли плодотворно – я сел и постарался избавить текст диплома от официальной академической сухости и специфических терминов, точнее просто переписал его целиком.
Update 1. Один любопытный факт — американский летчик, который постоянно пользовался монокулярным нашлмным дисплеем обнаружил, что может двигаль глазами, как кролик, т.е. буквально читать 2 книги одновременно. Хотя по моему это эволюционный шаг в сторону прогресса. Источник1 Источник2 
Update 2. Вопрос с неконтактным взрывателем требует больше данных и подтверждения. Но 500 метров мне кажется правдоподобным поскольку даже такое расстояние пролетают за 0,5 сек при скорости 4 маха (*
300 м/с). Данная информация от профессора бауманки Одинокова С.Б. на лекции.
Update 3. Proximity fuze на неядерных antiaircraft ракетах активируется при расстояниях до 100 метров. Форум Спасибо, fighterjet
Книги, которые будут полезны интересующимся авиацией и в частности нашлемными дисплеями:
1. Бортовые информационные системы: Курс лекций: Кучерявый А.А. 2004 год. (Единственный материал по русском языке. Несмотря на поздний период публикации — актуально)
2. Wiley — Military Avionics Systems (2006 года) 
3. Advanced Avionics Handbook (для летчиков, «как пользоваться самолетом»)
4. British Aircraft Armament (отсюда прочитал, про «механический прицел». — последний Appendix B) 
Оригинальное фото
Честно говоря, я в некоторых мелких подробностях неуверен, поэтому буду рад любым комментариям.