Созданная ими библиотека паттернов сможет использоваться в системах умного дома на базе искусственного интеллекта
Сделать умный дом по-настоящему умным и помочь ему адекватно воспринимать действия своих хозяев помогут исследования японской компании Panasonic и лаборатории знаменитого Стэндфордского университета – Stanford Vision and Learning Lab (SVL), специализирующейся на разработках в области компьютерного зрения, искусственного интеллекта и роботизации. В середине октября стороны представили и открыли для разработчиков первую и пока крупнейшую (по состоянию на 15 октября 2020 г.)  в мире библиотеку Home Action Genome – собрание мультимодальных образцов бытового поведения людей. Кроме того, Panasonic и SVL запустили конкурс по разработке компьютерных алгоритмов, позволяющих точно распознавать действия людей, на базе новой библиотеки.
Одной из главных проблем в развитии систем умного дома до сих пор оставалось обучение машин пониманию и адекватной трактовке всего, что происходит перед ними. Существующие базы данных были небольшими и состояли преимущественно из аудио и картинок. 
Новая библиотека содержит обширный набор изображений и количественных показателей, дополненных данными с многочисленных сенсоров, в т.ч. видео и тепловых, которые описывают ситуации, ежедневно происходящие практически в каждом доме. В общей сложности библиотека включает 3500 сценариев действий, которые могут выполняться разными людьми в разных местах. Все действия разделены на 70 категорий. Каждый из таких наборов содержит аннотацию, однозначно обозначающую происходящее.
Например, чтобы определить, что делает человек на изображении, система учитывает данные:

• видеокамеры;
• инфракрасного датчика (где конкретно находится человек, какие части его тела в данный момент теплее, находятся в движении);
• микрофона (сопровождается ли действие звуком и насколько громким);
• RGB-аналитики (данные об интенсивности для красного, зеленого и синего видимого света);
• датчика освещенности (наличие и интенсивность внутреннего освещения в комнате);
• гироскопических датчиков и акселерометров (данные об угловой скорости и ускорении человека/ его рук);
• геомагнитного датчика.

Проанализировав и сравнив полученную информацию с существующими сценариями, умный дом сможет однозначно определить, что его хозяин бреется, и сделать соответствующий вывод: например, потом он пойдет пить утренний кофе, а значит, нужно включить кофемашину.
Или другой пример, описывающий непосредственный процесс мышления умного дома. Система определяет не только то, что человек в принципе находится в прачечной, но и его конкретные операции – как он подошел к стиральной машине, положил в нее белье, затем достал его. По сумме всех этих операций она сможет однозначно заключить, что еженедельная стирка закончена, и следует активировать следующий алгоритм. Например, через 10 минут выключить свет и включить вентиляцию в прачечной. 
Разработчики систем искусственного интеллекта смогут воспользоваться библиотекой Panasonic и SVL для создания собственных AI-алгоритмов и решений, облегчающих жизнь и быт людей, что является основополагающей миссией корпорации Panasonic.
Кроме того, SVL разработала и представила программу видеоматериалов для студентов и разработчиков систем машинного зрения и т.п. https://camp-workshop.stanford.edu/
Одно из наиболее интересных выступлений, объясняющих актуальность подобной библиотеки действий, – доклад Ивана Лаптева, старшего исследователя центра INRIA Paris и главы учёного совета VisionLabs, доступен по ссылке https://www.youtube.com/watch?v=jhHbShSg09Y&feature=youtu.be 
Для получения дополнительной информации обращайтесь в агентство Дайнемик Коммуникейшнс / Dynamic Communications по адресу http://dynamicmoscow.com