Вы, вероятно, слышали термин машинное обучение раньше, но знакомы ли вы с машинным обучением? Машинное обучение - это то, что происходит за кулисами, когда компьютер использует входные данные для формирования моделей, которые впоследствии могут быть использованы для выполнения полезных функций. Но машинное обучение - это несколько менее изученная часть процесса, связанная с тем, как компьютер изначально получает входные данные. В случае визуальных систем, например, тех, которые могут распознавать объекты, людям нужно показывать объекты компьютеру, чтобы он мог узнать о них. Но у способов, которыми это обычно делается, есть недостатки, которые исследователи из Лаборатории интерактивных интеллектуальных систем Токийского университета стремились улучшить.

"В типичном сценарии обучения объекту люди могут поднести объект к камере и перемещать его, чтобы компьютер мог проанализировать его со всех сторон для создания модели", - сказал аспирант Чжуньи Чжоу. "Однако машинам не хватает нашей развитой способности изолировать объекты от окружающей среды, поэтому модели, которые они создают, могут непреднамеренно включать ненужную информацию из фона обучающих изображений. Это часто означает, что пользователи должны тратить время на доработку сгенерированных моделей, что может быть довольно технической и трудоемкой задачей. Мы подумали, что должен быть лучший способ сделать это, который будет лучше как для пользователей, так и для компьютеров, и с нашей новой системой LookHere, я полагаю, мы нашли его ".

Чжоу, работая с доцентом Кодзи Ятани, создал LookHere для решения двух фундаментальных проблем в машинном обучении: во-первых, проблема эффективности обучения, направленная на минимизацию времени пользователей и требуемых технических знаний. И, во-вторых, об эффективности обучения - как обеспечить лучшее качество обучающих данных для машин для создания моделей. LookHere достигает этого, делая что-то новое и удивительно интуитивно понятное. Он включает жесты рук пользователей в способ обработки изображения, прежде чем машина включит его в свою модель, известную как HuTics. Например, пользователь может указать на объект или представить его камере таким образом, чтобы подчеркнуть его значимость по сравнению с другими элементами сцены. Именно так люди могли бы показывать объекты друг другу. А за счет устранения посторонних деталей, благодаря дополнительному акценту на том, что действительно важно на изображении, компьютер получает лучшие входные данные для своих моделей.

"Идея довольно проста, но реализация была очень сложной", - сказал Чжоу. "Все люди разные, и не существует стандартного набора жестов руками. Итак, сначала мы собрали 2040 примеров видеороликов, в которых 170 человек представляют объекты на камеру в HuTics. Эти ресурсы были снабжены комментариями, чтобы отметить, что было частью объекта, а какие части изображения были просто руками человека. LookHere был обучен с помощью HuTics и по сравнению с другими подходами распознавания объектов может лучше определять, какие части входящего изображения следует использовать для построения его моделей. Чтобы сделать его максимально доступным, пользователи могут использовать свои смартфоны для работы с LookHere, а фактическая обработка выполняется на удаленных серверах. Мы также опубликовали наш исходный код и набор данных, чтобы другие могли использовать его, если пожелают ".

Учитывая снижение спроса на время пользователей, которое LookHere предоставляет людям, Чжоу и Ятани обнаружили, что он может создавать модели в 14 раз быстрее, чем некоторые существующие системы. В настоящее время LookHere занимается обучением машин физическим объектам и использует исключительно визуальные данные для ввода. Но теоретически концепция может быть расширена для использования других видов входных данных, таких как звуковые или научные данные. И модели, созданные на основе этих данных, также выиграли бы от аналогичных улучшений точности.