Самоуправляемые автомобили уже появляются в крупных городах, но стоит им выехать за пределы мегаполисов — и всё усложняется. В сельской местности нет стабильного интернета, а без облачных вычислений машины не могут быстро принимать решения. Исследователи из Вашингтонского государственного университета (Washington State University) предложили неожиданное решение: крошечный недорогой компьютер с сильно сжатой большой языковой моделью, которая способна думать и выбирать действия прямо на борту.
Автономные машины работают в три этапа: восприятие (сенсоры собирают данные), рассуждение (анализ и выбор действия) и исполнение. В городах рассуждение обычно отдаётся в мощное облако. Но в сельской местности связь то появляется, то пропадает, а иногда её вообще нет. Профессор Синхуэй Чжао (Xinghui Zhao), руководитель исследования, объясняет: «Нужно принимать решения мгновенно. Облако работает только там, где хороший интернет. В деревне приходится обрабатывать данные на лету».
Сжатый ИИ
Команда взяла открытую модель Mistral и сильно сжала её, уменьшив объём данных и памяти. Получившийся «мозг» запустили на мини-компьютере Jetson Orin Nano — он размером меньше карманной книжки и стоит недорого. Тестирование провели на открытом симуляторе: сравнили, как сжатая модель и полноценный ChatGPT справляются с семью типичными дорожными ситуациями.
Результаты обнадеживают. В большинстве случаев обе системы принимали одинаково безопасные решения. Только в одном сценарии сжатая версия «разбилась». Но учитывая, что она работает полностью автономно, без облака, учёные считают результат очень перспективным.
Почему это важно
Такой подход — классический edge computing: все вычисления происходят прямо на устройстве. Это экономит энергию, снижает стоимость, защищает приватность и, главное, позволяет машинам работать там, где нет связи. Кроме самоуправляемых автомобилей технология может пригодиться в сельскохозяйственной робототехнике: тракторам, дронам-опрыскивателям и другим машинам, которым тоже приходится принимать решения вдали от цивилизации.
Исследование представлено на Десятом симпозиуме ACM/IEEE по вычислениям на краю сети. Пока это только лабораторные тесты, но авторы уверены: после доработки сжатые языковые модели станут настоящим спасением для автономного транспорта в труднодоступных районах.
