Содержание
Офлайн-чатбот Sparky в формате чемодана собрали на Nvidia Jetson Orin NX Super 16GB. Он запускает Gemma 4 E4B локально и начинает отвечать почти мгновенно: автор проекта говорит о ~200 мс TTFT при кэшировании.
Проект показал реддитор CreativelyBankrupt. Внутри чемодана — «характерный» собеседник с мультяшным лицом и «глазами», который работает без подключения к сетям.
Sparky работает полностью без Wi‑Fi, Bluetooth и сотовой связи
Главная идея Sparky — автономность. По описанию автора, робот не использует Wi‑Fi, Bluetooth и cellular, а все вычисления идут на Jetson. Это снимает зависимость от связи и облаков, но упирается в оптимизацию модели и скорость локального инференса.
Для «памяти» диалога заявлен контекст 12K. Автор также упоминает native system role, то есть системная роль задается на стороне модели без внешних костылей.
Как устроен стек: llama.cpp, квантование Q4 и быстрый голос
CreativelyBankrupt описывает конкретную конфигурацию запуска. Sparky гоняет Gemma 4 E4B в Q4_K_M через llama.cpp, с q8_0 KV cache и flash attention. В такой связке автор получил не только быстрый старт ответа, но и скорость генерации около 14-15 токенов/с.
Голосовой контур тоже локальный. Для распознавания речи используют SenseVoiceSmall, а для синтеза — Piper. Анимацию рта синхронизировали с лицом на PixiJS, и обновление идет на 43 Гц.
Ещё одна деталь: автор пишет, что Vision и OCR теперь «родные» для Gemma 4. То есть задачи «увидел — прочитал текст — понял» можно закрывать без отдельного внешнего пайплайна, если модель это поддерживает.
30+ сенсоров и физические органы управления
Sparky не ограничивается «голосом из коробки». В чемодан встроили более 30 сенсоров, чтобы робот получал контекст из окружающего мира. Какие именно датчики стоят внутри, автор в этом описании не перечисляет, но сам факт массива сенсоров подчеркивает: это не просто переносной LLM, а попытка собрать «сущность» с реакцией на среду.
Управлять роботом можно и руками: заявлены ряд кнопок, джойстик и аналоговый энкодер.
Автор проекта формулирует характер Sparky максимально прямо: «He has opinions».
Посмотреть первичное описание и параметры сборки можно в посте на , где CreativelyBankrupt перечислил Gemma 4 E4B, ~200 мс TTFT, 30+ сенсоров и отсутствие Wi‑Fi/BT/cellular.
