Cơn sốt AI đến mức gần đây Raspberry Pi Foundation đã phát hành một tiện ích bổ sung AI Hat+ mới. Điều đó có nghĩa là bạn không cần phần cứng chuyên dụng để chạy cục bộ các mô hình AI trên Raspberry Pi. Bạn có thể chạy các mô hình ngôn ngữ nhỏ trên bo mạch Raspberry Pi bằng CPU. Quá trình tạo mã thông báo chắc chắn là chậm, nhưng có những mô hình hàng triệu thông số nhỏ chạy khá tốt. Lưu ý đó, hãy tiếp tục tìm hiểu cách chạy các mô hình AI trên Raspberry Pi.
Yêu cầu
- Một Raspberry Pi có ít nhất 2GB RAM để có trải nghiệm tốt. Tôi đang sử dụng Raspberry Pi 4 cho hướng dẫn này với 4GB RAM. Một số người dùng thậm chí đã thành công khi chạy các mô hình AI trên Raspberry Pi Zero 2 W chỉ với 512MB RAM.
- Một thẻ nhớ microSD có dung lượng lưu trữ ít nhất 8GB.
Cài đặt Ollama trên Raspberry Pi
- Trước khi cài đặt Ollama, hãy tiếp tục và thiết lập Raspberry Pi nếu bạn chưa làm điều đó.
- Sau đó, khởi chạy Terminal và chạy lệnh bên dưới để cập nhật tất cả các gói và phần phụ thuộc.
cập nhật sudo apt && nâng cấp sudo apt
- Bây giờ, hãy chạy lệnh bên dưới để cài đặt Ollama trên Raspberry Pi của bạn.
cuộn tròn -fsSL https://ollama.com/install.sh | sh
- Sau khi cài đặt Ollama, bạn sẽ nhận được cảnh báo rằng nó sẽ sử dụng CPU để chạy mô hình AI cục bộ. Bây giờ bạn đã sẵn sàng để đi.
Chạy mô hình AI cục bộ trên Raspberry Pi
- Sau khi cài đặt Ollama, hãy chạy lệnh tiếp theo để cài đặt tinllama Mô hình AI trên Raspberry Pi của bạn. Đó là model nhỏ 1,1 tỷ và chỉ sử dụng 638MB RAM.
ollama chạy tinillama
- Sau khi mô hình AI được cài đặt, hãy nhập lời nhắc của bạn và nhấn Enter. Sẽ mất một thời gian để tạo ra phản hồi.
- Trong thử nghiệm của tôi, Raspberry Pi 4 tạo ra phản hồi ở tốc độ chậm nhưng đó là những gì bạn nhận được trên một máy tính bo mạch đơn nhỏ.
- Tôi khuyên bạn nên chạy mùi hôi có 135 triệu tham số và chỉ tiêu tốn 92MB bộ nhớ. Đó là một LLM nhỏ hoàn hảo cho Raspberry Pi.
ollama chạy smollm:135m
ollama run phi
Vì vậy, đây là cách bạn có thể chạy cục bộ các mô hình AI trên Raspberry Pi. Tôi yêu Ollama vì nó dễ sử dụng. Có những framework khác như Llama.cpp, nhưng quá trình cài đặt hơi rắc rối. Chỉ với hai lệnh Ollama, bạn có thể bắt đầu sử dụng LLM trên Raspberry Pi của mình.
Dù sao, đó là tất cả từ chúng tôi. Gần đây, tôi đã sử dụng Raspberry Pi của mình để tạo một dongle Android Auto không dây, vì vậy nếu bạn quan tâm đến những dự án thú vị như vậy, hãy xem qua hướng dẫn của chúng tôi. Và nếu bạn có bất kỳ câu hỏi nào, hãy cho chúng tôi biết trong phần bình luận bên dưới.
