Copilot đã ăn sâu vào hệ sinh thái Microsoft đến mức thậm chí còn có một phím bàn phím mới dành riêng cho chatbot AI. Giờ đây, có vẻ như phần lớn chức năng của nó có thể diễn ra ngoại tuyến, với quá trình xử lý diễn ra trên máy tính xách tay của bạn — nhưng sẽ không xảy ra nếu bạn có PC Intel AI mới.
Tại Hội nghị thượng đỉnh Intel AI gần đây ở Đài Bắc, các giám đốc điều hành của nhà sản xuất chip đã nói với ấn phẩm chị em của chúng tôi Phần cứng của Tom rằng không có chip Intel Core Ultra thế hệ hiện tại nào đáp ứng các yêu cầu tối thiểu để chạy Copilot ngoại tuyến và trên thiết bị của bạn.
Tất cả đều quy về Trillion Operations mỗi giây (TOPS) – thước đo tốc độ NPU có thể chạy các tác vụ AI, với con số cao hơn nghĩa là hiệu suất tốt hơn. Bạn sẽ cần một NPU có số lượng TOPS ít nhất là 40 và hiện tại, chip Intel Core Ultra chỉ có 10 TOPS.
Hiện tại, bộ xử lý duy nhất thường được sử dụng để chạy Windows có khả năng này là Qualcomm Snapdragon X Elite với 45 TOPS. Intel cho biết thế hệ chip Core Ultra tiếp theo của họ sẽ đáp ứng được những yêu cầu tối thiểu.
Tại sao chạy Copilot cục bộ?
Hiện tại, quá trình xử lý các khả năng AI tổng hợp ấn tượng của Copilot diễn ra trên đám mây, với dữ liệu được gửi tới máy chủ của Microsoft và các phản hồi được trả về. Nhưng về lâu dài, mục tiêu là mang lại ít nhất một số tính năng đó cho chính thiết bị.
Tôi có thể cài đặt một mô hình ngôn ngữ lớn như Llama 2 của Meta trên MacBook Air M2 của mình ngay hôm nay, nhưng tôi chắc chắn nhận thấy khi nó suy nghĩ hoặc phản hồi khi toàn bộ máy của tôi bị treo cho đến khi hoàn tất.
Có nhiều lý do để chạy một công cụ AI như Copilot cục bộ, bao gồm bảo vệ quyền riêng tư, bảo mật, truy cập ngoại tuyến và chi phí – máy của bạn thực hiện quá trình xử lý tốn kém chứ không phải đám mây.
Thách thức là có đủ sức mạnh tính toán để chạy các phần tử của trải nghiệm Copilot mà người dùng không nhận thấy máy đang chạy chậm lại hoặc pin cạn kiệt nhanh chóng.
Vấn đề về pin phần lớn được giải quyết bằng cách chuyển phần lớn suy luận sang NPU thay vì dựa vào GPU. Theo Todd Lewellen, Phó Chủ tịch Nhóm Máy tính Khách hàng của Intel, Microsoft khẳng định Copilot chạy trên NPU do ảnh hưởng đến thời lượng pin.
Tôi có thể cài đặt một mô hình ngôn ngữ lớn như Llama 2 của Meta trên MacBook Air M2 của mình ngay hôm nay, nhưng tôi chắc chắn nhận thấy khi nó suy nghĩ hoặc phản hồi khi toàn bộ máy của tôi bị treo cho đến khi hoàn tất. Điều đó sẽ không được chấp nhận đối với một ứng dụng phổ thông như Copilot – hoặc phiên bản tương lai của Siri.
TOPS là gì và tại sao chúng quan trọng?
TOPS là số lượng hàng nghìn tỷ phép tính mỗi giây mà chip có thể xử lý. Cụ thể, nó là thước đo các phép toán số học mà bộ xử lý có thể thực hiện trong một giây và nó đặc biệt hữu ích khi dùng làm thước đo hiệu suất trong các tác vụ AI và máy học.
Thông thường, con số TOPS sẽ được đưa ra cho toàn bộ chip, CPU và NPU kết hợp nhưng theo Intel, giá trị NPU cao hơn sẽ tốt hơn cho hiệu suất tổng thể trong các tác vụ LLM.
Lewellen nói với Tom’s Hardware rằng việc đạt được 40 TOPS kỳ diệu cho một NPU sẽ “cho phép chúng tôi chạy được nhiều thứ hơn tại địa phương”.
Mặc dù bạn không mong đợi chỉ chạy hầu hết các tính năng chính của Copilot trên máy của mình. Các tính năng bổ sung như tạo và chỉnh sửa hình ảnh có thể sẽ yêu cầu kết nối Internet và truy cập vào các dịch vụ đám mây trong một thời gian.
“Xu hướng chung là giảm tải càng nhiều càng tốt [the AI processes] đến điểm cuối [on-device] nhất có thể,” David Feng, Phó Chủ tịch Nhóm Máy tính Khách hàng tại Intel nói với Jugo Mobile tại MWC.
Khi nào tôi có thể chạy AI trên máy tính xách tay của mình?
Hiện đã có một số ứng dụng AI chạy các dịch vụ cục bộ, bao gồm các trình chỉnh sửa hình ảnh và video nhưng chúng chủ yếu sử dụng GPU. Intel đang tích cực làm việc với các nhà phát triển để khuyến khích việc sử dụng NPU tốt hơn, nhưng điều đó có thể không xảy ra cho đến khi chúng tôi có được chip thế hệ tiếp theo.
Trong khi đó, Qualcomm đang chạy trốn khỏi không gian Windows AI. Các chip Snapdragon X Elite thường bị trì hoãn của nó đo được 45 TOPS cho NPU tích hợp và chạy Windows.
Giám đốc tài chính Qualcomm Dom McGuire dự đoán số lượng TOPS thấp trong chip Intel sẽ là một vấn đề khi chúng lần đầu tiên được ra mắt. Phát biểu tại MWC ở Barcelona vào tháng 2, anh ấy nói với Jugo Mobile rằng bạn không thể làm được nhiều việc chỉ với một số TOPS.
Bạn không thể làm được gì nhiều từ trải nghiệm người dùng AI với 10 TOPS.
Giám đốc tài chính Qualcomm Dom McGuire
Ông giải thích: “Chúng tôi có thể hỗ trợ hơn 70 TOP hiệu suất AI trên cả ba bộ xử lý khác nhau của mình.
Ông nói thêm rằng PC Intel AI chỉ có thể xử lý khoảng 10 TOPS. “Bạn không thể làm được gì nhiều từ trải nghiệm người dùng AI với 10 TOPS.”
Ngay cả Apple cũng chỉ đứng đầu ở 34 TOPS trên chip di động A17 Pro cao cấp nhất và chip máy tính để bàn M2 Ultra, nhưng với sự tích hợp chặt chẽ hơn giữa hệ điều hành và phần cứng, hãng có thể tận dụng tốt hơn khả năng xử lý sẵn có và phân bổ tải trên nhiều nền tảng. toàn bộ hệ thống.
Câu trả lời là bạn có thể chạy AI trên máy tính xách tay của mình ngay hôm nay. Hầu hết thời gian nó sẽ sử dụng GPU và bạn sẽ thấy tác động đến thời lượng pin hoặc hiệu suất tổng thể của hệ thống. Tuy nhiên, trong một hoặc hai năm tới khi PC AI thế hệ thứ hai và phần mềm mới xuất hiện – AI cục bộ sẽ trở thành tiêu chuẩn.
Điều chắc chắn là bạn sẽ nghe nhiều hơn về TOPS trong vài năm tới khi các công ty tìm cách tận dụng khả năng của NPU để chạy các phép tính phức tạp và quy trình AI mà không ảnh hưởng lớn đến tuổi thọ pin.
- Tôi thử nghiệm AI để kiếm sống và đây là 11 ứng dụng hỗ trợ AI tôi sử dụng trên máy Mac của mình
- Google đang thêm Gemini vào Tin nhắn trên Android – mang đến cho bạn một cách mới để trò chuyện với AI
- Tim Cook: Apple sẽ ‘đột phá mới về AI’ trong năm nay
