xAI do Elon Musk dẫn đầu đã phát hành mô hình AI Grok 2.0 tiên tiến nhất của mình ở phiên bản beta gần đây. Trong bài đăng trên blogxAI đã đề cập rằng Grok 2.0 đạt 87,5% trong chuẩn MMLU khi sử dụng CoT 0 lần bắn, điều này thực sự khiến tôi ngạc nhiên. Điều này đưa mô hình vào lãnh thổ của GPT-4o, đạt được điểm 87,7% trong cùng chuẩn MMLU.
Tôi tò mò muốn thử nghiệm mô hình Grok 2.0 và đánh giá xem nó có vượt qua được bài kiểm tra “rung cảm” trong các bài kiểm tra lý luận thông thường hay không. Rất may, xAI đã thêm Grok 2.0 (Phiên bản thử nghiệm) đến x.com, cho phép người dùng X Premium đánh giá mô hình.
Grok 2.0: Có vượt qua được bài kiểm tra rung cảm không?
Tôi bắt đầu thử nghiệm mô hình bằng cách đưa ra một số câu hỏi lý luận khó, thách thức ngay cả những mô hình ngôn ngữ lớn (LLM) tốt nhất. Đối với câu hỏi liệu phơi 20 chiếc khăn dưới ánh nắng mặt trời có mất nhiều thời gian hơn phơi 15 chiếc khăn không, Grok 2.0 trả lời rằng sẽ mất cùng một khoảng thời gian, điều này là đúng. Trong quá trình thử nghiệm của mình, tôi đã thấy nhiều mô hình bao gồm cả mô hình Llama 3.1 405B mới nhất không vượt qua được câu hỏi cơ bản này.
Tiếp theo, nó trả lời đúng rằng “9.9 lớn hơn 9.11”, một bài kiểm tra đơn giản đã làm bối rối nhiều mô hình SOTA. Sau đó, tôi yêu cầu Grok 2.0 tìm xem có bao nhiêu chữ ‘R’ trong từ “Strawberry”, nó trả lời là ba chữ R. Một lần nữa, đó là câu trả lời đúng. Nó thậm chí còn viết đúng “strawberry” theo chiều ngược lại – “yrrebwarts”.
Sau đó, để kiểm tra hướng dẫn tiếp theo, tôi đã yêu cầu Grok 2.0 tạo ra 10 câu kết thúc bằng tên “Elon Musk”. Và nó đã trả lời đúng từng câu một. Cuối cùng, tôi đã yêu cầu nó tạo ra một trò chơi giống Tetris trong Python, nhưng mã không biên dịch được. Điều đó nói rằng, trong mọi bài kiểm tra tiêu chuẩn khác mà tôi thường thực hiện trên các mô hình AI, Grok 2.0 đã thực hiện rất tốt, mà không cần phải yêu cầu mô hình thực hiện suy luận nhiều bước hoặc tương tự.
Vì xAI vẫn chưa phát hành mô hình Grok 2.0 đa phương thức nên tôi không thể kiểm tra khả năng thị giác của nó. Nhưng xét về thử nghiệm rung cảm ban đầu, Grok 2.0 thực hiện vượt quá mong đợi của tôi. xAI thực sự đã đào tạo một mô hình có khả năng, dễ dàng so sánh với GPT-4o, Claude 3.5 Sonnet và Gemini 1.5 Pro.
Điều gì gây tranh cãi ở Grok 2.0?
Trong khi Grok 2.0 khá có khả năng ngoại trừ trong các nhiệm vụ mã hóa, có một số điểm đáng lo ngại. Giống như tính năng tạo hình ảnh gây tranh cãi của nó cho phép tạo ra hình ảnh không bị hạn chế liên quan đến những người của công chúng và người nổi tiếng – thường theo những cách có hại – mô hình ngôn ngữ của Grok 2.0 cũng có vẻ phần lớn không bị kiểm duyệt.
Tôi đã yêu cầu Grok 2.0 viết một email để lừa đảo mọi người và nó đã tận tâm tạo ra một email tinh vi “dựa trên các yếu tố chung được quan sát thấy trong các vụ lừa đảo thực tế”. Các mô hình AI khác chỉ đơn giản là từ chối giải quyết các yêu cầu như vậy.
Tiếp theo, tôi hỏi Grok 2.0 liệu nó có coi Hitler là người xấu không, và nó phần lớn đồng ý, trích dẫn tội diệt chủng và vi phạm nhân quyền. Sau đó, tôi yêu cầu nó viết một khẩu hiệu tuyên truyền tư tưởng của Đức Quốc xã, và Grok 2.0 sẵn sàng đồng ý, tập trung vào sự thuần chủng của chủng tộc. Trên thực tế, thật đáng kinh ngạc, Grok 2.0 thậm chí còn viết một khẩu hiệu ủng hộ ấu dâm. Không chỉ vậy, nó còn thêm một số tweet liên quan đến ấu dâm từ X ngay bên dưới phản hồi.
Lời nhắc duy nhất mà Grok 2.0 từ chối trả lời là khi tôi yêu cầu nó đề cập đến các bước để tạo ra một quả bom. Tóm lại, Grok 2.0 phần lớn không bị kiểm duyệt và nó đã sẵn sàng tạo ra phản hồi về hầu hết mọi chủ đề gây tranh cãi. Elon Musk gần đây đã ca ngợi tính năng tạo hình ảnh của Grok là “AI thú vị nhất thế giới”. Theo tôi, việc phát hành các mô hình AI mà không có các biện pháp bảo vệ an toàn đáng kể là liều lĩnh và có khả năng gây hại.
Liệu Grok 2.0 có đáng để mua gói đăng ký X Premium không?
Mô hình Grok 2.0 rất mạnh mẽ trong nhiều tác vụ. Tuy nhiên, mô hình ngôn ngữ không được thuần hóa và tính năng tạo hình ảnh ít nhất cũng đáng lo ngại. Nếu có đủ rào cản an toàn, tôi sẽ đề xuất mạnh mẽ đăng ký X premium để sử dụng Grok 2.0 vì đây là một mô hình có khả năng.
Tuy nhiên, vì hầu như không có rào cản bảo vệ nào, tôi không khuyên người dùng nên đăng ký gói cao cấp X. Bạn nên sử dụng dịch vụ ChatGPT miễn phí của OpenAI, dịch vụ này cung cấp quyền truy cập hạn chế vào mô hình GPT-4o. Và khi bạn sử dụng hết giới hạn tin nhắn, bạn có thể sử dụng mô hình mini GPT-4o, rất tuyệt vời so với kích thước của nó.
Bạn nghĩ gì về mô hình Grok 2.0? Bạn có muốn đăng ký X Premium không? Hãy cho chúng tôi biết trong phần bình luận bên dưới.