Qwen3.8-27B

[!Lưu ý] Kho lưu trữ này chứa trọng lượng mô hình và các tệp cấu hình cho mô hình được đào tạo sau ở định dạng Transformers Hugging Face.

Các tạo phẩm này tương thích với Hugging Face Transformers, vLLM, SGLang, TokenSpeed, v.v.

[!Mẹo] Đối với những người dùng đang tìm kiếm khả năng suy luận được quản lý, có thể mở rộng mà không cần bảo trì cơ sở hạ tầng, dịch vụ Qwen API chính thức được cung cấp bởi Qwen đám mây. Đặc biệt, Qwen3.8-27B sẽ có sẵn dưới dạng phiên bản được lưu trữ với nhiều tính năng sản xuất hơn, ví dụ: độ dài ngữ cảnh 1M theo mặc định, các công cụ tích hợp chính thức. Để biết thêm thông tin, vui lòng tham khảo Tổng quan về Qwen3.8-27B. Dịch vụ này sắp ra mắt. Hãy theo dõi để cập nhật.

Sau khi dòng Qwen3.5 và Qwen3.6 được cộng đồng áp dụng rộng rãi, chúng tôi vui mừng giới thiệu Qwen3.8, thế hệ có khả năng nhất trong dòng mô hình mở Qwen cho đến nay.

Được xây dựng trên nền tảng kiến ​​trúc của Qwen3.5, Qwen3.8 mang lại lợi ích đáng kể cho các nhiệm vụ mã hóa, công việc chuyên môn, nghiên cứu và tác nhân dài hạn. Qwen3.8-27B mang những tiến bộ này vào một mô hình dày đặc, nhỏ gọn, thân thiện với việc triển khai: một mô hình ngôn ngữ thị giác bản địa hiểu được hình ảnh và video, với khả năng kiểm soát tư duy linh hoạt, được thiết kế để thực hiện các nhiệm vụ phức tạp, nhiều bước cho đến khi hoàn thành với độ tin cậy cao hơn.

Điểm nổi bật của Qwen3.8

Qwen3.8-27B có những cải tiến sau:

• Năng lực cốt lõi: Cải tiến toàn diện về mã hóa, công việc chuyên môn, nghiên cứu và các nhiệm vụ tác nhân dài hạn.
• Thực thi đại lý: Lập kế hoạch tự chủ mạnh mẽ hơn và xử lý phản hồi môi trường tốt hơn, dẫn đến việc hoàn thành nhiệm vụ từ đầu đến cuối một cách đáng tin cậy hơn.
• Khả năng tương thích xuôi dòng: Hỗ trợ rộng hơn cho các công cụ phát triển và khai thác phổ biến, giúp tích hợp vào ngăn xếp hiện có của bạn dễ dàng hơn.
• Kiểm soát tư duy linh hoạt: Chế độ suy nghĩ được bật theo mặc định và có thể bị tắt theo yêu cầu; độ sâu lý luận có thể được điều chỉnh với reasoning_effortvà bối cảnh lý luận từ các thông điệp lịch sử được giữ lại thông qua preserve_thinking.
• Hiểu biết ngôn ngữ tầm nhìn: Hỗ trợ gốc để hiểu hình ảnh và video, từ sơ đồ và tài liệu STEM đến video quy mô hàng giờ.

Tổng quan về mô hình

• Kiểu: Mô hình ngôn ngữ nhân quả với bộ mã hóa thị giác
• Giai đoạn đào tạo: Trước đào tạo & Sau đào tạo
• Mô hình ngôn ngữ
  • Số lượng thông số: 27B
  • Kích thước ẩn: 5120
  • Nhúng mã thông báo: 248.320 (Đệm)
  • Số Lớp: 64
  • Bố cục ẩn: 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Chú ý → FFN))
  • DeltaNet có cổng:
    • Số lượng đầu chú ý tuyến tính: 48 cho V và 16 cho QK
    • Kích thước đầu: 128
  • Kiểm soát sự chú ý:
    • Số lượng đầu chú ý: 24 cho Q và 4 cho KV
    • Kích thước đầu: 256
    • Kích thước nhúng vị trí quay: 64
  • Mạng chuyển tiếp nguồn cấp dữ liệu:
    • Kích thước trung gian: 17.408
  • Đầu ra LM: 248.320 (Có đệm)
  • MTP (Dự đoán nhiều mã thông báo): được đào tạo với nhiều bước
• Độ dài ngữ cảnh: 262.144 nguyên bản và có thể mở rộng lên tới 1.000.000 mã thông báo.

Kết quả điểm chuẩn

Hiệu suất văn bản

Hiệu suất VL

Bắt đầu nhanh

Để tích hợp hợp lý, chúng tôi khuyên bạn nên sử dụng Qwen3.8 thông qua API.

Phục vụ Qwen3.8

[!Quan trọng] Hiệu quả suy luận và thông lượng khác nhau đáng kể giữa các khung. Chúng tôi khuyên bạn nên sử dụng các phiên bản khung mới nhất để đảm bảo hiệu suất và khả năng tương thích tối ưu. Đối với khối lượng công việc sản xuất hoặc tình huống có thông lượng cao, nên sử dụng các công cụ phân phối chuyên dụng như SGLang, vLLM hoặc TokenSpeed.

Qwen3.8 có thể được triển khai với các khung suy luận phổ biến, ví dụ:

• SGlang: Sách dạy nấu ăn Qwen3.8
• vLLM: Công thức Qwen3.8
• Mã thông báoTốc độ: Công thức Qwen3.8

API Cách sử dụng

[!Quan trọng] Theo mặc định, mô hình Qwen3.8 hoạt động ở chế độ tư duy, tạo ra nội dung tư duy được biểu thị bằng <think>\n...</think>\n\n trước khi đưa ra phản hồi cuối cùng. Để vô hiệu hóa nội dung suy nghĩ và nhận được phản hồi trực tiếp, hãy tham khảo các ví dụ ở đây.

[!Mẹo] Chúng tôi khuyên bạn nên sử dụng các bộ tham số lấy mẫu sau để tạo:

• Chế độ suy nghĩ: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
• Chế độ hướng dẫn (hoặc không suy nghĩ): temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

Xin lưu ý rằng việc hỗ trợ các tham số lấy mẫu thay đổi tùy theo khung suy luận.

Qwen3.8 đi kèm với sự hỗ trợ chính thức cho reasoning_effort, có thể được sử dụng để điều chỉnh độ sâu lý luận và kiểm soát chi phí:

• xhigh (mặc định): dành cho các nhiệm vụ phức tạp đòi hỏi phải phân tích kỹ lưỡng
• medium: cân bằng độ chính xác và tốc độ
• low: lý luận hiệu quả tối ưu hóa tốc độ và chi phí

Ngoài ra, preserve_thinking được bật theo mặc định cho tất cả khối lượng công việc để có trải nghiệm tốt nhất ngay từ đầu. Để vô hiệu hóa tư duy bảo tồn, hãy tham khảo các ví dụ ở đây.

[!Mẹo] Trong các nhiệm vụ tác nhân nhiều lượt, nỗ lực suy luận thấp hơn không phải lúc nào cũng làm giảm thời gian hoàn thành nhiệm vụ tổng thể. Mặc dù nó có thể tạo ra phản hồi mỗi lượt nhanh hơn nhưng cũng có thể dẫn đến phân tích không đầy đủ, nhiều lỗi hơn và thử lại nhiều lần, điều này có thể làm tăng tổng độ trễ và mức tiêu thụ mã thông báo.

Số lần hoàn thành cuộc trò chuyện API

Tính năng Hoàn thành cuộc trò chuyện API có thể được sử dụng với hầu hết các khung suy luận, cũng như Qwen đám mây. Trước khi bắt đầu, hãy đảm bảo rằng OpenAI Python SDK đã được cài đặt và khóa API cũng như URL cơ sở API được định cấu hình, ví dụ:

pip install -U openai

# Set the following accordingly
export OPENAI_BASE_URL='your-base-url'
export OPENAI_API_KEY='your-api-key'

Phương thức nhập chỉ có văn bản

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [{"role": "user", "content": "Write a Python function to merge two sorted linked lists."}]

completion = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=messages,
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": True,  # on by default
            "preserve_thinking": True, # on by default
        },
    },
    reasoning_effort="xhigh",  # xhigh by default; supported levels are xhigh, medium, and low
    stream=True,
    stream_options={"include_usage": True},
)

reasoning_content = ""
answer_content = ""
is_answering = False
print("\n" + "=" * 20 + "Reasoning" + "=" * 20 + "\n")

for chunk in completion:
    if not chunk.choices:
        print("\nUsage:")
        print(chunk.usage)
        continue

    delta = chunk.choices[0].delta

    if hasattr(delta, "reasoning_content") and delta.reasoning_content is not None:
        if not is_answering:
            print(delta.reasoning_content, end="", flush=True)
        reasoning_content += delta.reasoning_content
    elif hasattr(delta, "reasoning") and delta.reasoning is not None:
        if not is_answering:
            print(delta.reasoning, end="", flush=True)
        reasoning_content += delta.reasoning

    if hasattr(delta, "content") and delta.content:
        if not is_answering:
            print("\n" + "=" * 20 + "Answer" + "=" * 20 + "\n")
            is_answering = True
        print(delta.content, end="", flush=True)
        answer_content += delta.content

messages.append({
    "role": "assistant",
    "content": answer_content,
    "reasoning_content": reasoning_content,
    "reasoning": reasoning_content,
})

Nhập hình ảnh

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image_url",
                "image_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/CI_Demo/mathv-1327.jpg"
                }
            },
            {
                "type": "text",
                "text": "The centres of the four illustrated circles are in the corners of the square. The two big circles touch each other and also the two little circles. With which factor do you have to multiply the radii of the little circles to obtain the radius of the big circles?\nChoices:\n(A) $\\frac{2}{9}$\n(B) $\\sqrt{5}$\n(C) $0.8 \\cdot \\pi$\n(D) 2.5\n(E) $1+\\sqrt{2}$"
            }
        ]
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=messages,
)
print("Chat response:", chat_response)

Đầu vào video

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video_url",
                "video_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/video/N1cdUjctpG8.mp4"
                }
            },
            {
                "type": "text",
                "text": "How many porcelain jars were discovered in the niches located in the primary chamber of the tomb?"
            }
        ]
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=messages,
)

# When vLLM is launched with `--media-io-kwargs '{"video": {"num_frames": -1}}'`,
# video frame sampling can be configured via `extra_body` (e.g., by setting `fps`).
# This feature is currently supported only in vLLM.
#
# By default, `fps=2` and `do_sample_frames=True`.
# With `do_sample_frames=True`, you can customize the `fps` value to set your desired video sampling rate.
# chat_response = client.chat.completions.create(
#     model="Qwen/Qwen3.8-27B",
#     messages=messages,
#     extra_body={
#         "mm_processor_kwargs": {"fps": 2, "do_sample_frames": True},
#     }, 
# )

print("Chat response:", chat_response)

Chế độ hướng dẫn (hoặc không suy nghĩ)

Qwen3.8-27B mặc định sẽ suy nghĩ trước khi phản hồi. Bạn có thể nhận được phản hồi trực tiếp từ mô hình mà không cần suy nghĩ bằng cách định cấu hình tham số API. Ví dụ,

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image_url",
                "image_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/RealWorld/RealWorld-04.png"
                }
            },
            {
                "type": "text",
                "text": "Where is this?"
            }
        ]
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=messages,
    temperature=0.7,
    top_p=0.8,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
        "chat_template_kwargs": {"enable_thinking": False},
    }, 
)
print("Chat response:", chat_response)

[!Lưu ý] Nếu bạn đang sử dụng API từ Qwen Cloud, ngoài việc thay đổi model, vui lòng sử dụng "enable_thinking": False thay vì "chat_template_kwargs": {"enable_thinking": False}.

Vô hiệu hóa tư duy bảo tồn

Theo mặc định, Qwen3.8 giữ lại các khối suy nghĩ từ tất cả các tin nhắn lịch sử, duy trì dấu vết lý luận hoàn chỉnh trong suốt cuộc trò chuyện. Hành vi này, được gọi là tư duy được bảo tồn, đảm bảo tính liên tục của bối cảnh đầy đủ và đặc biệt có lợi cho các tình huống tác nhân trong đó tính nhất quán của quyết định và giảm lý luận dư thừa là rất quan trọng. Nó cũng cải thiện việc sử dụng bộ đệm KV, tối ưu hóa hiệu quả suy luận ở cả chế độ suy nghĩ và không suy nghĩ.

Nếu bạn chỉ muốn giữ lại các khối suy nghĩ từ tin nhắn mới nhất của người dùng, bạn có thể tắt hành vi này bằng cách đặt preserve_thinking để False:

from openai import OpenAI

# Configured by environment variables
client = OpenAI()
messages = [...]
chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.8-27B",
    messages=messages,
    extra_body={
        "chat_template_kwargs": {"preserve_thinking": False},
    },
)
print("Chat response:", chat_response)

[!Lưu ý] Nếu bạn đang sử dụng API từ Qwen Cloud, ngoài việc thay đổi model, vui lòng sử dụng "preserve_thinking": False trực tiếp thay vì gói nó trong chat_template_kwargs.

Thực tiễn tốt nhất

Để đạt được hiệu suất tối ưu, chúng tôi khuyên bạn nên cài đặt sau:

1. Thông số lấy mẫu: Chúng tôi khuyên bạn nên sử dụng các bộ tham số lấy mẫu sau:

   • Chế độ suy nghĩ: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
   • Chế độ hướng dẫn (hoặc không suy nghĩ): temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

   Đối với các khung được hỗ trợ, bạn có thể điều chỉnh presence_penalty tham số trong khoảng từ 0 đến 2 để giảm sự lặp lại vô tận. Tuy nhiên, việc sử dụng giá trị cao hơn đôi khi có thể dẫn đến hiện tượng trộn ngôn ngữ và giảm nhẹ hiệu suất của mô hình.

2. Độ dài đầu ra phù hợp: Để tối ưu hóa hiệu suất của các tác vụ tổng đài, chúng tôi khuyên bạn nên phân bổ đủ độ dài đầu ra để cho phép mô hình tạo ra các phản hồi chi tiết và toàn diện. Đối với các khung hỗ trợ các giới hạn mã thông báo riêng biệt cho lý do nội bộ và đầu ra cuối cùng, chúng tôi đề xuất cấu hình sau trong độ dài ngữ cảnh 1M:

   • Nội dung lý do: Đặt độ dài đầu ra tối đa thành 262.144 mã thông báo.
   • Phản hồi cuối cùng: Đặt độ dài đầu ra tối đa thành 131.072 mã thông báo.

   Các cài đặt này cung cấp khả năng cần thiết cho lý luận phức tạp trong khi vẫn đảm bảo không gian rộng rãi cho các sản phẩm cuối cùng có chất lượng cao.

3. Xử lý văn bản siêu dài: Qwen3.8-27B vốn hỗ trợ độ dài ngữ cảnh lên tới 262.144 mã thông báo. Đối với các tác vụ có thời lượng dài trong đó tổng độ dài (bao gồm cả đầu vào và đầu ra) vượt quá giới hạn này, chúng tôi khuyên bạn nên sử dụng kỹ thuật chia tỷ lệ RoPE để xử lý văn bản dài một cách hiệu quả, ví dụ: YaRN.

   YaRN hiện được hỗ trợ bởi một số khung suy luận, ví dụ: vLLM, SGLang và TokenSpeed. Nói chung, có hai cách tiếp cận để kích hoạt YaRN cho các khung được hỗ trợ:

   • Sửa đổi tập tin cấu hình mô hình:

     trong config.json tập tin, thay đổi rope_parameters lĩnh vực trong text_config đến:

     {
         "mrope_interleaved": true,
         "mrope_section": [
             11,
             11,
             10
         ],
         "rope_type": "yarn",
         "rope_theta": 10000000,
         "partial_rotary_factor": 0.25,
         "factor": 4.0,
         "original_max_position_embeddings": 262144,
     }
     

   • Truyền đối số dòng lệnh:

     Đối với vLLM, bạn có thể sử dụng

     VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve ... --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --max-model-len 1000000  
     

     Đối với SGLang, bạn có thể sử dụng

     SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server ... --json-model-override-args '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --context-length 1000000
     

     Đối với TokenSpeed, bạn có thể sử dụng

     TOKENSPEED_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 tokenspeed serve ... --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --max-model-len 1000000  
     

   [!LƯU Ý] Tất cả các khung nguồn mở đáng chú ý đều triển khai YaRN tĩnh, có nghĩa là hệ số tỷ lệ không đổi bất kể độ dài đầu vào, có khả năng ảnh hưởng đến hiệu suất trên các văn bản ngắn hơn. Chúng tôi khuyên bạn nên sửa đổi rope_parameters chỉ cấu hình khi cần xử lý ngữ cảnh dài. Nó cũng được đề nghị sửa đổi factor khi cần thiết. Ví dụ: nếu độ dài ngữ cảnh điển hình cho ứng dụng của bạn là 524.288 mã thông báo thì tốt hơn nên đặt factor như 2.0.

4. Hiểu video dài: Để tối ưu hóa hiệu quả suy luận cho văn bản và hình ảnh thuần túy, size tham số trong bản phát hành video_preprocessor_config.json được cấu hình thận trọng. Nên thiết lập longest_edge tham số trong tệp video_preprocessor_config thành 469.762.048 (tương ứng với 224k mã thông báo video) để cho phép lấy mẫu tốc độ khung hình cao hơn cho video có quy mô một giờ và nhờ đó đạt được hiệu suất vượt trội. Ví dụ,

   {"longest_edge": 469762048, "shortest_edge": 4096}
   

   Ngoài ra, hãy ghi đè các giá trị mặc định thông qua các tham số khởi động động cơ. Để biết chi tiết thực hiện, hãy tham khảo: vLLM / SGlang.

Trích dẫn

Nếu bạn thấy công việc của chúng tôi hữu ích, vui lòng trích dẫn cho chúng tôi.

@misc{qwen38,
    title = {{Qwen3.8-Max}: A New Bar for Coding and Cowork},
    url = {https://qwen.ai/blog?id=qwen3.8},
    author = {{Qwen Team}},
    month = {August},
    year = {2026}
}