阶跃星辰发布 Step 3.7 Flash 视觉语言模型

[ModelPage]：https://static.stepfun.com/blog/step-3.7-flash/

1. 简介

Step 3.7 Flash 是一个 198B 参数的稀疏混合专家（MoE）视觉语言模型，它将 196B 参数的语言主干与 1.8B 参数的视觉编码器相结合，实现原生图像理解。它专为高频生产工作负载而设计，每个 token 激活约 11B 参数，吞吐量最高可达每秒 400 个 token。Step 3.7 Flash 支持 256k 上下文窗口，并提供三档可选推理级别（低、中、高），使开发者能够轻松平衡速度、成本和认知深度。

我们构建 Step 3.7 Flash，是为了满足需要扩展融合感知、搜索与推理的智能体工作流的开发者。它旨在处理密集型任务，例如一次性解析海量财务报告、运行带跨源验证的多步搜索循环，或在高吞吐流水线中运行并发编码智能体。

2. 能力与性能

多模态感知与验证

该模型提供顶级的视觉智能，以 79.2 的成绩在 SimpleVQA (Search) 上位列第一，并在 V* (Python) 上以 95.3 达到前沿水平。这些指标反映出超越基础图像描述的强大视觉定位与检索增强推理能力。该模型能准确处理密集的视觉界面，如 UI 线框图、应用 GUI 和数据图表，并将其映射为结构化代码。当遇到不完整的视觉素材时，它能独立识别缺失数据并执行查找以验证上下文，然后返回经事实核验的结论。

工作流完整性与工具编排

执行可靠性对自主智能体至关重要。Step 3.7 Flash 以 67.1 的得分领跑 ClawEval-1.1 基准，显著优于最接近的竞争对手的 59.8。这一表现展示出在多轮编排中对对抗性陷阱的高抵抗力以及对系统策略的严格遵守。凭借在 Toolathlon 上 49.5 和在 HLE w. Tool 上 48.1 的得分，这一表现确保了高轨迹完整性。Step 3.7 Flash 能可靠地与外部 API 交互并执行长周期工作流，而不会偏离指令或违反系统约束。

代码工程与专业基线

Step 3.7 Flash 专为实时工程任务而构建，以 56.3 的得分在 SWE-Bench PRO 上稳居第二。它能独立追踪多文件仓库，从原始问题报告中定位缺陷，并生成可通过自动化单元测试的功能性补丁。尽管 Terminal-Bench 2.1（59.5）和 GDPVal-AA（45.8）等评估显示，与同类绝对峰值相比仍有明显的未来优化空间，但它们为系统交互和结构化专业交付物建立了可靠的基线。

3. 定价

Token 类型	价格
输入（缓存未命中）	$0.20 / M tokens
输入（缓存命中）	$0.04 / M tokens
输出	$1.15 / M tokens

4. 可用性、部署与生态

可用性：Step 3.7 Flash 已在 StepFun 开放平台上线——platform.stepfun.ai（全球）和 platform.stepfun.com（中国）、OpenRouter 以及 NVIDIA NIM。StepFun 还与 DeepInfra、Fireworks AI 和 Modal 合作，即将扩大可用范围。
部署：Step 3.7 Flash 支持在云、数据中心和本地环境中灵活部署。对于大规模生产和企业用例，Step 3.7 Flash 可部署在现代数据中心基础设施上。对于本地和工作站场景，它还可以运行在高内存设备上，例如 NVIDIA DGX Station、基于 AMD Ryzen AI Max+ 395 的系统，以及配备至少 128GB 统一内存的 Mac Studio / Macbook Pro 设备。
生态：Step 3.7 Flash 在推理和模型开发方面均受主流开源基础设施支持。在推理和服务方面，开发者可以使用 vLLM、SGLang、HF Mirror Transformers 和 llama.cpp。在模型开发与定制工作流方面，StepFun 模型支持已落地 NVIDIA Nemo 生态，包括 AutoModel、Megatron Core 和 Megatron Bridge。Step 3.7 Flash 还可作为 NVIDIA NIM 推理微服务提供，用于本地、云或混合部署。

5. 示例

你可以使用 StepFun 的 API 或通过其他推理提供商，在几分钟内开始使用 Step 3.7 Flash。

为你的区域选择正确的 base_url。StepFun 运营两个区域平台，拥有各自独立的 API 主机。你传给 OpenAI 客户端的 base_url 必须与签发 API 密钥的平台一致，否则请求将因未授权而被拒绝。

全球：platform.stepfun.ai — base_url=https://api.stepfun.ai/v1

中国：platform.stepfun.com — base_url=https://api.stepfun.com/v1

为避免硬编码错误的区域，下面的示例从环境变量读取 API 密钥和 base URL。运行前先导出它们：
export STEP_API_KEY="sk-..."
export STEP_BASE_URL="https://api.stepfun.ai/v1"   # use https://api.stepfun.com/v1 for the China platform

5.1 聊天示例

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["STEP_API_KEY"],
    base_url=os.environ["STEP_BASE_URL"],
)

completion = client.chat.completions.create(
    model="step-3.7-flash",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant provided by StepFun. You are good at Chinese, English, and many other languages, and you can see, think, and act to help users get things done.",
        },
        {
            "role": "user",
            "content": "Introduce StepFun's artificial intelligence capabilities."
        },
    ],
)

print(completion)

5.2 文本和图像输入示例

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["STEP_API_KEY"],
    base_url=os.environ["STEP_BASE_URL"],
)

completion = client.chat.completions.create(
    model="step-3.7-flash",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What is in this picture?"},
                {
                    "type": "image_url",
                    "image_url": {"url": "https://example.com/photo.jpg"},
                },
            ],
        },
    ],
)

print(completion)

6. 本地部署

Step 3.7 Flash 针对本地推理进行了优化，并支持业界标准后端，包括 vLLM、SGLang、HF Mirror Transformers 和 llama.cpp。

6.1 vLLM

我们推荐使用 StepFun 预构建的、支持 Step 3.7 的 vLLM Docker 镜像。

安装 vLLM。

# via Docker
docker pull vllm/vllm-openai:stepfun37

启动服务器。

对于 FP8 模型

vllm serve <MODEL_PATH_OR_HF_ID> \
--served-model-name step3p7-flash \
--tensor-parallel-size 8 \
--enable-expert-parallel \
--disable-cascade-attn \
--reasoning-parser step3p5 \
--enable-auto-tool-choice \
--tool-call-parser step3p5 \
--speculative_config '{"method": "mtp", "num_speculative_tokens": 3}' \
--trust-remote-code

对于 BF16 模型

vllm serve <MODEL_PATH_OR_HF_ID> \
--served-model-name step3p7-flash-bf16 \
--tensor-parallel-size 8 \
--enable-expert-parallel \
--disable-cascade-attn \
--reasoning-parser step3p5 \
--enable-auto-tool-choice \
--tool-call-parser step3p5 \
--speculative_config '{"method": "mtp", "num_speculative_tokens": 3}' \
--trust-remote-code

对于 NVFP4 模型与标准精度相比，运行 FP4 量化版本需要 modelopt 激活和 FP8 KV Cache 对齐。

python3 -m vllm.entrypoints.openai.api_server \
--host 0.0.0.0 \
--port ${PORT} \
--model stepfun-ai/Step-3.7-Flash-NVFP4 \
--served-model-name step3p7 \
--tensor-parallel-size 4 \
--gpu-memory-utilization 0.9 \
--enable-expert-parallel \
--trust-remote-code \
--quantization modelopt \
--kv-cache-dtype fp8 \
--max-model-len 8192 \
--reasoning-parser step3p5 \
--enable-auto-tool-choice \
--tool-call-parser step3p5 \
--async-scheduling

6.2 SGLang

安装 SGLang。

# via Docker
docker pull lmsysorg/sglang:dev-step-3.7-flash

# or from source (pip)
pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git"

启动服务器。

注意：对于 Blackwell GPU，可以使用 --mm-attention-backend fa4。

对于 BF16 模型

sglang serve --model-path stepfun-ai/Step-3.7-Flash \
  --tp 8 \
  --reasoning-parser step3p5 \
  --tool-call-parser step3p5 \
  --enable-multimodal \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --enable-multi-layer-eagle \
  --trust-remote-code \
  --host 0.0.0.0 \
  --port 8000

对于 FP8 模型

sglang serve --model-path stepfun-ai/Step-3.7-Flash-FP8 \
  --tp 8 \
  --ep 4 \
  --reasoning-parser step3p5 \
  --tool-call-parser step3p5 \
  --enable-multimodal \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --enable-multi-layer-eagle \
  --trust-remote-code \
  --host 0.0.0.0 \
  --port 8000

对于 NVFP4 模型

sglang serve --model-path stepfun-ai/Step-3.7-Flash-NVFP4 \
  --tp 4 --ep 4 \
  --moe-runner-backend flashinfer_trtllm \
  --kv-cache-dtype fp8_e4m3 \
  --quantization modelopt_fp4 \
  --trust-remote-code \
  --reasoning-parser step3p5 \
  --tool-call-parser step3p5 \
  --attention-backend trtllm_mha

6.3 Transformers（调试 / 验证）

使用此代码片段进行快速功能验证。对于高吞吐量服务，请使用 vLLM 或 SGLang。

注意：部署此模型需要 transformers 5.0 或更高版本。

from transformers import AutoProcessor, AutoModelForCausalLM

MODEL_PATH = "<MODEL_PATH_OR_HF_ID>"

# 1. Setup
processor = AutoProcessor.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    device_map="auto",
    dtype="auto",
    trust_remote_code=True
)

# 2. Prepare Input
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://example.com/photo.jpg"},
            {"type": "text", "text": "What is in this picture?"}
        ]
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

# 3. Generate
generated_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False)
output_text = processor.decode(generated_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)

print(output_text)

6.4 llama.cpp

系统要求

GGUF 模型权重：

组件	量化	文件大小
语言模型	Q4_K_S	111.5 GB
语言模型	IQ4_XS	104.99 GB
语言模型	Q3_K_L	102.5 GB
多模态投影器	FP16	3.97 GB

运行时开销：约 7 GB
最低统一内存 / VRAM：120 GB（例如 Mac Studio、NVIDIA DGX Station、AMD Ryzen AI Max+ 395）
推荐：128 GB 统一内存

步骤

使用 llama.cpp：

git clone https://github.com/stepfun-ai/llama.cpp.git
cd llama.cpp
git checkout -b step3.7 origin/step3.7

在 Mac 上构建 llama.cpp：

cmake -B build-macos -S . \
    -DCMAKE_BUILD_TYPE=Release \
    -DBUILD_SHARED_LIBS=ON \
    -DLLAMA_BUILD_SERVER=ON \
    -DLLAMA_BUILD_TESTS=ON \
    -DGGML_METAL=ON \
    -DGGML_METAL_EMBED_LIBRARY=ON \
    -DGGML_BLAS=ON \
    -DGGML_BLAS_VENDOR=Apple \
    -DGGML_ACCELERATE=ON \
    -DGGML_NATIVE=ON
cmake --build build-macos -j8

在 DGX-Spark 上构建 llama.cpp：

cmake -S . -B build-cuda \
  -DCMAKE_BUILD_TYPE=Release \
  -DGGML_CUDA=ON \
  -DGGML_CUDA_GRAPHS=ON \
  -DGGML_CUDA_FORCE_MMQ=ON \
  -DLLAMA_OPENSSL=OFF \
  -DLLAMA_BUILD_COMMON=ON \
  -DLLAMA_BUILD_TOOLS=ON \
  -DLLAMA_BUILD_SERVER=ON \
  -DLLAMA_BUILD_EXAMPLES=OFF \
  -DLLAMA_BUILD_TESTS=OFF
cmake --build build-cuda -j8

在 AMD Windows 上构建 llama.cpp：

cmake -S . -B build-vulkan \
  -DCMAKE_BUILD_TYPE=Release \
  -DGGML_VULKAN=ON \
  -DGGML_NATIVE=ON \
  -DLLAMA_BUILD_SERVER=ON \
  -DLLAMA_BUILD_UI=OFF \
  -DLLAMA_BUILD_TOOLS=ON
cmake --build build-vulkan -j8

使用 llama-cli 运行：

./llama-cli -m Step3.7_Q4_K_S.gguf -b 2048 -ub 2048 -fa on --temp 1.0 -p "What's your name?"

使用llama-batched-bench测试性能：

./llama-batched-bench -m step3.7_Q4_K_S.gguf -c 32768 -b 2048 -ub 2048 -npp 0,2048,8192,16384,32768 -ntg 128 -npl 1

7. 在 Agent 平台上使用 Step 3.7 Flash

你可以在 Hermes Agent、OpenClaw、Kilo Code 等 Agent 平台上使用 Step 3.7 Flash。

8. 联系我们

在我们通过扩展广泛的模型能力来塑造 AGI 未来的过程中，我们希望确保正在解决正确的问题。我们邀请你加入这个持续反馈循环——你的见解会直接影响我们的优先级。

加入对话：我们的 Discord 社区是头脑风暴未来架构、提出能力建议以及获取早期访问更新的主要中心 🚀
报告问题：遇到限制？你可以在 GitHub / HuggingFace 上提交 issue 或发起讨论，也可以直接在我们的 Discord 支持频道中标记出来。

📄 许可证

本项目在 Apache 2.0 许可证下开源。