大模型核心概念：工程师需要理解的 LLM 基础

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")

# 英文
text_en = "Hello, how are you today?"
tokens_en = enc.encode(text_en)
print(f"英文: {len(tokens_en)} tokens")  # 6 tokens
print(enc.decode_tokens_bytes(tokens_en))  # 每个 token 对应的字节

# 中文
text_zh = "你好，今天感觉怎么样？"
tokens_zh = enc.encode(text_zh)
print(f"中文: {len(tokens_zh)} tokens")  # 约 14 tokens

# 一个说明上下文位置效应的实验框架
def test_position_effect(api_client, key_info, position="middle"):
    """把关键信息放在不同位置，测试模型是否能准确引用"""
    filler = "这是填充内容，用于测试上下文位置效应。" * 100  # 约 5000 tokens

    if position == "start":
        context = f"关键信息：{key_info}\n\n{filler}"
    elif position == "middle":
        context = f"{filler[:len(filler)//2]}\n\n关键信息：{key_info}\n\n{filler[len(filler)//2:]}"
    elif position == "end":
        context = f"{filler}\n\n关键信息：{key_info}"

    response = api_client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "user", "content": f"{context}\n\n请重复上面提到的关键信息。"}
        ]
    )
    return response.choices[0].message.content

import anthropic

client = anthropic.Anthropic()

prompt = "用一句话描述人工智能的未来"

# 低温度：输出稳定，适合数据提取、格式化输出
response_low = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=100,
    temperature=0.1,
    messages=[{"role": "user", "content": prompt}]
)

# 高温度：输出多样，适合创意写作、头脑风暴
response_high = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=100,
    temperature=1.0,
    messages=[{"role": "user", "content": prompt}]
)

print("低温度:", response_low.content[0].text)
print("高温度:", response_high.content[0].text)

# System Prompt 的典型结构
system_prompt = """
你是一个专业的代码审查助手。你的工作是：

## 职责
1. 检查代码的正确性、性能问题和安全隐患
2. 给出具体可执行的改进建议
3. 解释为什么某段代码有问题

## 输出格式
始终以 JSON 格式返回，结构如下：
{
    "issues": [{"severity": "high/medium/low", "line": N, "description": "...", "suggestion": "..."}],
    "summary": "..."
}

## 约束
- 不要给出无法落地的笼统建议
- 如果代码没有问题，issues 返回空数组
- 不要修改代码本身，只给建议
"""

# 减少幻觉的工程策略
def ask_with_grounding(client, question, retrieved_context):
    """把检索到的事实作为锚点，要求模型基于这些事实回答"""
    return client.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=1000,
        system="""
        你只能基于用户提供的参考资料回答问题。
        如果参考资料中没有足够信息，直接说「根据提供的资料，无法回答这个问题」。
        不要自行补充参考资料中没有的信息。
        """,
        messages=[{
            "role": "user",
            "content": f"""参考资料：
            {retrieved_context}

            问题：{question}"""
        }]
    )

from openai import OpenAI
import numpy as np

client = OpenAI()

def get_embedding(text):
    response = client.embeddings.create(
        model="text-embedding-3-small",
        input=text
    )
    return np.array(response.data[0].embedding)

def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# 测试语义相似度
emb_dog = get_embedding("狗是人类的好朋友")
emb_cat = get_embedding("猫喜欢独处")
emb_car = get_embedding("汽车需要定期保养")

print(f"狗-猫相似度: {cosine_similarity(emb_dog, emb_cat):.3f}")   # ~0.8（同是动物话题）
print(f"狗-汽车相似度: {cosine_similarity(emb_dog, emb_car):.3f}") # ~0.6（话题差异大）

import anthropic

client = anthropic.Anthropic()

# 使用 cache_control 缓存长 System Prompt
response = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "你是一个...",  # 长达 10000 token 的 System Prompt
            "cache_control": {"type": "ephemeral"}  # 缓存这个 block
        }
    ],
    messages=[{"role": "user", "content": user_query}]
)

import tiktoken

def estimate_cost(messages, model="gpt-4o"):
    """估算 API 调用成本"""
    enc = tiktoken.encoding_for_model(model)
    total_tokens = sum(
        len(enc.encode(m["content"]))
        for m in messages
    )
    # GPT-4o 输入价格：$2.5/百万 token
    estimated_cost = total_tokens / 1_000_000 * 2.5
    return total_tokens, estimated_cost

# 在实际调用前检查
tokens, cost = estimate_cost(messages)
if tokens > 100_000:
    raise ValueError(f"请求过大: {tokens} tokens，预计成本 ${cost:.4f}")

def extract_with_validation(text, schema):
    """带验证的结构化提取"""
    result = llm_extract(text, schema)

    # 验证层：检查必填字段、数值范围、日期格式等
    for field, validator in schema.items():
        if not validator(result.get(field)):
            # 重试，或返回低置信度标记
            return {"data": result, "confidence": "low", "needs_review": True}

    return {"data": result, "confidence": "high", "needs_review": False}