IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    Azure Openai 服务文档系列(1)——基础概念

    admin发表于 2023-08-13 01:38:48
    love 0

    最近业务和个人工作中,逐步开始试用chatpgt等来完成部分文档的输出,也借着这个机会对于Azure Openai的服务文档进行学习和总结。

    接下来以系列的方式,逐步完成对该服务文档的学习笔记输出;Azure Openai基本上和OpenAI官方服务文档一致,两者学习其一即可。


    Azure OpenAI 服务提供对 OpenAI 强大语言模型的 REST API 访问,这些模型包括 GPT-4、GPT-35-Turbo 和嵌入模型系列。 Azure OpenAI的使用需要进行申请,申请入口点这里;其与直接调用OpenAI能力基本一致。

    模型

    MODELSDESCRIPTION
    GPT-4一组改进GPT-3.5的模型,可以理解和生成自然语言或代码
    GPT-3.5一组改进GPT-3的模型,可以理解和生成自然语言或代码
    DALL·E可以在自然语言提示时生成和编辑图像的模型
    Whisper一个可以将音频转换为文本的模型
    Embeddings一组可以将文本转换为数字形式的模型
    Moderation一个微调的模型,可以检测文本是否敏感或不安全
    *截止2023年7月数据

    Token令牌

    OpenAI 通过将文本分解为标记来处理文本。 标记可以是单词,也可以是字符块。给定请求中处理的标记总数取决于输入、输出和请求参数的长度; 处理的标记数量也会影响模型的响应延迟和吞吐量。

    作为一个粗略的经验法则,1个令牌对于英语文本来说大约是4个字符或0.75个单词。对于大多数型号来说,这是4096个代币或大约3000个单词。

    例如,单词“hamburger”将分解为标记“ham”、“bur”和“ger”,而“pear”之类的常见短单词只是一个单个标记。

    配额和限制

    任何接口的调用都不是无限和任意的,主要的限制如下:

    • 每个区域最多可以创建30个资源,最大微调模型部署:2个
    • 单个模型的默认配合(每分钟令牌数量):Text-Davinci-003:120 K 、GPT-4:20 K、GPT-4-32K:60 K 、其他:240 K
    • 每个请求的最大令牌数量(上下文)
      • gpt-4 模型最多支持 8192 个输入令牌,而 gpt-4-32k 模型最多支持 32768 个令牌
      • gpt-35-turbo 模型最多支持 4096 个输入令牌,而 gpt-35-turbo-16k 模型最多支持 16,384 个令牌
      • text-embedding-ada-002向量模型支持最多8191个输入令牌


沪ICP备19023445号-2号
友情链接