blackantt 发表于 2024-4-23 08:17:22

GPT-3.5上下文输入长度从4千增长至1.6万token, 那该怎么用长文本功能呢？

长文本能力似乎成为象征着大模型厂商出手的又一新“标配”。

国外，OpenAI经过三次升级，GPT-3.5上下文输入长度从4千增长至1.6万token，GPT-4从8千增长至3.2万token（token：模型输入和输出的基本单位）；OpenAI最强竞争对手Anthropic一次性将上下文长度打到了10万token；LongLLaMA将上下文的长度扩展到25.6万token，甚至更多。

那像freechatgpt35 这种怎么设置才能用上这种长文本功能呢？

不二如是 发表于 2024-4-24 08:52:08

free3.5 没办法长文本，因为是免费....

曲线救国就是拆成多个 max_tokens，然后依次请求。

最直接的长文本还得是GPT4

blackantt 发表于 2024-4-24 11:15:23

不二如是 发表于 2024-4-24 08:52
free3.5 没办法长文本，因为是免费....

曲线救国就是拆成多个 max_tokens，然后依次请求。


llama3 有没有长文本？

Twilight6 发表于 2024-4-24 11:51:14



免费只有 4k，要用 16k 的接口成本会高两倍，所以网上部署的一般都是免费的 4k 的接口

好像开通 plus 会员也能使用，20+$/month ，不太清楚具体情况，没开通使用过
页: [1]
查看完整版本: GPT-3.5上下文输入长度从4千增长至1.6万token, 那该怎么用长文本功能呢？