IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    使用大语言模型(LLM)修正小段乱码(Mojibake)为正常文本

    lanphaday发表于 2024-09-16 01:21:17
    love 0
    在上一篇文章ftfy:修正小段乱码(Mojibake)为正常文本的Python库中,我介绍了这个库。但随着持续的开发,我发现它仍然有一些解决不了的转换。如下: 可以看到后面的结果并没有转换成功,而且 也返回 ,非常爽快地承认了这一点。而当使用 chatGPT 来解决时,简单的提示语足以解决问题: 输出: 这就很妥贴。接下来只要优化一下提示词,让 LLM 返回 JSON 对象,就可以很方便地进行下一步处理了。


沪ICP备19023445号-2号
友情链接