架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/ai-sora 前言 2024年初，AIGC领域迎来跨时代技术大爆发，OpenAl发布Sora引领了新一轮的科技革命。我受邀请参加2024 Global AI Bootcamp，参加圆桌讨论：畅谈Sora新纪元下的行业变革与商业价值。会议页面：2024 Global AI Bootcamp: 畅谈Sora新纪元下的行业变革与商业价值。 我本身就处于数据分析行业，一直有关注于大模型的进展，特别是怕Sora(chatgpt) 的强大，很快会把我也进行替代，因此做了一些调研。观点不成熟，而且仅聚焦于我所处于的行业。 目录 我的背景 Sora通用大模型目前还不完美 世界模拟器：想象空间很大 专业领域模型有自己的生成逻辑 数据分析，如何结合大语言模型 1. 我的行业背景 我是张丹，技术出身，擅长R语言，一直还处于一线做数据分析。公司是北京青萌数海科技有限公司，服务于政府客户，以数据分析、数据建模为主。 在大数据时代，各个政府部门也积累了大量的数据，但是还主要以专家经验为核心，我们通过AI模型，可以极大的提升监管的效率，提升命中的准确率。 像chatgpt，sora生成式的大模型，我们也很关注，一方面担心被替代，另一方面也在思考怎么能结合实际工作的特点，提升数据分析的效率。 2. Sora通用大模型目前还不完美 我的主要观点，目前来看Sora(chatgpt)，为代表的通用大模型目前还不完美。 我们所从事的数据分析领域模型和生成式大模型底层逻辑是不同的，从感觉上chatgpt在数据分析领域落地，还是比较难的。这种“落地”是能够直接替代 数据分析师 的落地，而不是指为 数据分析师 提供工具，还是离不开大量人工的辅助工具化。 我认为通用大模型(chatgpt) 和 专业领域模型（机器学习、深度学习、强化学习），能力并一样。 特别是从评价的角度，通用大模型，现在都是一种“感觉”的评价，比如大模型chatgpt 写的文字不错，Sora生成画面很舒服，感觉很真实。而专业领域模型需要有明确的目标，要求准确、高效。比如，我们需要明确找到 在100万笔电商的订单中，哪笔订单有问题，是否可能为走私、逃税的违法操作。 各个行业其实都有自己的法律、规范、要求等明确的依据条文，业务人员根据这些条文的要求设定规则，专业领域模型（机器学习）通过泛化能力，以概率的方式转化对规则边界定义，但依然保持着对目标的方向的锁定。而chatgpt大模型，似乎又近一步做了泛化，将导致对于目标的清晰度近一步丢失。 我个人感觉，大模型能落地的部分，还是面向toC的娱乐领域，在toB/toG领域还有一段路要走。就好比 短视频 和 电影，一个是消遣和娱乐，一个是高质量和深度。领域不同，要求不同。 2. 世界模拟器：想象空间很大 OpenAI …
Read more →