大家好，今天继续聊聊科技圈发生的那些事。一、tiny-gpuGPU，到底是啥？有的人说，GPU 就是显卡嘛。又有的人探出头说，不对，GPU 是显卡上的一块芯片。那么 GPU 有什么用呢？常玩游戏的小伙伴说到，打游戏的时候需要显卡帮忙渲染呗，用来打游戏的！做人工智能的小伙伴说，需要算力来跑数据呗！再狠一点的，用来挖矿，赚点币花！说了这么多，我们有没有真正的想过一个问题：GPU 到底是怎么工作的呢？似乎我们一直都没有研究过。tiny-gpu 这个项目实现了一个最小的 GPU ，用于从基础开始学习 GPU 的工作原理。它的特点是，没有针对特定硬件的细节进行阐述，而是强调所有架构的一般原理。项目主要分成三个大点：架构 - GPU 的架构是怎样的？最重要的元素是什么？并行化 - SIMD 编程模型是如何在硬件中实现的？内存 - GPU 如何在有限的内存带宽限制下工作？于是我们就能看到，项目从 GPU 的结构入手，逐渐往下进行介绍。运用一个一次只能执行一个内核的 GPU，项目手把手实现了 GPU 完整的工作原理。比如，演示 SIMD 编程，使用 GPU 执行的概念验证，以及渲染流水线等等。作者说到，关于 CPU 的工作原理，大家可以很轻松的找到教程，而 GPU 市场竞争激烈，大家都想保护自己的技术，这导致了连底层的原理介绍都微乎其微。这就是这个教学向的项目创建的原因。对 GPU 工作原理感兴趣 ...继续阅读 (54)

大家好，我是 Jack。阿里集团年终奖开奖了。对于阿里员工而言，今天是 4 月份的最后一个工作日，也是辛苦一年的收获日。淘天 3.75 绩效：年终奖能拿 6 个月以上，另外还有 20万-70万 左右的长期激励，2000-5000 普调。阿里云 3.75 绩效：年终奖能拿 6-7 个月左右，另外还有 30万-40万 左右长期现金激励，1500-4000 普调。高德 3.75 绩效：年终奖能拿 5-6 个月左右，另外还有 20万 以上长期现金激励，1500-4000 普调。而绩效 3.5+，普遍都能有个 3-5 个月的年终奖，也能有 1000-3000 的普调，不过长期现金激励能拿的人很少。而绩效 3.5 已经普遍没有普调了，年终奖能有 2-3.5 个月，长期现金激励就更少更少了。这个长期现金激励是阿里今年的新政策，每个季度归属 1/16，比如有 20 万长期现金激励，那么每个季度能拿 1.25 万，4 年能拿完。不仅是阿里，现在互联网整体的趋势就是平均绩效，也就是 3.5 或者 M 绩效，都很少很少有普调。早些年是大锅饭，只要能拿个平均绩效，每个人都能涨薪小几千，现在都是能"卷"者多得。绩效能拿 3.5+ 以上其实挺不容易的，除了自己要够卷以外，所在的部门绩效也要不错才行。而且不少互联网大厂，每个季度都在裁员。从前不少人的想法是做好项目，争取多跳槽，薪资 double 爽歪歪。现在变 ...继续阅读 (54)

大家好，今天继续聊聊科技区发生的那些事。最近有消息称：特斯拉毁约应届生。近不久，在牛客网、小红书、微博等一众平台上，突然出现了很多应届生开始诉苦。而这些应届生们的矛头，纷纷指向了特斯拉。特斯拉单方面撕毁了 offer，24届全体应届生带着一个月的月薪，连公司门都还没进去，就卷铺盖走人了。有网友说到，突然毁约，春招结束了，这是直接毁了应届生啊！也有当事人说到，这事儿太新奇了，真没想到，咱一个应届生还没上班就被裁了，是真正的毕业即失业。目前，网上看到的应届生们的遭遇大多相同：临近毕业，春招接到多家 offer，精心挑选后选择特斯拉。3月底进行签约，签了三方协议，4月底突然接到 HR 的通知，毁约赔偿。很多人愤愤不公，认为这种行为完全是不公平的。毕竟春招临近尾声，应届生满怀欣喜准备去上班了，现在突然说被裁，再重新找工作，可谓是难上加难。再一个，签了三方协议后，很有可能就会丢失应届生的宝贵身份。但退一万步说，只要特斯拉正确按照约定给予赔偿金，它也算是尽职尽责，除了嘴上念叨两句缺德，而跟某些企业比，也算是良心了。我们将时间线回拉到四月中旬，4月18日时，特斯拉曾宣布全球裁员10%。现在看来，就国内的这一波就业环境而言，这个比例可能远不止10%。但是，在裁员这个事情曝光的后两天，4月25日左右，特斯拉市值一夜上涨4000多亿的新闻又登上了热搜。同行迷惑了，前一段时间还在跌，一夜之间，咋起飞的？ ...继续阅读 (126)

大家好，我是 Jack。今天周五，咱就随便聊聊科技圈发生的那些事。一、雷军辟谣昨天，也就是 4 月 18 日，雷总在小米北京交付中心和体验中心开启了直播。直播中为自己澄清了坊间的“爽文”传闻。“我希望大家能帮我辟谣：其实我不是高考状元，没有考700分，在低谷的时候卡里也没有冰冷的四十亿。”这倒是印证了我当时的猜测：那篇文章的评论区也有同年高考的前辈留言：雷军辟谣称：“绝对不是什么爽文人生，成功还是要靠梦想，靠奋斗一步一步来的，努力也靠贵人相助。爽文大家笑一笑就好，这些都不是真的。有人称我为‘爽文第一男主’，我一听浑身不舒服，无论如何请你帮我辟谣一下。”现在有雷军的地方就有热度，雷军简历、雷军编程。该说不说，确实很钦佩。雷军还曾表示自己非常热爱编程，当金山 CEO 纯粹意外。雷总曾在武汉大学的毕业典礼上致辞道：“28岁的时候，我做了金山CEO。真的不是我厉害，纯粹是个意外。当时董事会没有找到合适的人，就决定让我先顶上。就这样，我从程序员走上了管理岗位。”二、Llama 3 开源开源，咱还得看 Meta，这个不服不行。就在今天，Meta官网上新，官宣了 Llama 3 80 亿和 700 亿参数版本。Meta 官方数据显示，Llama 3 8B 和 70B 版本在各自参数规模上超越一众对手。此外，还有一个正在训练的 400B 版本：在语言（MMLU）、知识（GPQA）、编程（Human ...继续阅读 (66)

大家好，今天继续聊聊科技圈发生的那些事。一、LitGPTLitGPT 是一款用于预训练、微调和部署LLM的命令行工具。我们能看到主页有这样一句话：For training the world's largest, most powerful open-sourceLLMs. (用于训练世界上最大、最强的开源 LLM。)一看到这种最大、最强之类的词，我们难免心生疑惑。那么 LitGPT 是怎么做的呢？LitGPT 重新实现了所有模型架构和训练配方：去除所有抽象层，采用单一文件实现。保证符合 Apache 2.0 标准，使企业使用不受任何限制。优化每个模型的每个细节，以获得尽可能快的性能，从而降低成本和训练速度。除此之外，LitGPT 还使用了很多先进的技术。比如用 LoRA 、 Adapter 等进行参数微调，用 Flash Attention 降低显存读写，提高运行速度等，这都是优势所在。另外，对于自行部署 LLM ，LitGPT 提供了 20 多种现成的 LLM 可供使用，其中不乏有许多我们耳熟能详的模型，比如 Llama 2。你可以使用这些模型配合自己的数据进行微调、预训练等。项目的部署也很简单，用 pip 直接安装即可。剩下的内容，比如使用、预训练等操作，作者团队在项目主页也已经给出了完整的教学。项目已经开源，想体验的小伙伴可以自行关注一下。项目地址：https://gith ...继续阅读 (53)

大家好，今天继续聊聊科技圈发生的那些事。一、MagicTimeMagicTime 是一款由北大团队开发的新框架，用于生成可变时间延时视频（ Metamorphic Videos ）。简单一点来说，就是可以基于文本提示，展示物体变化的过程，并生成我们熟知的延时摄影视频。我们先来看一个例子：这张动图上展示了一块冰融化成水的过程。看到这里，可能还是有些许疑惑：这个模型和看过的一大堆模型比，到底特殊在哪？这不就是很正常的 T2V 生成吗？那么，我们将 MagicTime 生成的视频，和一般模型生成的视频进行一个比较：transitioning from a tightly closed bud to a fully bloomed state(从紧闭的花蕾过渡到完全绽放的状态)这下，我们能很清晰的看到，MagicTime 生成的视频“活”起来了。这也是开发团队研究的主要工作，通常来说，生成变化过程的视频对于模型来说是很困难的，因为模型不仅需要根据文本生成正确的信息，还需要跟随时间，展示出变化的过程。对于现有的模型来说，在生成这样的视频时，它们往往无法很好的遵循现实世界的物理规律，比如 Sora 的演示视频中凭空出现的小狗。而 MagicTime 的开发团队通过自主设计的 MagicAdapter 方案，可以解耦空间和时间训练，从而编码更多的物理知识，使图像更符合现实。基于传统的 T2V 模 ...继续阅读 (48)

大家好，今天继续聊聊科技圈发生的那些事。一、雷军的简历最近小米汽车的一轮疯狂刷屏也让老总雷军再火了一把。比如，小米汽车首批交付，雷军亲自开车门，并合影留念，被网友戏称30万购车款花得真值。最近又有人整理了雷军的简历，一起来欣赏下：说回雷军开挂一般的人生，我们就看其中比较震撼的几项：710 分满分的高考，考了 700 分（网传，估计为假，也有说584），不过确实两年修完所有学分，拿完所有奖学金大三，纯靠兼职写代码赚了 100 万编写的程序被搬进教材被湖北省公安厅请去讲解反病毒技术28 岁出任金山软件总经理31 岁创办卓越网，后于 2004 年以 7500 万美元出售38 岁迷茫低谷时，卡里剩下冰冷的 40 亿41 岁创办小米作为歌唱家发布作品《Are U OK》50 岁，小米公司上市一直不能理解 28 岁出任金山软件总经理是什么段位，直到我 28 岁...二、SearXNG相信很多游戏玩家们都在网上看到过一些关于 Steam 平台的小段子。比如，新玩家入坑端游，想体验一下 Steam，一搜，却搜出来一堆坑人的“ Steam 管家”。还没弄清楚状况呢，已经掉进盗版的连环坑了。哈哈，虽然对于我们这种“游戏老鸟”来说，这种事儿已经不太可能发生了（毕竟辨认很简单，下载完打不开的才是真 Steam）。但我们如何避免这种搜索引擎带给我们的广告陷阱呢？SearXNG 是一款免费开源的互联网元搜索引 ...继续阅读 (51)

大家好，今天继续聊聊科技圈发生的那些事。一、Champ三维参数导引下可控一致的人体图像动画生成项目。只需要一张照片，就能让照片里的人物动起来。给出一个动作视频，Champ 可以让不同的人像复刻出相同的动作。我们先来看看真实人物照片的效果：而在虚拟人物和不同风格的照片下，Champ 也有不错的表现：项目主要依靠于人体网格恢复模型，从输入视频中提取参数化三维人体网格模型 SMPL 序列，渲染不同的信息控制视频的生成。项目框架 在项目的框架图中，我们可以看到，Champ 采用了一个多层运动融合模块（MLMF），通过深度、骨骼、蒙版、法线、语义几项信息控制视频的细节生成，使其更加真实灵动。这五项信息，也可以通过 comfy 节点的示例工作流生成。另外，Champ 利用 SMPL 保持了生成视频中人物体型的一致。通过对齐体型参数，Champ 在保持人物的体态和动作方面超过了其他 SOTA 工作。效果比较项目提供了体验 demo，如果需要本地部署，会根据所生成的分辨率占用显存，分辨率越高，显存占用越大，需要一定硬件支持，感兴趣的小伙伴也可以试试分段生成。项目地址：https://github.com/fudan-generative-vision/champ二、MuseV基于视觉条件并行去噪的无限长度和高保真虚拟人视频生成项目。在这个项目里，我们能看到:会动的永恩和金克斯跨越多年眨巴大眼睛的杜 ...继续阅读 (47)

大家好，今天继续聊聊科技圈发生的那些事。一、DBRX全球最强？开源AI大语言模型宝座的头把交椅易主？把 GPT 都整趴下了？是的，你没有看错！Databricks 公布旗下 Mosaic Research 团队开发，号称最强开源 AI 大模型的 DBRX 已开源。我们先来看看项目主页的简介：Helping data teams solve the world's toughest problems using data and AI翻译过来就是，帮助数据团队使用数据和人工智能解决世界上最棘手的问题。真行么？？一个不可否认的事实：在性能方面，DBRX 公布的官方数据是战胜了现在的所有开源模型，包括 GPT-3.5、Llama-2 以及前不久刚开源的 Grok-1。先来看看这些数据：DBRX 用了约 1320 亿的参数，大约是 Grok-1 的1/3。模型一次性激活 360 亿个参数（这几乎是模型参数总数的1/4！），大约是 Llama-2 的一半，也就是说速度是翻倍的。部署运行需要的显存大约是 264G ，大约是 Grok-1 的一半，对硬件需求大大降低了。再看这张图：简单来说就是 DBRX 在语言理解、编程和数学方面的表现都已经超越了已有的开源模型。啥概念？用的参数比你们少，硬件需求比你们低，但是我速度更快，性能还更好！更多的数据比较可以在 Databricks 发布的 Intro ...继续阅读 (52)

大家好，今天继续聊聊科技圈发生的那些事。一、manga-image-translator当你作为一名资深二次元，跑遍了论坛，求遍了群友，终于，找到了一份期待已久的漫画资源。嗯，画面和之前看到的切片差不多，可就是哪不对..生肉？！可没人说看个漫画还得精通语言啊！看不懂，咋办？于是，manga-image-translator来了。正如其名，manga 即日语的漫画， manga-image-translator 是一款开源的图像翻译器，上传图片，它能够识别图像中的文本部分，并将其翻译成你想要的语种。OCR（Optical Character Recognition），光学字符识别技术。基于这项技术， manga-image-translator 可以通过亮-暗检测的模式，精准的提取出图片中的文字，将其转换成可处理的数据。manga-image-translator 接入了很多翻译器，将OCR提取出的文字进行翻译。此外，manga-image-translator 还有去除文本气泡里面内容的功能，方便后续进行编辑美化。当然，在进行文本去除后，manga-image-translator 还会对余下的气泡部分进行修复，保证了视图的美观和完整。去除气泡内文字项目地址：https://github.com/zyddnys/manga-image-translator目前项目已经开源，支持命令 ...继续阅读 (49)

大家好，我是 Jack。今天继续聊聊最近发生的那些事。一、YOLOv9在目标检测领域，YOLO 绝对是大名鼎鼎，自从 2015 年 Joseph Redmon、Ali Farhadi 等人提出初代模型以来，领域内的研究者们已经对 YOLO 进行了多次更新迭代。如今 YOLOv9 都出来了，从 COCO 数据的评测可以看到，YOLOv9 更强，全面碾压已有算法：项目地址：https://github.com/WongKinYiu/yolov9很多人已经玩起来了：这里不得不提一件事，原作者 Joseph Redmon 在 2020 年就宣布退出了CV圈，所以后来的 YOLO 系列都不是出自他之手。原因是自己开源的算法被用到了军事和隐私问题上，出于道德上的考虑，他决定停止一切有关计算机视觉的研究。不过这么多年过去了，目标检测算法大家早已见怪不怪了，现在都是AI换脸、AI 画图、声音克隆，甚至是 AI 视频。这些有更多的侵权、隐私问题，后续的 YOLO 系列算法也有很多人在迭代优化。Joseph Redmon 好像改变了什么，又好像什么也没能改变，他退出 CV 圈确实是一大损失，但也没能阻止这历史进程的滚滚洪流。二、永不倒的四个行业据教育部公布的数据，2024 届高校毕业生人数预计将达到 1187 万人，较 2023 年增加 29 万，再创历史新高。而受全球经济形势的影响，一些行业和领域的 ...继续阅读 (54)

大家好，我是 Jack。今天看到了一个问题，问得很扎心。为什么裁员首先从技术人员开始？我倒觉得未必，虽然技术人员通常具有较高的薪酬水平。在需要减少开支时，公司可能会考虑裁减高薪岗位以降低成本。但更多时候应该是，谁好裁，裁谁好的问题。老板手里拿着一份组织架构图，画个圈圈决定裁员名单的时候，这些人一定是不会被裁的：领导的心腹、嫡系：重要性不必说了，最能抬轿子的人、唯领导马首是瞻的人，肯定不能裁；公司技术大牛：已经形成技术壁垒，技术大牛，一般人代替不了的存在；有背景的关系户：我爸是xxx，你动我试试；部门的核心员工：核心业务，业务上线的核心力量，能战斗能甩锅，深谙职场之道的人；特殊人群：休病假的、孕期哺乳期的，这也不能裁。那就剩一批，每天勤勤恳恳打卡，老老实实上下班，不跟领导套近乎，与世无争想着能拿一份薪资就好，被裁了也大概率不会闹事的老实人？说实话，2023 年，被裁的和没被裁的人，都挺难。留下的人还得接手走了的人的烂摊子。工资一点没涨，工作倒是多了不少。许个愿，2024 年不再有裁员，工作顺顺利利。想要工作顺顺利利，那必须是公司要先好过，然后公司的员工才能好过。最近倒是有一个让国内服务器厂商笑晕的利好，美国将限制中国使用微软 Azure、亚马逊 AWS 训练 AI 大模型。在美国政府的授意下，美国商务部正式公布了《采取额外措施应对重大恶意网络活动的国家紧急状态》提案。而所谓的“重大恶 ...继续阅读 (53)

大家好，今天继续聊聊科技圈发生的那些事。一、FollowYourClick点一下，玩一年，装备不花一分钱。这样一张简单的小鸟图片，只需要鼠标轻轻点一下，我们就可以让它动起来。Tune the head是不是很有意思呢？FollowYourClick，腾讯开发的动态化图像工具。基于短提示，将图片转化为局部运动的图像动画。通过简单的点击，指定要移动的内容，再给出简短的提示指示如何运动，让我们看到了动起来的图片。基于传统的图像到视频 (I2V)模型，作者团队进行了许多改进：使用第一帧掩蔽策略，显著提高视频生成质量。提出运动增强模块。传统的I2V方法需要用户提供大量的帧内容描述。而FollowYourClick配备短运动提示数据集，只需要给出简短的提示即可。提出基于流量的运动幅度控制，更加精确的控制动图的运动速度，使其更加真实。项目地址：https://github.com/mayuelala/followyourclick作者团队在主页上展示了很多有意思的演示视频。不仅有点一下就开怀大笑的皮卡丘，还有油画上发射的火箭等等。效果都还不错。主页的演示demo这个项目目前还没有完全开源。大家可以持续关注一下，期待后续的更新。二、clarity-upscaler一款开源的写实超分辨率重建工具。clarity-upscaler就像拿着一把放大镜对着图片扫，扫过之处图像更为清晰，分辨率更高。修复前（ ...继续阅读 (45)

大家好，我是 Jack。今天继续聊聊最近科技圈发生的那些事。一、AI 还是对擦边女下手了最近有个新的 AI 工具，名叫 DignifAI，可能叫“组织”更适合些。它是干什么的？答：给人穿衣服的。左图是原图，右图是处理后的图片。现在各种 AI 新技术出来的时候，都会有些大胆的想法。AI 图片生成技术也没逃过被用来「瑟瑟」的命运。而 DignifAl 则是反其道而行之，别人脱衣服，他们专门穿衣服。为暴露的照片穿上衣服，裹得严严实实。专治各种擦边：我看了下官方的教程说明，其实就是用 Stable Diffusion 做的图像重绘，并没有新技术，但是却是一个新的 idea：网站地址：https://www.dignifai.net/二、AI 搞钱第一人最近 Sora 大火，我的朋友圈火的，还有这张图：左图大家都认识，OpenAI 的大佬，右图则是李一舟。李一舟堪称卖课个体户“天花板”，曾有过靠卖课月入上千万元的战绩。其实只要课程质量足够好，卖课也无可厚非，但据众多买过课的网友表示，李一舟并不是 AI 方面的专家，卖的课，讲的也都是最基础的常识。李一舟学的专业，也跟 AI 不相关，他毕业于清华美院，是工业设计和设计创新方法专业、设计战略与原型创新专业的博士。李一舟也没错过 Sora 的风口，开始在朋友圈投放了海量的 AI 课程广告。要知道，Sora 还没有正式上线呢，这第一波受害者已经出现了 ...继续阅读 (47)

这几天，OpenAI的视频生成模型Sora实在是太火了。谢赛宁辟谣最近朋友圈有篇疯传的文章，标题为「震惊世界的Sora发明人之一，是毕业于上海交大的天才少年—谢赛宁」。引来本人朋友圈紧急辟谣：最初谢赛宁本人联系文章作者删除，作者以为是别人的恶作剧没有采信，最后传播不实信息的原文章在大家的帮忙举报后才被平台下架。文章作者也意识到了问题，发布了道歉声明：之前谢赛宁发表对 Sora 技术看法时，猜测 Sora 很可能就是建立在 DiT 的基础之上，而谢赛宁本人就是 DiT 作者之一。而能闹出这样的误会，我感觉有可能跟作者用了 AI 写文章有关。我看了下作者往常的文章，经常使用 AI 生成的图片做配图，字里行间也有 AI 的味道。可能是太信任 AI 生成的内容了，没有自己去查证。OpenAI 的官方博客上就可以看到 Sora 模型的 13 位核心作者：其中 Sora 的主要负责人有 3 位：Tim Brooks，DALL-E3 的作者之一，去年 1 月刚从加州大学伯克利分校博士毕业加入 OpenAI。Bill Peebles，他本科就读于 MIT，指导教师是 Antonio Torralba，伯克利毕业加入 OpenAI。Aditya Ramesh，他是 OpenAI 的一名元老了，曾经领导过 DALL·E 2 和 DALL·E 3。ElevenLabs今年开年的王炸是 Sora，借此之势 ...继续阅读 (48)

大家过年好啊~今天的日子很特别，初五迎财神，2月14情人节，属于是中西结合了。那就祝大家都能和“钱辈”交往上，和财神“钱辈”谈一场永不分手的恋爱，一起暴富！ 最近断更一周，我也彻底放松了一周，除了逛吃逛吃，还写了下搁置许久的量化交易代码。今年我跟媳妇和岳父岳母一起过年，媳妇还 P 了张年夜饭的照片。为了避免初一初二吃剩菜的局面，菜量都不大。大年初一，一起去看了《热辣滚烫》，感觉还是挺有意思的，女主自导自演，减肥一百斤，练出了肌肉也确实很励志。不过剧情也确实有些槽点，月薪 2000 元，认识男主之后却报班参加 300 元一节的拳击课，甚至透支 5000 元工资支持男主打比赛。啃老十年，周围所有人的背刺，最终让她“觉醒”想要“赢”一次。电影的英文名：YOLO，我看到的第一反应就是深入“骨髓”的实时目标检测算法 YOLO：you onlylook once，表明算法又快又好，只需要看一次图，就能检测出目标。当年的 YOLO目标检测算法可谓是大杀四方，面试必问 YOLO v1 v2 v3优缺点。不过电影的这个 YOLO 不是这个意思，而是 you only live once，你只活一次，爱自己，珍惜当下，活得精彩，为自己率性而活。这样一想，最终她选择打拳击比赛，能够坚持下来战胜自己，即使输了，也是一种赢，还挺合理的。我还发现了一个有意思的点，YOLO 电影大年初一上映，YOLO-Worl ...继续阅读 (40)

大家好，我是 Jack。今天又是分享开源项目的一天。一、开源项目1、InstantIDStable Diffusion 大家都很熟悉了，想要固定生成一个人的图片，需要训练 LoRA 模型。而训练模型，需要做小样本的微调，有一定的训练成本。而 InstantID 只需要一张图片，无需训练，Zero-shot 生成个人写真。这是一张项目组同学的照片：风格一键迁移：多种风格，切换自如：不需要训练各个风格的 LoRA，InstantID 只需要一张照片，再加上一个 prompt 描述，就能生成各种个人写真。更多例子，直接看这张大图吧：同时还跟 LoRA 的效果进行了对比：同时，也可以用来 AI 换脸，用这张图片当作底板：换上寡姐的照片：就得到了这张图：项目可以在 hugginface 在线体验：https://huggingface.co/spaces/InstantX/InstantID上传一张照片，选择风格，输入 prompt。这效果很有喜感。想要私有化部署也可以，项目的代码和模型都已经开源，项目地址：https://github.com/InstantID/InstantID2、Depth-Anything记得我刚学深度估计算法的时候，深度估计的状态还是各个垂类都有一个算法，有室内的深度估计，有街道场景的深度估计。每个模型还都不能通用，室内场景的模型拿到室外场景用，效果直接不忍直视。 ...继续阅读 (51)

大家好，我是 Jack。今天又是分享开源项目的一天。一、留痕最近想训练一个符合某人说话风格的 AI，微信的聊天记录里就有着丰富的训练数据。聊天记录是珍贵的记忆，也是每一场对话、每一个互动的真情流露。想要拿到这些数据，无论是保存备份还是用于 AI 训练，手动拷贝都不现实。逛 Github 发现了这个不错的项目：留痕。这是一名西北工业大学的学生开源的一个项目，作者这样说道：使用方法非常简单：将手机的聊天记录迁移到电脑，然后使用WeChatMsg解密。安卓：手机微信->我->设置->聊天->聊天记录迁移与备份->迁移-> 迁移到电脑微信；iOS：手机微信->我->设置->通用->聊天记录迁移与备份->迁移-> 迁移到电脑微信。迁移完成后重启微信，迁移前也最好提前备份一下聊天数据。然后 clone 项目并安装依赖：# Python>=3.10 仅支持3.10、3.11、3.12,请勿使用其他Python版本 git clone https://github.com/LC044/WeChatMsg cd WeChatMsg pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple直接运行 main.py 即可解析数据。python main.py解析好的数据，可以做清洗，用于 AI 模型训练，也可以 ...继续阅读 (58)

大家好，我是 Jack。对于 Stable Diffusion，想必我的读者朋友们对此都不陌生。自 Stability AI 公司发布 SD（全称：Stable Diffusion) 以来，受到了很多人的喜爱。随后技术升级，又发布了 SDXL，名字很有喜感，XL、XXL、XXXL...顾名思义，SDXL 就是 SD 的升级版，图片生成的效果更好、更逼真、分辨率更高！图片领域做得不错了，Stability AI 再次发力，昨天又发布了 Stable Video Diffusion。也就是说，通过一句话描述，现在不仅可以生成图片，还可以生成视频了。举几个例子。输入：火箭升天AI 算法直接生成对应的视频：输入：太空中转动的地球。AI 算法直接生成对应的视频：看下更多的例子：是不是效果还不错？Stability AI 把 Stable Video Diffusion 也开源了！Stable Video Diffusion一共开源了两个模型：SVD：能够生成帧率 14、分辨率 576x1024 的视频；SVD-XT：SVD 的 finetune 升级版，分辨率不变，但能够生成帧率 25 的视频；前排提醒： 想要本地跑 Stable Video Diffusion，显存得 20G 左右。1、下载代码库git clone git@github.com:Stability-AI/generativ ...继续阅读 (69)

大家好，我是 Jack。今天继续聊聊AI开源项目，聊聊互联网上发生的那些事。开源项目1、EmotiVoice网易有道最近开源了一个多音色生成的控制器 EmotiVoice。支持中英文双语，包含2000多种不同的音色，以及特色的情感合成功能，支持合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。我们先听下效果：[if lt IE 9]>document.createElement('video'); ...继续阅读 (51)

大家好，我是 Jack。今天继续聊聊这两天互联网上发生的那些事。一、ChatGLM2-6B 发布ChatGLM 官方升级了 ChatGLM-6B，发布 ChatGLM2-6B。在主要评估 LLM 模型中文能力的 C-Eval 榜单中，ChatGLM2 以 71.1 的成绩，超过 GPT-4，位居第一。看看 ChatGLM2 的数学能力：感兴趣的小伙伴，直接看开源代码吧：https://github.com/THUDM/ChatGLM2-6B二、DragGAN 开源DragGAN 之前写文章介绍过，但官方一直未开源，昨天终于开源了。功能就是：Drag Your StyleGAN's Latent Space思想就是，在隐空间（latent space）控制隐藏特征（latent code）来控制图片的属性。使用 DragGAN 能够拖拽生成，效果确实不错，不过也有很大的局限性，只能基于 GAN 模型做 Drag。运行的模型是 StyleGAN2 的，显存大概占用 4 GB。感兴趣的小伙伴，可以跑一跑：https://github.com/XingangPan/DragGAN三、CEO 线下约架上周三，特斯拉 CEO 马斯克在推特上宣战，称自己要和 Meta CEO 扎克伯格进行「笼中格斗」。收到格斗邀约后，扎克伯格也毫不示弱，在 Instagram 中回击：“告诉我地点就行”。这应该 ...继续阅读 (58)

大家好，我是 Jack。2020 年我做过几期 AI 复活明朝历代皇帝、乾隆后妃样貌的视频。如今，三年的时间过去了，人工智能领域的技术发生了翻天覆地的变化。AI 正以惊人的速度发展着，出于好奇，我决定试着用现有的、最先进的 AI 技术，尝试“复活”一位历史伟人鲁迅。一起看看 AI 鲁迅，一位19世纪的人，会对我们21世纪的人，说些什么？视频链接：https://www.bilibili.com/video/BV1uu411s7Tn ...继续阅读 (44)

大家好，我是 Jack。OpenAI又有新动作了，开源发布 Shap-E。今天，我继续手把手教学。算法原理、环境搭建、效果测试，一条龙服务，尽在下文！一、Shap-E 效果Shap-E 算法的功能，简单来讲就是根据一段文字描述，生成对应的 3D 模型，一起看几组效果。输入文字：A chair that looks like an avocado（翻译：一把看起来像鳄梨的椅子。）Shap-E 输出对应的 3D 模型：输入文字：A spaceship（翻译：一艘太空船）Shap-E 输出对应的 3D 模型：输入文字：An airplane that looks like a banana（翻译：一架酷似香蕉的飞机）更多生成效果：目前OpenAI已经开源了 Shap-E 的代码。二、算法原理Shap-E 还是用到了潜空间扩散模型（Latent Diffusion）。熟悉 Stable Diffusion 的小伙伴应该对于这个概念并不陌生，其实就是将一些高维信息，降维表示到一个特定的特征空间，然后再根据这些特征，做生成。Shap-E 整体结构也是类似的 Encoder - Decoder 结构。不过输入和输出变了，比如 Shap-E 的 Encoder 结构是这样的：输入是点云模型，经过降维、交叉注意力层、Transformer等结构，最终获得一个 implicit MLP。至于 Deco ...继续阅读 (59)

大家好，我是 Jack。2023 年，AI的热潮席卷全球。GPT、AIGC、VITS 等技术逐渐被大家所熟知。今天我用 so-vits-svc 和sadtalker等技术，为大家带来了 AI 孙燕姿。让 AI翻唱了两首歌曲，岁月神偷和晴天，6 分钟手把手教学，一步一步带大家跑算法。还有一键启动包！省去了配置环境的烦恼。视频地址：https://www.bilibili.com/video/BV1wv4y1J7pR ...继续阅读 (54)

大家好，我是 Jack。一个月前，我发布过一篇文章，讲解了GPT4 的发布会。ChatGPT的对话能力，想必大家也早已体验过了，无论是文本生成能力，还是写代码的能力，甚至是上下文的关联对话能力，无不一次又一次地震撼着我们。你还记不记得发布会上，GPT4 的多模态能力，就是输入不仅是可以是文字，还可以是文本和图片。比如输入：（看图）手套掉下去会怎样？输出：它会掉到木板上，并且球会被弹飞。甚至画个网站的草图，GPT4 就可以立马生成网站的 HTML 代码。然而，已经过去一个多月了！OpenAI至今也没有提供发布会所展示的多模态处理能力！原本以为还要再等几个月的官方更新，才能体验上这个功能，没想到，我看到了这么一个项目。该项目名为 MiniGPT-4，是阿卜杜拉国王科技大学的几位博士做的。最主要的是，完全开源！效果如视频所示：https://cuijiahua.com/wp-content/uploads/2023/04/minigpt4.mp4可以看到，MiniGPT-4 能够支持文本和图片的输入，实现了多模态的输入功能。GitHub：https://github.com/Vision-CAIR/MiniGPT-4在线体验：https://minigpt-4.github.io作者还提供了网页 Demo，可以直接体验：MiniGPT-4 是在一些开源大模型基础上训练得到的，fine t ...继续阅读 (51)

大家好啊～自从 ChatGPT、Stable Diffusion 发布以来，各种相关开源项目百花齐放，着实让人应接不暇。今天，我将着重挑选几个优质的开源项目，对我们的日常工作、学习生活，都会有很大的帮助。今天整理分享给大家，希望对你有所帮助。一、Visual ChatGPT这个是微软开源的项目，一周多的时间，就斩获了 23.6k+ star。简单概括它，那就是一个多模态的问答系统。支持AI绘画、语言问答、看图问答，将AI届近期的 3 大热点集于一身。效果展示：系统实现框架如下：这是一个“大力出奇迹”的开源项目，集多方研究成果于一身：BLIP、CLIP、ChatGPT、pix2pix、inpainting、vqa 等。说白了，就是教你怎样使用这些项目，搭建一个多模态的问答系统，这个系统架构很有参考价值。项目地址：https://github.com/microsoft/visual-chatgpt二、SadTalker这是一篇 2023 年的 CVPR 论文对应的开源项目。刚刚开源，新鲜热乎～功能就是：根据一张图片、一段音频，合成面部说这段语音的视频。结合 ChatGPT、AIGC、音频文字转换，虚拟二次元 or 三次元形象，就能“活”过来了。此外，还项目还做成了 stable diffusion webui 的插件，也就是直接能在 stable diffusion 里使用。生成的图 ...继续阅读 (55)

大家好，我是 Jack。2023 年，AI 真的杀疯了。短短不到一年的时间，当我们还在感慨 AI 一键生成的二次元画作精美万分的时候，它已经进化到了写实美照也能手到擒来的地步。更多的效果，可以看刚刚发布的视频，求个免费的赞啦～https://www.bilibili.com/video/BV1X24y1n77u/今天分享一下可以学习的资源。1、Stable Diffusion WebUI这个项目是 Stable Diffusion 算法的 Web 版，就是增加了一个 Web 交互界面，方便运行算法。我出过这个项目的部署视频，不了解的可以先看这个视频：https://www.bilibili.com/video/BV1q84y1i78L/视频提到的一键安装包，已经有些老了，可以用最新的：https://pan.baidu.com/s/1raISOqEcYi9M_3E68kcuow?pwd=jack里面已经包含了文章开头的所展示的真人生成模型、Lora模型等。还有汉化插件、ControlNet插件等。2、模型分享网站网友很强大，训练好的模型，还有一些 prompt 参数，都有人分享。模型资源很多，可以看看这里：https://civitai.com/比如第二个 ChilloutMix，就是一个效果非常好的真实图片生成模型。点击这里就能下载了。下载好后的模型，需要放到工程目录的：mode ...继续阅读 (52)

大家好，我是 Jack。ChatGPT 的火爆有目共睹，有人靠着它赚了第一桶金，也有人靠着它即将吃上第一顿牢饭。任何一件东西的火爆，总会给一些聪明人带来机会。艾尔登法环火的时候，一堆淘宝卖魂的；羊了个羊火的时候，一堆淘宝卖通关辅助的。如今 ChatGPT 火了，当然还是少不了这些淘宝、咸鱼卖账号的。不过这些东西，都是看谁手快，晚点就汤都喝不到了。这不，淘宝、咸鱼都已经全部下架 ChatGPT 相关商品。但火爆的这几个月，每个月过万的销量，也委实赚了一大笔。去年 12 月份，我出的那期 ChatGPT 视频教程，包括如何注册，分享出去之后，有心的一些读者小伙伴，就是靠着这个信息差，赚了一笔。现在甚至还出现了，ChatGPT 训练营，教你玩赚 ChatGPT。以上这些，都属于没什么技术含量，都是卖服务卖信息差的。有一定开发能力的人，则是搞起了个人开发，开发聊天小程序：提供自动问答+陪聊套餐。不过还是，各平台都开启了严格的监管，比如之前，我发过的微信接入 ChatGPT 的教程，也被官方统一删除了。有人用火爆的技术赚合法的钱，就会有人为了追求更高的利益赚非法的钱。比如前不久，外国网络安全平台 GBHackers 披露了一起诈骗行为：网络黑客通过 ChatGPT 在短时间内生成了完整的诈骗话术，并把它包装成“虚拟角色”，让受害者误以为“坠入爱河”，最终遭受诈骗。在 AI 的加持下，骗子们正 ...继续阅读 (54)