大家好，今天继续聊聊科技圈发生的那些事。一、ToonCrafterToonCrafter 可以通过预训练的图像到视频扩散先验来插值两个卡通图像。通俗点说，就是给出起始帧，给出结束帧，ToonCrafter会帮你补全中间的部分，生成一段完整的视频图像。另外，它还有个功能，基于给出的草图，给草图中的内容上色。ToonCrafter基于图像条件的扩散模型，通过丰富的运动先验来合成复杂的非线性运动和现象。主要包括三个关键的技术：卡通矫正学习：通过对预训练的生成模型进行微调，使其能够更好地理解动画的上下文，并生成与卡通风格匹配的内容。细节注入与传播解码：引入一个基于双参考的3D解码器，使用混合注意力残差学习机制，将有损的帧潜在变量转换回像素空间，并注入输入图像中的细节信息。基于草图的可控生成：ToonCrafter配备了一个帧独立的草图编码器，使用户能够通过草图输入来引导生成过程。我们来看一个具体的例子：将这两张图作为起始帧和结束帧，让 ToolCrafter 进行补全。成功补全风中凌乱的发型，效果生动逼真，灵动飘逸，毫无违和感。这个工具最优秀的特点是，生成出的gif图体积极小，给出的这些demo示例大多都只有几百KB的大小。同时，还能兼顾生成质量。项目已经开源，也已经有了 HuggingFace 的在线体验，感兴趣的小伙伴，可以体验看看。在线体验地址：https://huggingface ...继续阅读 (55)

大家好，今天继续聊聊科技圈发生的那些事。一、V-ExpressV-Express 是一个在参考图像、音频和 V-Kps 图像序列的控制下生成一个会说话的头像视频的开源项目。V-Express 能够从单张图像生成带有音频的肖像视频，通过平衡不同的控制信号（如音频、姿势和图像）来实现自然的嘴部和面部动作同步。例如，将一张静态照片转换成对话视频。项目框架类似的项目我们也分享过很多了，不过，每个项目都有其出色之处。V-Express 研究的重点在于，对于一般的视频生成来说，控制信号的强度各异，如文本、音频、图像参考、姿势、深度图等。在这些信号中，较弱的条件（如音频信号）往往难以发挥作用，因为它们容易被较强的条件（如姿势和原始图像）干扰。这就直接导致了生成效果不佳。V-Express 通过一系列渐进的丢弃操作来平衡不同控制信号，很好的解决了这个问题。这个项目的部署也是类似的。安装 Python 环境下所需依赖（项目主页中已列出），然后克隆项目到本地，就可以体验开发团队提供的demo了。作者团队还提到，在会说话的人脸生成任务中，当目标视频与参考角色不是同一个人时，选择与参考人脸姿势更相似的目标视频将能获得更好的效果。此外，模型目前在英语上表现较好，其他语言尚未进行详细测试。项目地址：https://github.com/tencent-ailab/V-Express二、automatic这个项 ...继续阅读 (67)

大家好，今天继续聊聊科技圈发生的那些事。一、MiniCPM-V我们能把GPT本地部署到手机上了！不是用 API，而是完全本地化！MiniCPM-V，这是一款端侧可用的GPT-4V 级多模态大模型。MiniCPM 是一个大系列的模型，通常来说，大模型都是部署在服务器上，或是 PC 本地部署的。而 MiniCPM 将大模型部署到了手机上！（当然，苹果手机肯定是用不了的）系列有两个值得关注的模型，一个是 MiniCPM，一个是 MiniCPM-V，二者的区别主要在于，MiniCPM-V 侧重于图像处理。而今天我们分享的内容，主要关于 MiniCPM-V。对于这样一款侧重图像分析的模型，我们只需要提供一张图片作为输入，再提供一些文本指示需要根据图片生成的内容，模型就会在很快的时间内提供输出。比如，你可以让它帮你把图片中的内容转成 Markdown 格式，或是分析图上讲了什么。MiniCPM-V 拥有超级优秀的 OCR 能力。MiniCPM-Llama3-V 2.5 可接受 180 万像素的任意宽高比图像输入，在OCRBench 得分达到 725，超越 GPT-4o、GPT-4V、Gemini Pro、Qwen-VL-Max 等商用闭源模型，遥遥领先！借助最新的 RLAIF-V 对齐技术，MiniCPM-Llama3-V 2.5 具有更加可信的多模态行为，幻觉率已经显著低于 GPT-4V-1 ...继续阅读 (42)

大家好，我是 Jack。“少数”网友都有通过“翻墙”软件链接境外网站的经历，特别是互联网从业者，经常需要下载一些国外网站上的代码 or 学术资料。也有人用来浏览境外网站看视频，看小电影，这种科学上网合法吗？案例1：2023 年，在宁夏银川的李某某多次使用其 Twitter（推特）账号浏览SE情视频，时长竟然恰巧长达两年半，被当地网警抓获后，给予了警告并且处罚款的处罚。案例2：再比如这个杨某某，也被网警叔叔们发现之后，处以了警告和罚款，罚款大概 500 ~ 1000 这样子。很显然，个人使用 VPN 软件“翻墙”属于违法行为。那为什么很多人使用了那么久也没有被抓？看到这个问题，你肯定有些疑惑，这里我就一一科普下。首先明确一个概念：VPN ≠ “翻墙”。VPN 是 Virtual Private Network 的缩写，中文叫虚拟专用网络。功能就是在公用网络上建立专用网络，进行加密通讯，属于远程访问技术。比如一些公司都有自己的内网，如果员工不在公司内部，想要访问公司的内网，就需要使用 VPN 远程登陆。再比如一些大学的校园网，里面有超多的学习资源，还有各种视频种子。在学校外部想要访问这些资料，也需要使用 VPN。而最常见的就是游戏加速器，它搭建了一个我们电脑和境外游戏服务器的桥梁，帮我们加速访问服务器，这种也属于 VPN。以上这些，放心使用，显然不违法。我就是一个臭打游戏的。那什么行为 ...继续阅读 (53)

大家好，我是 Jack。“少数”网友都有通过“翻墙”软件链接境外网站的经历，特别是互联网从业者，经常需要下载一些国外网站上的代码 or 学术资料。也有人用来浏览境外网站看视频，看小电影，这种科学上网合法吗？案例1：2023 年，在宁夏银川的李某某多次使用其 Twitter（推特）账号浏览SE情视频，时长竟然恰巧长达两年半，被当地网警抓获后，给予了警告并且处罚款的处罚。案例2：再比如这个杨某某，也被网警叔叔们发现之后，处以了警告和罚款，罚款大概 500 ~ 1000 这样子。很显然，个人使用 VPN 软件“翻墙”属于违法行为。那为什么很多人使用了那么久也没有被抓？看到这个问题，你肯定有些疑惑，这里我就一一科普下。首先明确一个概念：VPN ≠ “翻墙”。VPN 是 Virtual Private Network 的缩写，中文叫虚拟专用网络。功能就是在公用网络上建立专用网络，进行加密通讯，属于远程访问技术。比如一些公司都有自己的内网，如果员工不在公司内部，想要访问公司的内网，就需要使用 VPN 远程登陆。再比如一些大学的校园网，里面有超多的学习资源，还有各种视频种子。在学校外部想要访问这些资料，也需要使用 VPN。而最常见的就是游戏加速器，它搭建了一个我们电脑和境外游戏服务器的桥梁，帮我们加速访问服务器，这种也属于 VPN。以上这些，放心使用，显然不违法。我就是一个臭打游戏的。那什么行为 ...继续阅读 (41)

大家好，我是 Jack。这两天跟一些朋友聊天，发现有一些朋友已经陆续离开北京了。有的正好赶上公司裁员，也不好找下家，索性拿着攒了几年的钱，去二三线过一个相对体面的生活。不少人也都选择了转行。当然，选择离开，也意味着再想回原行业就业的概率直线下降。现在大家好像已经达成了共识：工作是越来越不好找了。甚至有人玩笑道：感觉回寒了，今年的工作比明年好找多了！注意：是回寒，不是回暖。毕竟各个公司都往外面输送了大量的人才，从今年 3 月份发布的数据也能看出端倪：北邮本硕，字节工作两年被裁，空窗半年，还只有一个华为 od 的机会。类似的案例越来越多，以前工作有空窗期，会直接被 HR 判死刑，现在有个空窗期简直太正常不过了。现在各个公司的业绩压力更是拉满，像我媳妇所在的阿里，她 530、630、730、830，每个月月底都有交付压力，要一直高压输出，差不多一个月完成一个急活。真就是，在职的工作难，离职的找工作更难。说完了有些 EMO 的话题，最后再聊点鸡汤：1、要有梦想尽管人生大部分的生活可能是乏味的，即使在你擅长且喜欢的领域，你也会被各种琐事所裹挟。但有了梦想，我们就能在平凡的生活和工作中，找到前行的方向。2、持续学习在任何领域，持续学习和适应新知识都是非常重要的能力。现在技术发展很快，快速掌握新知识，就能让你比别人更快一步。像 AI 火的这几波，很多人将这些技术赋能到自己擅长的领域，赚钱的速度也 ...继续阅读 (61)

大家好，今天继续聊聊科技圈发生的那些事。一、ConsistentID通过多模态细粒度身份保护生成肖像，为人们定制一致的 ID。说人话，如果给定一些输入 ID 的图像，ConsistentID 能根据文本提示生成多样化的图像，也就是所谓的“换脸”，只不过将“替换”转变为“生成”。我们对于 ID 的概念可能有些模糊，比如在 HTML 中我们可以给盒子打上 id 属性，使用苹果手机的小伙伴也一定有一个 Apple ID，ID 到底应该怎么定义？说白了，ID 就是身份，这里提到的保证 ID 的一致，其实就是确保前后是同一个人。因此，确保 ID 一致的前提下，如何实现高质量的面部细节，成为了定制面部生成的主要挑战。而 ConsistentID 通过多模态细粒度 ID 信息来保持身份一致性，并捕捉不同的面部细节，且ConsistentID 只使用单张面部图像。ConsistentID 包括两个关键模块：多模态面部提示生成器，包括一个细粒度的多模态特征提取器和一个面部 ID 特征提取器，能够利用多条件生成更详细的面部 ID 特征，包括面部图像、面部区域以及从多模态大语言模型中提取的相应文本描述。ID 保存网络，利用从第一个模块获得的面部识别特征，通过面部注意力定位策略，提升一致性。作者团队提供了 Huggingface 的在线体验地址，不过目前好像有些问题，不知道在看到这篇文章的时候是否已经被解 ...继续阅读 (60)

大家好，今天继续聊聊科技圈发生的那些事。一、tiny-gpuGPU，到底是啥？有的人说，GPU 就是显卡嘛。又有的人探出头说，不对，GPU 是显卡上的一块芯片。那么 GPU 有什么用呢？常玩游戏的小伙伴说到，打游戏的时候需要显卡帮忙渲染呗，用来打游戏的！做人工智能的小伙伴说，需要算力来跑数据呗！再狠一点的，用来挖矿，赚点币花！说了这么多，我们有没有真正的想过一个问题：GPU 到底是怎么工作的呢？似乎我们一直都没有研究过。tiny-gpu 这个项目实现了一个最小的 GPU ，用于从基础开始学习 GPU 的工作原理。它的特点是，没有针对特定硬件的细节进行阐述，而是强调所有架构的一般原理。项目主要分成三个大点：架构 - GPU 的架构是怎样的？最重要的元素是什么？并行化 - SIMD 编程模型是如何在硬件中实现的？内存 - GPU 如何在有限的内存带宽限制下工作？于是我们就能看到，项目从 GPU 的结构入手，逐渐往下进行介绍。运用一个一次只能执行一个内核的 GPU，项目手把手实现了 GPU 完整的工作原理。比如，演示 SIMD 编程，使用 GPU 执行的概念验证，以及渲染流水线等等。作者说到，关于 CPU 的工作原理，大家可以很轻松的找到教程，而 GPU 市场竞争激烈，大家都想保护自己的技术，这导致了连底层的原理介绍都微乎其微。这就是这个教学向的项目创建的原因。对 GPU 工作原理感兴趣 ...继续阅读 (60)

大家好，我是 Jack。阿里集团年终奖开奖了。对于阿里员工而言，今天是 4 月份的最后一个工作日，也是辛苦一年的收获日。淘天 3.75 绩效：年终奖能拿 6 个月以上，另外还有 20万-70万 左右的长期激励，2000-5000 普调。阿里云 3.75 绩效：年终奖能拿 6-7 个月左右，另外还有 30万-40万 左右长期现金激励，1500-4000 普调。高德 3.75 绩效：年终奖能拿 5-6 个月左右，另外还有 20万 以上长期现金激励，1500-4000 普调。而绩效 3.5+，普遍都能有个 3-5 个月的年终奖，也能有 1000-3000 的普调，不过长期现金激励能拿的人很少。而绩效 3.5 已经普遍没有普调了，年终奖能有 2-3.5 个月，长期现金激励就更少更少了。这个长期现金激励是阿里今年的新政策，每个季度归属 1/16，比如有 20 万长期现金激励，那么每个季度能拿 1.25 万，4 年能拿完。不仅是阿里，现在互联网整体的趋势就是平均绩效，也就是 3.5 或者 M 绩效，都很少很少有普调。早些年是大锅饭，只要能拿个平均绩效，每个人都能涨薪小几千，现在都是能"卷"者多得。绩效能拿 3.5+ 以上其实挺不容易的，除了自己要够卷以外，所在的部门绩效也要不错才行。而且不少互联网大厂，每个季度都在裁员。从前不少人的想法是做好项目，争取多跳槽，薪资 double 爽歪歪。现在变 ...继续阅读 (60)

大家好，今天继续聊聊科技区发生的那些事。最近有消息称：特斯拉毁约应届生。近不久，在牛客网、小红书、微博等一众平台上，突然出现了很多应届生开始诉苦。而这些应届生们的矛头，纷纷指向了特斯拉。特斯拉单方面撕毁了 offer，24届全体应届生带着一个月的月薪，连公司门都还没进去，就卷铺盖走人了。有网友说到，突然毁约，春招结束了，这是直接毁了应届生啊！也有当事人说到，这事儿太新奇了，真没想到，咱一个应届生还没上班就被裁了，是真正的毕业即失业。目前，网上看到的应届生们的遭遇大多相同：临近毕业，春招接到多家 offer，精心挑选后选择特斯拉。3月底进行签约，签了三方协议，4月底突然接到 HR 的通知，毁约赔偿。很多人愤愤不公，认为这种行为完全是不公平的。毕竟春招临近尾声，应届生满怀欣喜准备去上班了，现在突然说被裁，再重新找工作，可谓是难上加难。再一个，签了三方协议后，很有可能就会丢失应届生的宝贵身份。但退一万步说，只要特斯拉正确按照约定给予赔偿金，它也算是尽职尽责，除了嘴上念叨两句缺德，而跟某些企业比，也算是良心了。我们将时间线回拉到四月中旬，4月18日时，特斯拉曾宣布全球裁员10%。现在看来，就国内的这一波就业环境而言，这个比例可能远不止10%。但是，在裁员这个事情曝光的后两天，4月25日左右，特斯拉市值一夜上涨4000多亿的新闻又登上了热搜。同行迷惑了，前一段时间还在跌，一夜之间，咋起飞的？ ...继续阅读 (131)

大家好，我是 Jack。今天周五，咱就随便聊聊科技圈发生的那些事。一、雷军辟谣昨天，也就是 4 月 18 日，雷总在小米北京交付中心和体验中心开启了直播。直播中为自己澄清了坊间的“爽文”传闻。“我希望大家能帮我辟谣：其实我不是高考状元，没有考700分，在低谷的时候卡里也没有冰冷的四十亿。”这倒是印证了我当时的猜测：那篇文章的评论区也有同年高考的前辈留言：雷军辟谣称：“绝对不是什么爽文人生，成功还是要靠梦想，靠奋斗一步一步来的，努力也靠贵人相助。爽文大家笑一笑就好，这些都不是真的。有人称我为‘爽文第一男主’，我一听浑身不舒服，无论如何请你帮我辟谣一下。”现在有雷军的地方就有热度，雷军简历、雷军编程。该说不说，确实很钦佩。雷军还曾表示自己非常热爱编程，当金山 CEO 纯粹意外。雷总曾在武汉大学的毕业典礼上致辞道：“28岁的时候，我做了金山CEO。真的不是我厉害，纯粹是个意外。当时董事会没有找到合适的人，就决定让我先顶上。就这样，我从程序员走上了管理岗位。”二、Llama 3 开源开源，咱还得看 Meta，这个不服不行。就在今天，Meta官网上新，官宣了 Llama 3 80 亿和 700 亿参数版本。Meta 官方数据显示，Llama 3 8B 和 70B 版本在各自参数规模上超越一众对手。此外，还有一个正在训练的 400B 版本：在语言（MMLU）、知识（GPQA）、编程（Human ...继续阅读 (71)

大家好，今天继续聊聊科技圈发生的那些事。一、LitGPTLitGPT 是一款用于预训练、微调和部署LLM的命令行工具。我们能看到主页有这样一句话：For training the world's largest, most powerful open-sourceLLMs. (用于训练世界上最大、最强的开源 LLM。)一看到这种最大、最强之类的词，我们难免心生疑惑。那么 LitGPT 是怎么做的呢？LitGPT 重新实现了所有模型架构和训练配方：去除所有抽象层，采用单一文件实现。保证符合 Apache 2.0 标准，使企业使用不受任何限制。优化每个模型的每个细节，以获得尽可能快的性能，从而降低成本和训练速度。除此之外，LitGPT 还使用了很多先进的技术。比如用 LoRA 、 Adapter 等进行参数微调，用 Flash Attention 降低显存读写，提高运行速度等，这都是优势所在。另外，对于自行部署 LLM ，LitGPT 提供了 20 多种现成的 LLM 可供使用，其中不乏有许多我们耳熟能详的模型，比如 Llama 2。你可以使用这些模型配合自己的数据进行微调、预训练等。项目的部署也很简单，用 pip 直接安装即可。剩下的内容，比如使用、预训练等操作，作者团队在项目主页也已经给出了完整的教学。项目已经开源，想体验的小伙伴可以自行关注一下。项目地址：https://gith ...继续阅读 (59)

大家好，今天继续聊聊科技圈发生的那些事。一、MagicTimeMagicTime 是一款由北大团队开发的新框架，用于生成可变时间延时视频（ Metamorphic Videos ）。简单一点来说，就是可以基于文本提示，展示物体变化的过程，并生成我们熟知的延时摄影视频。我们先来看一个例子：这张动图上展示了一块冰融化成水的过程。看到这里，可能还是有些许疑惑：这个模型和看过的一大堆模型比，到底特殊在哪？这不就是很正常的 T2V 生成吗？那么，我们将 MagicTime 生成的视频，和一般模型生成的视频进行一个比较：transitioning from a tightly closed bud to a fully bloomed state(从紧闭的花蕾过渡到完全绽放的状态)这下，我们能很清晰的看到，MagicTime 生成的视频“活”起来了。这也是开发团队研究的主要工作，通常来说，生成变化过程的视频对于模型来说是很困难的，因为模型不仅需要根据文本生成正确的信息，还需要跟随时间，展示出变化的过程。对于现有的模型来说，在生成这样的视频时，它们往往无法很好的遵循现实世界的物理规律，比如 Sora 的演示视频中凭空出现的小狗。而 MagicTime 的开发团队通过自主设计的 MagicAdapter 方案，可以解耦空间和时间训练，从而编码更多的物理知识，使图像更符合现实。基于传统的 T2V 模 ...继续阅读 (53)

大家好，今天继续聊聊科技圈发生的那些事。一、雷军的简历最近小米汽车的一轮疯狂刷屏也让老总雷军再火了一把。比如，小米汽车首批交付，雷军亲自开车门，并合影留念，被网友戏称30万购车款花得真值。最近又有人整理了雷军的简历，一起来欣赏下：说回雷军开挂一般的人生，我们就看其中比较震撼的几项：710 分满分的高考，考了 700 分（网传，估计为假，也有说584），不过确实两年修完所有学分，拿完所有奖学金大三，纯靠兼职写代码赚了 100 万编写的程序被搬进教材被湖北省公安厅请去讲解反病毒技术28 岁出任金山软件总经理31 岁创办卓越网，后于 2004 年以 7500 万美元出售38 岁迷茫低谷时，卡里剩下冰冷的 40 亿41 岁创办小米作为歌唱家发布作品《Are U OK》50 岁，小米公司上市一直不能理解 28 岁出任金山软件总经理是什么段位，直到我 28 岁...二、SearXNG相信很多游戏玩家们都在网上看到过一些关于 Steam 平台的小段子。比如，新玩家入坑端游，想体验一下 Steam，一搜，却搜出来一堆坑人的“ Steam 管家”。还没弄清楚状况呢，已经掉进盗版的连环坑了。哈哈，虽然对于我们这种“游戏老鸟”来说，这种事儿已经不太可能发生了（毕竟辨认很简单，下载完打不开的才是真 Steam）。但我们如何避免这种搜索引擎带给我们的广告陷阱呢？SearXNG 是一款免费开源的互联网元搜索引 ...继续阅读 (58)

大家好，今天继续聊聊科技圈发生的那些事。一、Champ三维参数导引下可控一致的人体图像动画生成项目。只需要一张照片，就能让照片里的人物动起来。给出一个动作视频，Champ 可以让不同的人像复刻出相同的动作。我们先来看看真实人物照片的效果：而在虚拟人物和不同风格的照片下，Champ 也有不错的表现：项目主要依靠于人体网格恢复模型，从输入视频中提取参数化三维人体网格模型 SMPL 序列，渲染不同的信息控制视频的生成。项目框架 在项目的框架图中，我们可以看到，Champ 采用了一个多层运动融合模块（MLMF），通过深度、骨骼、蒙版、法线、语义几项信息控制视频的细节生成，使其更加真实灵动。这五项信息，也可以通过 comfy 节点的示例工作流生成。另外，Champ 利用 SMPL 保持了生成视频中人物体型的一致。通过对齐体型参数，Champ 在保持人物的体态和动作方面超过了其他 SOTA 工作。效果比较项目提供了体验 demo，如果需要本地部署，会根据所生成的分辨率占用显存，分辨率越高，显存占用越大，需要一定硬件支持，感兴趣的小伙伴也可以试试分段生成。项目地址：https://github.com/fudan-generative-vision/champ二、MuseV基于视觉条件并行去噪的无限长度和高保真虚拟人视频生成项目。在这个项目里，我们能看到:会动的永恩和金克斯跨越多年眨巴大眼睛的杜 ...继续阅读 (53)

大家好，今天继续聊聊科技圈发生的那些事。一、DBRX全球最强？开源AI大语言模型宝座的头把交椅易主？把 GPT 都整趴下了？是的，你没有看错！Databricks 公布旗下 Mosaic Research 团队开发，号称最强开源 AI 大模型的 DBRX 已开源。我们先来看看项目主页的简介：Helping data teams solve the world's toughest problems using data and AI翻译过来就是，帮助数据团队使用数据和人工智能解决世界上最棘手的问题。真行么？？一个不可否认的事实：在性能方面，DBRX 公布的官方数据是战胜了现在的所有开源模型，包括 GPT-3.5、Llama-2 以及前不久刚开源的 Grok-1。先来看看这些数据：DBRX 用了约 1320 亿的参数，大约是 Grok-1 的1/3。模型一次性激活 360 亿个参数（这几乎是模型参数总数的1/4！），大约是 Llama-2 的一半，也就是说速度是翻倍的。部署运行需要的显存大约是 264G ，大约是 Grok-1 的一半，对硬件需求大大降低了。再看这张图：简单来说就是 DBRX 在语言理解、编程和数学方面的表现都已经超越了已有的开源模型。啥概念？用的参数比你们少，硬件需求比你们低，但是我速度更快，性能还更好！更多的数据比较可以在 Databricks 发布的 Intro ...继续阅读 (57)

大家好，今天继续聊聊科技圈发生的那些事。一、manga-image-translator当你作为一名资深二次元，跑遍了论坛，求遍了群友，终于，找到了一份期待已久的漫画资源。嗯，画面和之前看到的切片差不多，可就是哪不对..生肉？！可没人说看个漫画还得精通语言啊！看不懂，咋办？于是，manga-image-translator来了。正如其名，manga 即日语的漫画， manga-image-translator 是一款开源的图像翻译器，上传图片，它能够识别图像中的文本部分，并将其翻译成你想要的语种。OCR（Optical Character Recognition），光学字符识别技术。基于这项技术， manga-image-translator 可以通过亮-暗检测的模式，精准的提取出图片中的文字，将其转换成可处理的数据。manga-image-translator 接入了很多翻译器，将OCR提取出的文字进行翻译。此外，manga-image-translator 还有去除文本气泡里面内容的功能，方便后续进行编辑美化。当然，在进行文本去除后，manga-image-translator 还会对余下的气泡部分进行修复，保证了视图的美观和完整。去除气泡内文字项目地址：https://github.com/zyddnys/manga-image-translator目前项目已经开源，支持命令 ...继续阅读 (54)

大家好，我是 Jack。今天继续聊聊最近发生的那些事。一、YOLOv9在目标检测领域，YOLO 绝对是大名鼎鼎，自从 2015 年 Joseph Redmon、Ali Farhadi 等人提出初代模型以来，领域内的研究者们已经对 YOLO 进行了多次更新迭代。如今 YOLOv9 都出来了，从 COCO 数据的评测可以看到，YOLOv9 更强，全面碾压已有算法：项目地址：https://github.com/WongKinYiu/yolov9很多人已经玩起来了：这里不得不提一件事，原作者 Joseph Redmon 在 2020 年就宣布退出了CV圈，所以后来的 YOLO 系列都不是出自他之手。原因是自己开源的算法被用到了军事和隐私问题上，出于道德上的考虑，他决定停止一切有关计算机视觉的研究。不过这么多年过去了，目标检测算法大家早已见怪不怪了，现在都是AI换脸、AI 画图、声音克隆，甚至是 AI 视频。这些有更多的侵权、隐私问题，后续的 YOLO 系列算法也有很多人在迭代优化。Joseph Redmon 好像改变了什么，又好像什么也没能改变，他退出 CV 圈确实是一大损失，但也没能阻止这历史进程的滚滚洪流。二、永不倒的四个行业据教育部公布的数据，2024 届高校毕业生人数预计将达到 1187 万人，较 2023 年增加 29 万，再创历史新高。而受全球经济形势的影响，一些行业和领域的 ...继续阅读 (60)

大家好，我是 Jack。今天看到了一个问题，问得很扎心。为什么裁员首先从技术人员开始？我倒觉得未必，虽然技术人员通常具有较高的薪酬水平。在需要减少开支时，公司可能会考虑裁减高薪岗位以降低成本。但更多时候应该是，谁好裁，裁谁好的问题。老板手里拿着一份组织架构图，画个圈圈决定裁员名单的时候，这些人一定是不会被裁的：领导的心腹、嫡系：重要性不必说了，最能抬轿子的人、唯领导马首是瞻的人，肯定不能裁；公司技术大牛：已经形成技术壁垒，技术大牛，一般人代替不了的存在；有背景的关系户：我爸是xxx，你动我试试；部门的核心员工：核心业务，业务上线的核心力量，能战斗能甩锅，深谙职场之道的人；特殊人群：休病假的、孕期哺乳期的，这也不能裁。那就剩一批，每天勤勤恳恳打卡，老老实实上下班，不跟领导套近乎，与世无争想着能拿一份薪资就好，被裁了也大概率不会闹事的老实人？说实话，2023 年，被裁的和没被裁的人，都挺难。留下的人还得接手走了的人的烂摊子。工资一点没涨，工作倒是多了不少。许个愿，2024 年不再有裁员，工作顺顺利利。想要工作顺顺利利，那必须是公司要先好过，然后公司的员工才能好过。最近倒是有一个让国内服务器厂商笑晕的利好，美国将限制中国使用微软 Azure、亚马逊 AWS 训练 AI 大模型。在美国政府的授意下，美国商务部正式公布了《采取额外措施应对重大恶意网络活动的国家紧急状态》提案。而所谓的“重大恶 ...继续阅读 (61)

大家好，今天继续聊聊科技圈发生的那些事。一、FollowYourClick点一下，玩一年，装备不花一分钱。这样一张简单的小鸟图片，只需要鼠标轻轻点一下，我们就可以让它动起来。Tune the head是不是很有意思呢？FollowYourClick，腾讯开发的动态化图像工具。基于短提示，将图片转化为局部运动的图像动画。通过简单的点击，指定要移动的内容，再给出简短的提示指示如何运动，让我们看到了动起来的图片。基于传统的图像到视频 (I2V)模型，作者团队进行了许多改进：使用第一帧掩蔽策略，显著提高视频生成质量。提出运动增强模块。传统的I2V方法需要用户提供大量的帧内容描述。而FollowYourClick配备短运动提示数据集，只需要给出简短的提示即可。提出基于流量的运动幅度控制，更加精确的控制动图的运动速度，使其更加真实。项目地址：https://github.com/mayuelala/followyourclick作者团队在主页上展示了很多有意思的演示视频。不仅有点一下就开怀大笑的皮卡丘，还有油画上发射的火箭等等。效果都还不错。主页的演示demo这个项目目前还没有完全开源。大家可以持续关注一下，期待后续的更新。二、clarity-upscaler一款开源的写实超分辨率重建工具。clarity-upscaler就像拿着一把放大镜对着图片扫，扫过之处图像更为清晰，分辨率更高。修复前（ ...继续阅读 (52)

大家好，我是 Jack。今天继续聊聊最近科技圈发生的那些事。一、AI 还是对擦边女下手了最近有个新的 AI 工具，名叫 DignifAI，可能叫“组织”更适合些。它是干什么的？答：给人穿衣服的。左图是原图，右图是处理后的图片。现在各种 AI 新技术出来的时候，都会有些大胆的想法。AI 图片生成技术也没逃过被用来「瑟瑟」的命运。而 DignifAl 则是反其道而行之，别人脱衣服，他们专门穿衣服。为暴露的照片穿上衣服，裹得严严实实。专治各种擦边：我看了下官方的教程说明，其实就是用 Stable Diffusion 做的图像重绘，并没有新技术，但是却是一个新的 idea：网站地址：https://www.dignifai.net/二、AI 搞钱第一人最近 Sora 大火，我的朋友圈火的，还有这张图：左图大家都认识，OpenAI 的大佬，右图则是李一舟。李一舟堪称卖课个体户“天花板”，曾有过靠卖课月入上千万元的战绩。其实只要课程质量足够好，卖课也无可厚非，但据众多买过课的网友表示，李一舟并不是 AI 方面的专家，卖的课，讲的也都是最基础的常识。李一舟学的专业，也跟 AI 不相关，他毕业于清华美院，是工业设计和设计创新方法专业、设计战略与原型创新专业的博士。李一舟也没错过 Sora 的风口，开始在朋友圈投放了海量的 AI 课程广告。要知道，Sora 还没有正式上线呢，这第一波受害者已经出现了 ...继续阅读 (52)

这几天，OpenAI的视频生成模型Sora实在是太火了。谢赛宁辟谣最近朋友圈有篇疯传的文章，标题为「震惊世界的Sora发明人之一，是毕业于上海交大的天才少年—谢赛宁」。引来本人朋友圈紧急辟谣：最初谢赛宁本人联系文章作者删除，作者以为是别人的恶作剧没有采信，最后传播不实信息的原文章在大家的帮忙举报后才被平台下架。文章作者也意识到了问题，发布了道歉声明：之前谢赛宁发表对 Sora 技术看法时，猜测 Sora 很可能就是建立在 DiT 的基础之上，而谢赛宁本人就是 DiT 作者之一。而能闹出这样的误会，我感觉有可能跟作者用了 AI 写文章有关。我看了下作者往常的文章，经常使用 AI 生成的图片做配图，字里行间也有 AI 的味道。可能是太信任 AI 生成的内容了，没有自己去查证。OpenAI 的官方博客上就可以看到 Sora 模型的 13 位核心作者：其中 Sora 的主要负责人有 3 位：Tim Brooks，DALL-E3 的作者之一，去年 1 月刚从加州大学伯克利分校博士毕业加入 OpenAI。Bill Peebles，他本科就读于 MIT，指导教师是 Antonio Torralba，伯克利毕业加入 OpenAI。Aditya Ramesh，他是 OpenAI 的一名元老了，曾经领导过 DALL·E 2 和 DALL·E 3。ElevenLabs今年开年的王炸是 Sora，借此之势 ...继续阅读 (53)

大家过年好啊~今天的日子很特别，初五迎财神，2月14情人节，属于是中西结合了。那就祝大家都能和“钱辈”交往上，和财神“钱辈”谈一场永不分手的恋爱，一起暴富！ 最近断更一周，我也彻底放松了一周，除了逛吃逛吃，还写了下搁置许久的量化交易代码。今年我跟媳妇和岳父岳母一起过年，媳妇还 P 了张年夜饭的照片。为了避免初一初二吃剩菜的局面，菜量都不大。大年初一，一起去看了《热辣滚烫》，感觉还是挺有意思的，女主自导自演，减肥一百斤，练出了肌肉也确实很励志。不过剧情也确实有些槽点，月薪 2000 元，认识男主之后却报班参加 300 元一节的拳击课，甚至透支 5000 元工资支持男主打比赛。啃老十年，周围所有人的背刺，最终让她“觉醒”想要“赢”一次。电影的英文名：YOLO，我看到的第一反应就是深入“骨髓”的实时目标检测算法 YOLO：you onlylook once，表明算法又快又好，只需要看一次图，就能检测出目标。当年的 YOLO目标检测算法可谓是大杀四方，面试必问 YOLO v1 v2 v3优缺点。不过电影的这个 YOLO 不是这个意思，而是 you only live once，你只活一次，爱自己，珍惜当下，活得精彩，为自己率性而活。这样一想，最终她选择打拳击比赛，能够坚持下来战胜自己，即使输了，也是一种赢，还挺合理的。我还发现了一个有意思的点，YOLO 电影大年初一上映，YOLO-Worl ...继续阅读 (44)

大家好，我是 Jack。今天又是分享开源项目的一天。一、开源项目1、InstantIDStable Diffusion 大家都很熟悉了，想要固定生成一个人的图片，需要训练 LoRA 模型。而训练模型，需要做小样本的微调，有一定的训练成本。而 InstantID 只需要一张图片，无需训练，Zero-shot 生成个人写真。这是一张项目组同学的照片：风格一键迁移：多种风格，切换自如：不需要训练各个风格的 LoRA，InstantID 只需要一张照片，再加上一个 prompt 描述，就能生成各种个人写真。更多例子，直接看这张大图吧：同时还跟 LoRA 的效果进行了对比：同时，也可以用来 AI 换脸，用这张图片当作底板：换上寡姐的照片：就得到了这张图：项目可以在 hugginface 在线体验：https://huggingface.co/spaces/InstantX/InstantID上传一张照片，选择风格，输入 prompt。这效果很有喜感。想要私有化部署也可以，项目的代码和模型都已经开源，项目地址：https://github.com/InstantID/InstantID2、Depth-Anything记得我刚学深度估计算法的时候，深度估计的状态还是各个垂类都有一个算法，有室内的深度估计，有街道场景的深度估计。每个模型还都不能通用，室内场景的模型拿到室外场景用，效果直接不忍直视。 ...继续阅读 (56)

大家好，我是 Jack。今天又是分享开源项目的一天。一、留痕最近想训练一个符合某人说话风格的 AI，微信的聊天记录里就有着丰富的训练数据。聊天记录是珍贵的记忆，也是每一场对话、每一个互动的真情流露。想要拿到这些数据，无论是保存备份还是用于 AI 训练，手动拷贝都不现实。逛 Github 发现了这个不错的项目：留痕。这是一名西北工业大学的学生开源的一个项目，作者这样说道：使用方法非常简单：将手机的聊天记录迁移到电脑，然后使用WeChatMsg解密。安卓：手机微信->我->设置->聊天->聊天记录迁移与备份->迁移-> 迁移到电脑微信；iOS：手机微信->我->设置->通用->聊天记录迁移与备份->迁移-> 迁移到电脑微信。迁移完成后重启微信，迁移前也最好提前备份一下聊天数据。然后 clone 项目并安装依赖：# Python>=3.10 仅支持3.10、3.11、3.12,请勿使用其他Python版本 git clone https://github.com/LC044/WeChatMsg cd WeChatMsg pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple直接运行 main.py 即可解析数据。python main.py解析好的数据，可以做清洗，用于 AI 模型训练，也可以 ...继续阅读 (68)

大家好，我是 Jack。对于 Stable Diffusion，想必我的读者朋友们对此都不陌生。自 Stability AI 公司发布 SD（全称：Stable Diffusion) 以来，受到了很多人的喜爱。随后技术升级，又发布了 SDXL，名字很有喜感，XL、XXL、XXXL...顾名思义，SDXL 就是 SD 的升级版，图片生成的效果更好、更逼真、分辨率更高！图片领域做得不错了，Stability AI 再次发力，昨天又发布了 Stable Video Diffusion。也就是说，通过一句话描述，现在不仅可以生成图片，还可以生成视频了。举几个例子。输入：火箭升天AI 算法直接生成对应的视频：输入：太空中转动的地球。AI 算法直接生成对应的视频：看下更多的例子：是不是效果还不错？Stability AI 把 Stable Video Diffusion 也开源了！Stable Video Diffusion一共开源了两个模型：SVD：能够生成帧率 14、分辨率 576x1024 的视频；SVD-XT：SVD 的 finetune 升级版，分辨率不变，但能够生成帧率 25 的视频；前排提醒： 想要本地跑 Stable Video Diffusion，显存得 20G 左右。1、下载代码库git clone git@github.com:Stability-AI/generativ ...继续阅读 (74)

大家好，我是 Jack。今天继续聊聊AI开源项目，聊聊互联网上发生的那些事。开源项目1、EmotiVoice网易有道最近开源了一个多音色生成的控制器 EmotiVoice。支持中英文双语，包含2000多种不同的音色，以及特色的情感合成功能，支持合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。我们先听下效果：[if lt IE 9]>document.createElement('video'); ...继续阅读 (55)

大家好，我是 Jack。今天继续聊聊这两天互联网上发生的那些事。一、ChatGLM2-6B 发布ChatGLM 官方升级了 ChatGLM-6B，发布 ChatGLM2-6B。在主要评估 LLM 模型中文能力的 C-Eval 榜单中，ChatGLM2 以 71.1 的成绩，超过 GPT-4，位居第一。看看 ChatGLM2 的数学能力：感兴趣的小伙伴，直接看开源代码吧：https://github.com/THUDM/ChatGLM2-6B二、DragGAN 开源DragGAN 之前写文章介绍过，但官方一直未开源，昨天终于开源了。功能就是：Drag Your StyleGAN's Latent Space思想就是，在隐空间（latent space）控制隐藏特征（latent code）来控制图片的属性。使用 DragGAN 能够拖拽生成，效果确实不错，不过也有很大的局限性，只能基于 GAN 模型做 Drag。运行的模型是 StyleGAN2 的，显存大概占用 4 GB。感兴趣的小伙伴，可以跑一跑：https://github.com/XingangPan/DragGAN三、CEO 线下约架上周三，特斯拉 CEO 马斯克在推特上宣战，称自己要和 Meta CEO 扎克伯格进行「笼中格斗」。收到格斗邀约后，扎克伯格也毫不示弱，在 Instagram 中回击：“告诉我地点就行”。这应该 ...继续阅读 (62)

大家好，我是 Jack。2020 年我做过几期 AI 复活明朝历代皇帝、乾隆后妃样貌的视频。如今，三年的时间过去了，人工智能领域的技术发生了翻天覆地的变化。AI 正以惊人的速度发展着，出于好奇，我决定试着用现有的、最先进的 AI 技术，尝试“复活”一位历史伟人鲁迅。一起看看 AI 鲁迅，一位19世纪的人，会对我们21世纪的人，说些什么？视频链接：https://www.bilibili.com/video/BV1uu411s7Tn ...继续阅读 (48)

大家好，我是 Jack。OpenAI又有新动作了，开源发布 Shap-E。今天，我继续手把手教学。算法原理、环境搭建、效果测试，一条龙服务，尽在下文！一、Shap-E 效果Shap-E 算法的功能，简单来讲就是根据一段文字描述，生成对应的 3D 模型，一起看几组效果。输入文字：A chair that looks like an avocado（翻译：一把看起来像鳄梨的椅子。）Shap-E 输出对应的 3D 模型：输入文字：A spaceship（翻译：一艘太空船）Shap-E 输出对应的 3D 模型：输入文字：An airplane that looks like a banana（翻译：一架酷似香蕉的飞机）更多生成效果：目前OpenAI已经开源了 Shap-E 的代码。二、算法原理Shap-E 还是用到了潜空间扩散模型（Latent Diffusion）。熟悉 Stable Diffusion 的小伙伴应该对于这个概念并不陌生，其实就是将一些高维信息，降维表示到一个特定的特征空间，然后再根据这些特征，做生成。Shap-E 整体结构也是类似的 Encoder - Decoder 结构。不过输入和输出变了，比如 Shap-E 的 Encoder 结构是这样的：输入是点云模型，经过降维、交叉注意力层、Transformer等结构，最终获得一个 implicit MLP。至于 Deco ...继续阅读 (64)