...继续阅读 (12)

本期介绍零样本场景下的提示词方法。其中RaR和RE2这两种技巧显著提升了模型的回答质量。零样本场景主要考验模型对用户问题的理解能力。**在简单的一问一答环境中，即使不使用提示词，各模型的表现并无明显差异。**然而，当问题涉及多个角色或涉及数学等复杂领域时，提示词的作用变得尤为重要。本节中的这些方法主要致力于提高模型在复杂问题和环境下的解决方案质量，它们通常也会和思维链（Chain of Thought,CoT）结合使用。一、零样本提示（Zero-Shot）与小样本（Few-Shot）提示词不同，零样本指的是不给模型示例，这需要模型具备一定的“推理能力”从而得到答案。这也是最常见的一种应用场景，直接对模型进行提问，让它回答你的问题。1. 角色提示词（Role Prompting）角色提示词也被称为Persona Prompting。通过为大模型设置角色，让其扮演xxx的身份回答问题。通常应用于开放性比较强的任务，包括一些数学、推理任务。常见示例：你是一个产品经理，正在写一个PRD文档…在GPT刚出来的时候，有一种Hack提示词就是，让GPT扮演奶奶，让她念windows的激活序列号。这就让它成功吐出了很多序列号。角色提示对回答问题的性能上并不会有明显影响，但可能会在回答的文本风格这些因素上发生改变。如果想hack大模型，通常是个必不可少的手段。研究人员做了一个实验。对于相 ...继续阅读 (14)

谷歌旗下“深层思维”公司近日宣布，该公司研发团队开发出一款乒乓球机器人，可在比赛中达到人类业余乒乓球选手的水平。研发团队在预印本网站arXiv上发文介绍，这是首个在乒乓球比赛中达到人类业余选手水平的学习型机器人智能体，其主体为一个六轴机械臂，可通过底部滑轨前后左右移动。在与人类进行的29场比赛中，机器人赢得13场，胜率为45%。研究人员说，机器人输掉了所有与高级选手的比赛，但赢得了所有与初级选手的比赛以及55%与中级选手的比赛。（央视新闻） ...继续阅读 (38)

贾佳亚团队全新评测基准MR-Ben发布，拒绝大模型“高分低能”随着人工智能领域经历GPT时刻，学术界和产业界共同发力，每月甚至每周都有新的模型问世，大模型产品之多可以说是让人眼花缭乱。为了筛选出真正业界领先的大模型产品，业内衍生出了错综复杂的各类大模型评测方式，大家都希望为大模型做出客观公正的评测，看看究竟哪家产品能力更强。但为了在行业中“脱颖而出”，业内也不断出现类似“刷榜”的做法，通过专项针对评测题库进行“预训练”从而获取高评分，导致部分大模型出现“高分低能”的现象，在实际场景当中表现不佳。为此，贾佳亚团队联合MIT、清华、剑桥等多家知名高校，与国内头部标注公司合作，标注了一个针对复杂问题推理过程的评测数据集MR-Ben，基于GSM8K、MMLU、LogiQA、MHPP等大模型预训练必测数据集的题目，进行“阅卷式”的范式改造，生成更难、更有区分度的新数据集，从而真实地反映模型推理能力。从“刷题考生”变“阅卷老师”，阅卷式考察反映大模型真实水平目前主流大模型评测是使用人类的标准化考试——选择题和填空题的方式去进行大模型评测。使用这套测试方式的好处有很多, 标准明确、指标直观，且量化结果天然具有话题性。但作者认为这种逐步作答的思维链方式生成最终答案，并不“靠谱”。结合大模型的训练方式来看，预训练模型在预训练时早已见过数以万亿级别的词元，很难说被评测的模型是否早已见过相应的数据，从而 ...继续阅读 (44)

【引子】春节期间，读了论文《An LLM Compiler for Parallel Function Calling》(https://arxiv.org/abs/2312.04511), 颇受启发，或许可以通过LLM Compiler 实现已有知识图谱系统的大模型赋能， 实现面向知识图谱的大模型应用。知识图谱的应用由来已久，如果企业已经投资了知识图谱系统，而且效果还不错，需要用LLM重新实现一... ...继续阅读 (78)

由韩国科研团队率先公开、宣称能室温超导、被认为已经“凉凉”的LK-99材料有新发现？12月20日，华南理工大学物理与光电学院教授姚尧表示，“我们看到了（铜掺杂磷酸铅、LK-99样品）非常明确存在超导相的证据。”相关论文已于上周六（2023年12月16日）上传到预印本网站arXiv上，目前已对外公开。但也有专家表示，目前尚未证明相关材料能够超导，��述论文的研究人员需公开更多证据。（澎湃） ...继续阅读 (28)

文｜尚恩编辑｜邓咏仪想象一下，假如现在你要去海外旅行，从“请假、订酒店、买机票、到做旅行规划”这一整个流程都不需要你费心。现在有了AI Agent，动动嘴皮子，它马上就列出一个待办事件清单，而你唯一要做的事情就是等待出发。过程中，Agent还会根据进展不断调整和增加新的待办来满足你的需求，直到旅行结束。在GitHub上的明星Agent项目AutoGPT已经让Agent火了一把，目前已被网友应用在各种场景中，包括将其与别的软件集成进行竞对背调、甚至是点披萨，又或通过语音指令，让AutoGPT在电脑上部署应用程序。最近，复旦大学的NLP实验室和米哈游专门搞了篇讲LLM-based Agents的论文，从AI Agent历史出发，全面梳理了基于大型语言模型的智能代理现状，包括背景、构成、应用场景、以及备受关注的代理社会等。图源：arxiv论文一经发布，英伟达科学家Jim Fan就忍不住在网上分享，并直接表示：要是把斯坦福小镇”的技术可以扩展到像“原神”或其他大规模多人在线角色扮演游戏（MMORPG）的玩家群体，那就绝了，到时候无论是人类玩家还是人工智能代理，都可能展现出一些特别的新行为和互动方式。图源：Twitter还有部分网友直接喊话说：“没读的快去，真的很推荐”。图源：Twitter一个Agent的诞生在摸清一个Agent是如何诞生前，先来了解下Agent（代理或智能体）的历史。Ag ...继续阅读 (32)

一个来自英国大学的研究团队训练出了一个深度学习模型，它可以从使用麦克风记录的键盘击键中窃取数据，准确率高达 95%。当使用 Zoom 训练声音分类算法时，预测准确率下降到了 93%，这仍然是一个危险的高水平，创下了该媒介的最高纪录。这种攻击会严重影响目标的数据安全，因为它可能将人们的密码、讨论、信息或其他敏感信息泄露给恶意第三方。此外，与其他需要特殊条件并受数据传输速率和距离限制的侧信道攻击不同，由于大量麦克风设备可以实现高质量音频捕获，声学攻击变得简单得多。这一点再加上机器学习的快速发展，使得基于声音的侧信道攻击变得可行，而且比以前预想的要危险得多。监听按键攻击的第一步是记录目标键盘上的按键操作，因为这些数据是训练预测算法所必需的。这可以通过附近的麦克风或目标手机来实现，因为目标手机可能已经感染了可以访问其麦克风的恶意软件。另外，还可以通过 Zoom 通话记录键盘输入，在 Zoom 通话中，一名不法会议参与者会将目标输入的信息与他们的录音进行关联。研究人员通过按压现代 MacBook Pro 上的 36 个按键，每个按键按压 25 次并记录每次按压产生的声音来收集训练数据。按键音频采样（arxiv.org）然后，他们从录音中制作出波形图和频谱图，直观显示每个按键的可识别差异，并执行特定的数据处理步骤，以增强可用于识别按键的信号。生成的频谱图（arxiv.org）频谱图图像用于训练 ...继续阅读 (15)

上周，一个韩国科学家团队宣布，他们发现了全球首个室温超导材料——“改性铅磷灰石晶体结构（LK-99）”。7月31日凌晨，该团队在预印本arXiv上发表的《超导体Pb10−xCux(PO4) 60o在室温常压下表现出悬浮现象及其机理》文章作者之一、美国威廉玛丽学院物理系研究教授Hyun-Tak Kim表示，其团队制造的LK-99室温超导材料或许可以在一个月之内被复制，其成员也会对任何制作LK-99遇到困难的人进行指导。（每经网） ...继续阅读 (18)

在去年10月发布在预印服务器arXiv上并于今年5月11日发表在《自然》杂志上的一篇论文中，谷歌“量子人工智能”团队宣布，他们首次使用超导量子处理器观察到了非阿贝尔任意子的特殊行为。实验由谷歌“量子人工智能”团队在一个5×5量子比特超导量子处理器上进行，实验包含在一个跨越许多量子比特的量子纠错代码中创造缺陷。研究人员使用非阿贝尔编织法来创建纠缠态，为未来在量子计算或量子纠错中的应用提供了前景。（科技日报） ...继续阅读 (9)

据BleepingComputer 4月24日消息，近日在 Arxiv.org 上发表的一篇技术论文揭示了一种针对多代英特尔CPU的攻击手法——利用新的侧信道攻击，让数据通过 EFLAGS 寄存器泄露。 ...继续阅读 (19)

费斌杰 熵简科技CEO 作者 | 费斌杰 熵简科技CEO 自从去年12月ChatGPT问世以来，AI的发展正式进入快车道，整个行业开始“按日迭代”。从1957年以来，人类在经历了数轮AI浪潮后，这次通用人工智能（AGI）是真的要来了。我们团队在2月发表了对ChatGPT技术原理的深度剖析，得到了业内专家朋友们的广泛认可。但随着研究的深入，越来越多的问题浮出水面： ChatGPT强大的一个重要原因是大语言模型的涌现能力（Emergent Abilities），那么涌现能力究竟为何产生呢？GPT-5会有哪些意想不到的性能表现？AGI会走向何方，对社会经济活动又会产生怎样的影响？在这篇文章中，我们针对以上问题进行深入探讨，并且给出尽可能详实的分析过程。本文浓缩了我们团队的研究成果，共分为以下四个部分： 大语言模型的本质：性能强大的无损压缩器视觉信息是知识的富矿：从文本走向多模态大数据时代的数据荒：运用合成数据破局AGI对人类社会经济活动影响：展望与思考写在前面：熵简科技是一家专注于帮助资管机构实现投研数字化的科技公司，主要客户包括中金、中信、广发、建投、国信、招商、华夏、嘉实、银华、博时、汇添富、兴全、易方达等证券与基金公司。我是熵简科技的创始人费斌杰，但在写下这篇文章的时候，我更多是纯粹作为一个在新技术浪潮下，既兴奋又紧张的见证者和参与者，尽可能客观地评述分析这项新技术对我们行业会带来 ...继续阅读 (12)

至今，我们已经经历了多次数字革命，包括图形界面的出现、互联网的诞生以及移动互联网的普及，但没有一次科技变革像 GPT 模型引发的 AI 浪潮那样引起如此广泛的恐慌情绪。一方面 AI 改变了人们工作和生活的方式，大大提高了效率；另一方面 AI 的运行和发展又充满不确定性，触发了人类对于未知事物的天然保护机制——恐惧。今天，网络上一封公开的联名信爆火，该信呼吁所有的 AI 实验立即暂停研究比 GPT-4 更先进的 AI 模型，暂停时间至少 6 个月，为的就是把这些可怕的幻想扼杀在摇篮之中。AI 的进步速度实在过于惊人，但相关的监管、审计手段却迟迟没有跟上，这也意味着没有人能够保证 AI 工具以及使用 AI 工具的过程中的安全性。该联名信已经获得了包括 2018 年图灵奖得主 Yoshua Bengio、马斯克、史蒂夫 · 沃兹尼亚克、Skype 联合创始人、Pinterest 联合创始人、Stability AI CEO 等多位知名人士的签名支持，截稿前联名人数已经达到 1125 人。公开信的原文如下：人工智能具有与人类竞争的智能，这可能给社会和人类带来深刻的风险，这已经通过大量研究 [1] 得到证实，并得到了顶级 AI 实验室的认可 [2]。正如广泛认可的阿西洛马尔人工智能原则（Asilomar AI Principles）所指出的，先进的 AI 可能代表地球生命历史上的重大变革，因 ...继续阅读 (11)

内容来源：ChatGPT 及大模型专题研讨会 分享嘉宾：达观数据董事长兼CEO 陈运文博士分享主题：《探索大语言模型垂直化训练技术和应用》 转载自CSDN稿件本文整理自 3月11日 《ChatGPT 及大规模专题研讨会》上，达观数据董事长兼CEO 陈运文博士关于《探索大语言模型垂直化训练技术和应用》的分享，将介绍达观数据在大语言模型应用中的探索与思考。此次分享的主要内容分为 6 块，分别是：参数规模和数据规模的探索垂直领域适应预训练微调技术探索提示工程和垂直优化模型训练加速思路模型功能的垂直效能增强在探索大语言模型应用过程中，将团队的思考列为了四点：整体来看，尽管模型的参数规模越大越好，但可探索性价比更高的参数规模方案训练数据尽管越多越好，但针对垂直场景可探索更高效和有针对性的数据提炼方法为强化垂直方向的效果，可在模型预训练和微调技术上探索一些好的思路为更贴合垂直场景的产品应用，探索模型的功能增强、以及 prompt 等方向的产品创新 陈运文，达观数据董事长兼CEO，复旦大学博士，计算机技术专家，国际计算机学会（ACM）和电子电器工程师学会（IEEE）会员参数规模和数据规模的探索一、缩放法则 （Scaling Laws）众所周知，大模型的算力非常惊人。在 2020 年，从 OpenAI 在语言模型方面的研究可以看到，语言模型的效果与参数量、数据量、计算量基本呈平滑的幂定律——缩放法 ...继续阅读 (50)

上传你的论文到arXiv，看似麻烦，实则简单。步骤新建文件夹，将mwe.tex和mwe.bib放进去。文件mwe.bib：@Book{Goossens, author ={Goossens, Michel and Mittelbach, Frank and Samarin, Alexander}, title ={The LaTeX Companion}, edition ={1}, publisher ={Addison-Wesley}, location ={Reading, Mass.}, year ={1994},}@Book{adams, title ={The Restaurant at the End of the Universe}, author ={Douglas Adams}, series ={The Hitchhiker's Guide to the Galaxy}, publisher ={Pan Macmillan}, year ={1980},}文件mwe.tex：\documentclass[10pt,a4paper]{article}\usepackage{hyperref}% for better urls\b ...继续阅读 (5)

Neural and Evolutionary ComputingFast-Slow Recurrent Neural NetworksAsier Mujika,Florian Meier,Angelika StegerSubjects:Neural and Evolutionary Computing (cs.NE)Processing sequential data of variable length is a major challenge in a widerange of applications, such as speech recognition, language modeling,generative image modeling and machine translation. Here, we address thischallenge by proposing a novel recurrent neural network (RNN) architecture, theFast-Slow RNN (FS-RNN). The FS-RNN incorporates the strengths of bothmultiscale RNNs and deep transition RNNs as it processes sequential data on ...继续阅读 (29)

Neural and Evolutionary ComputingUnbiasing Truncated Backpropagation Through TimeCorentin Tallec,Yann OllivierSubjects:Neural and Evolutionary Computing (cs.NE); Learning (cs.LG)Truncated Backpropagation Through Time (truncated BPTT) is a widespreadmethod for learning recurrent computational graphs. Truncated BPTT keeps thecomputational benefits of Backpropagation Through Time (BPTT) while relievingthe need for a complete backtrack through the whole data sequence at everystep. However, truncation favors short-term dependencies: the gradient estimateof truncated BPTT is biased, so that it does ...继续阅读 (32)

Neural and Evolutionary ComputingBlock building programming for symbolic regressionChen Chen,Changtong Luo,Zonglin JiangSubjects:Neural and Evolutionary Computing (cs.NE)Symbolic regression that aims to detect underlying data-driven model, hasbecome increasingly important for industrial data analysis when theexperimental model structure is unknown or wrong, or the concerned system haschanged. For most of the existing algorithms for symbolic regression, such asgenetic programming, the convergence speed might be too slow for large scaleproblems with a large number of variables. This situation ma ...继续阅读 (34)

Neural and Evolutionary ComputingParameter Adaptation and Criticality in Particle Swarm OptimizationCarlos Garcia CorderoComments: 70 pages, MSc. Thesis in Artificial Intelligence, University of EdinburghSubjects:Neural and Evolutionary Computing (cs.NE)Generality is one of the main advantages of heuristic algorithms, as such,multiple parameters are exposed to the user with the objective of allowing themto shape the algorithms to their specific needs. Parameter selection,therefore, becomes an intrinsic problem of every heuristic algorithm. Selectinggood parameter values relies not only on know ...继续阅读 (37)

Neural and Evolutionary ComputingLimited-Memory Matrix Adaptation for Large Scale Black-box OptimizationIlya Loshchilov,Tobias Glasmachers,Hans-Georg BeyerSubjects:Neural and Evolutionary Computing (cs.NE); Learning (cs.LG); Optimization and Control (math.OC)The Covariance Matrix Adaptation Evolution Strategy (CMA-ES) is a popularmethod to deal with nonconvex and/or stochastic optimization problems when thegradient information is not available. Being based on the CMA-ES, the recentlyproposed Matrix Adaptation Evolution Strategy (MA-ES) provides a rathersurprising result that the covariance mat ...继续阅读 (33)

Neural and Evolutionary ComputingTransfer Learning for Named-Entity Recognition with Neural NetworksJi Young Lee,Franck Dernoncourt,Peter SzolovitsComments: The first two authors contributed equally to this workSubjects:Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Neural and Evolutionary Computing (cs.NE); Machine Learning (stat.ML)Recent approaches based on artificial neural networks (ANNs) have shownpromising results for named-entity recognition (NER). In order to achieve highperformances, ANNs need to be trained on a large labeled dataset. However,labels might be diffi ...继续阅读 (24)

...继续阅读 (19)

Neural and Evolutionary ComputingEnsemble of heterogeneous flexible neural trees using multiobjective genetic programmingVarun Kumar Ojha,Ajith Abraham,Václav SnášelJournal-ref: Applied Soft Computing, 2017, Volume 52 Pages 909 to 924Subjects:Neural and Evolutionary Computing (cs.NE)Machine learning algorithms are inherently multiobjective in nature, whereapproximation error minimization and model’s complexity simplification are twoconflicting objectives. We proposed a multiobjective genetic programming (MOGP)for creating a heterogeneous flexible neural tree (HFNT), tree ...继续阅读 (21)

Neural and Evolutionary ComputingDiscovery Radiomics via Evolutionary Deep Radiomic Sequencer Discovery for Pathologically-Proven Lung Cancer DetectionMohammad Javad Shafiee,Audrey G. Chung,Farzad Khalvati,Masoom A. Haider,Alexander WongComments: 8 pagesSubjects:Neural and Evolutionary Computing (cs.NE); Computer Vision and Pattern Recognition (cs.CV); Learning (cs.LG)While lung cancer is the second most diagnosed form of cancer in men andwomen, a sufficiently early diagnosis can be pivotal in patient survival rates.Imaging-based, or radiomics-driven, detection methods have been developed toa ...继续阅读 (59)

Neural and Evolutionary ComputingMaking up for the deficit in a marathon runIztok Fister Jr.,Dušan Fister,Suash Deb,Uroš Mlakar,Janez Brest,Iztok FisterComments: ISMSI 2017Subjects:Neural and Evolutionary Computing (cs.NE)To predict the final result of an athlete in a marathon run thoroughly is theeternal desire of each trainer. Usually, the achieved result is weaker than thepredicted one due to the objective (e.g., environmental conditions) as well assubjective factors (e.g., athlete’s malaise). Therefore, making up for thedeficit between predicted and achieved results is th ...继续阅读 (26)

Neural and Evolutionary ComputingDeveloping All-Skyrmion Spiking Neural NetworkZhezhi He,Deliang FanSubjects:Neural and Evolutionary Computing (cs.NE)In this work, we have proposed a revolutionary neuromorphic computingmethodology to implement All-Skyrmion Spiking Neural Network (AS-SNN). Suchproposed methodology is based on our finding that skyrmion is a topologicalstable spin texture and its spatiotemporal motion along the magnetic nano-trackintuitively interprets the pulse signal transmission between two interconnectedneurons. In such design, spike train in SNN could be encoded as particle- ...继续阅读 (28)

Neural and Evolutionary ComputingDiscrete Modeling of Multi-Transmitter Neural Networks with Neuron CompetitionNikolay Bazenkov,Dmitry Vorontsov,Varvara Dyakonova,Liudmila Zhilyakova,Oleg Kuznetsov,Dmitri SakharovComments: 13 pages, 4 figuresSubjects:Neural and Evolutionary Computing (cs.NE); Neurons and Cognition (q-bio.NC)We propose a novel discrete model of central pattern generators (CPG),neuronal ensembles generating rhythmic activity. The model emphasizes the roleof nonsynaptic interactions and the diversity of electrical properties innervous systems. Neurons in the model release differ ...继续阅读 (38)

Neural and Evolutionary ComputingA New Type of Neurons for Machine LearningFenglei Fan,Wenxiang Cong,Ge WangComments: 5 pages, 8 figures, 11 referencesSubjects:Neural and Evolutionary Computing (cs.NE); Learning (cs.LG)In machine learning, the use of an artificial neural network is themainstream approach. Such a network consists of layers of neurons. Theseneurons are of the same type characterized by the two features: (1) an innerproduct of an input vector and a matching weighting vector of trainableparameters and (2) a nonlinear excitation function. Here we investigate thepossibility of repla ...继续阅读 (35)

Neural and Evolutionary ComputingA Recurrent Neural Model with Attention for the Recognition of Chinese Implicit Discourse RelationsSamuel Rönnqvist,Niko Schenk,Christian ChiarcosComments: To appear at ACL2017, code available atthis https URLSubjects:Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Learning (cs.LG); Neural and Evolutionary Computing (cs.NE)We introduce an attention-based Bi-LSTM for Chinese implicit discourserelations and demonstrate that modeling argument pairs as a joint sequence canoutperform word order-agnostic approaches. Our model benefits from a ...继续阅读 (27)

Neural and Evolutionary ComputingTapping the sensorimotor trajectoryOswald Berthold,Verena HafnerComments: Paper submitted to the ICDL-Epirob 2017 conference. Currently under reviewSubjects:Neural and Evolutionary Computing (cs.NE)We propose sensorimotor tappings, a new graphical technique that explicitlyrepresents relations between the time steps of an agent’s sensorimotor loop anda single training step of an adaptive model that the agent is using internally.In the simplest case this is a relation linking two time steps. In realisticcases these relations can extend over several time ste ...继续阅读 (31)