...继续阅读 (18)

...继续阅读 (17)

在AI+产品的开发中，数据漂移（Data Drift）因其隐蔽性和普遍性，成为一个绕不开的话题。这篇文章就来聊聊关于数据漂移的特点、影响和应对措施。先来看一个案例：产品经理小明，被公司要求上线一个AI客服问答的功能。这是他第一次接触AI类的产品开发，小明根据以往产品开发的经验，设计功能、与开发团队对接、验收通过之后，成功为公司上线了能回答客户常见问题的AI客服。但是上线没多久，出乎小明意料的情况发生了：越来越多的用户开始抱怨这个AI客服的回答不准确，甚至有时完全答非所问。小明非常惊讶：明明模型和产品设计都没有发生变化，为什么上线前非常“聪明”、对答如流的大语言模型，上了线之后就变得“迟钝”了呢？这涉及到我们今天要讨论的主题：数据漂移（Data Drift）。一、数据漂移：AI产品“独一份”什么是数据漂移（Data Drift）？从机器学习开始，数据漂移的现象就为研究者发现。它指的是在AI模型训练时，（随着时间的变化）训练时的数据和实际应用场景中的新数据之间产生了显著变化，而且这种变化会导致模型性能下降，表现为输出的准确性下降、相关性下降或预测效果的减弱。数据漂移通常会表现为两种形式：特征漂移和目标漂移。特征漂移（Feature Drift）指的是模型输入数据的统计特性发生变化。比如，某个字段的数值分布变了，或者输入数据的结构发生了变化。比如零售行业中某AI推荐系统在假期期间表现下降 ...继续阅读 (19)

...继续阅读 (18)

...继续阅读 (18)

更进一步，本文将从零构建一个浅层的前馈神经网络，实现手写数字0和1的识别。示例手写数字如下图所示。整体实现包括数据预处理、参数初始化、forward/backword propagation、训练与预测。问题描述使用 Python ，但不使用任何深度学习框架，编写一个浅层的神经网络实现，识别 MNIST 数据集中的手写数字 0 和 1。前置知识熟悉Python 、NumPy的使用了解神经网络的表示与forward propagation了解 backward propagation了解 MNIST 数据集数据说明这里的手写数字使用了数据集 MNIST，该数据集有着机器学习界的“果蝇”之称。里面包含了大量经过预处理的手写数字，这里选择其中标记为0或1的图片进行训练。并使用对应的测试集，验证训练的神经网络的效果。这里取一张 MNIST 中的图片，以及对应的像素数据，以帮助直观理解其中的数据。MNIST 中的图片数据可以理解为一个如下的 28*28 的数组，其所代表的图片也如下图所示：更为具体的，数组中的每一个数值代表了图片中的某个像素的灰度值，0代表黑色，255代表白色，这之间的值则代表介于之间的灰色。MNIST 原始数据可以在：“THE MNIST DATABASE of handwritten digits”页面获取。也可以直接使用 Python 中模块keras.datasets ...继续阅读 (22)

...继续阅读 (19)

...继续阅读 (17)

...继续阅读 (18)

...继续阅读 (21)

...继续阅读 (18)

...继续阅读 (20)

...继续阅读 (23)

...继续阅读 (18)

...继续阅读 (19)

...继续阅读 (20)

...继续阅读 (21)

...继续阅读 (19)

...继续阅读 (19)

...继续阅读 (21)

...继续阅读 (18)

泄露论坛监测发现，名为Engineer（工程师）的黑客11月5日发帖称，以300美元出售Rapid7的Project Sonar项目中合作伙伴的访问账户。该项目通过全球互联网扫描，收集数据揭示常见漏洞的暴露情况，并将这些数据通过Open Data项目提供给研究人员和合作伙伴，以增强网络安全。这些数据支持合法研究、政府和非营利组织的安全倡导，以及具有防御性成果的商业安全项目。尽 ...继续阅读 (30)

...继续阅读 (19)

...继续阅读 (18)

...继续阅读 (20)

...继续阅读 (20)

...继续阅读 (21)

...继续阅读 (14)

...继续阅读 (20)

...继续阅读 (19)