R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-text-tf-idf/ 前言 在互联网的今天，我们每天都会生产和消费大量的文本信息，如报告、文档、新闻、聊天、图书、小说、语音转化的文字等。海量的文本信息，不仅提供扩宽的研究对象和研究领域，也为商业使用带来了巨大的机会。 TF-IDF是一种通过计算词频，进行文本信息检索的一种方式，常用对文本数据进行向量化特征的描述。 目录 什么是TF-IDF介绍 tidytext包计算TF-IDF quanteda包计算TF-IDF 1. 什么是TF-ID ...继续阅读 (1)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-annoy/ 前言 从学习大模型到 RAG 技术，又回到了最基础的知识，如文本数据向量化，向量匹配，向量数据库等技术，因此需要继续研究基础知识。 本文就是对向量匹配算法的学习，通过近似最近邻搜索算法，可以对向量化的文字进行相似度匹配，从而进行RAG过程的高效检索。 目录 Annoy近似最近邻搜索算法介绍 Annoy的算法过程 用R语言实现Annoy算法 1. Annoy近似最近邻搜索算法介绍 Annoy全称 Approximate Neare ...继续阅读 (2)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-ms-direct-20250518/ 前言 Deepseek惊横空出世，打破了AI大场的算力垄断，拉平了个体与大厂的距离，让我们所有人都战在了同一起跑线。Deepseek强大的推理能力，确实让人震撼。如何把Deepseek用好在专业领域，实现AI落地，是最近大家都在尝试的和突破的。 我所熟悉的数据分析，正是战火最激烈的前线，让 Deepseek 在数据分析领域落地 目录 分享主题：大模型在数据分析领域落地的思考 会议体验和照片分享 1. 分享主题：Deepseek在数据分析领域落地的思考 Deepseek的出现，也让很多的数据分析从业人员感到担忧，什么时候自己会被模型所替代。去年在大模型影响下，很多人都觉得数据分析师会被大模型很快的替代。今年来看，虽然大模型技术更新速度很快，但是对于专业领域数据分析和数据科学的场 ...继续阅读 (16)

架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/deepseek-openManus-agent/ 前言 上周 Manus 发布的人工智能产品再度引爆了国内科技圈，融合了AI 智能体的结合混合调度系统，一下子又把 AI 可以快速替代人工，推向了一个新高度。随着后面几天，大家对于Manus的解读，又出现的反转剧情，把 Manus 再度拆解为套壳应用。随之有很多的团队，快速模仿 manus 的思路。 我们也是在第一时间，跟进了模仿者思路，通过openMan ...继续阅读 (19)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/2025-global-ai-bootcamp-deepseek/ 前言 Deepseek惊横空出世，打破了AI大场的算力垄断，拉平了个体与大厂的距离，让我们所有人都战在了同一起跑线。Deepseek强大的推理能力，确实让人震撼。如何把Deepseek用好在专业领域，实现AI落地，是最近大家都在尝试的和突破的。 我所熟悉的数据分析，正是战火最激烈的前线，让 Deepseek 在数据分析领域落地 目录 分享主题：Deepseek在数据分析领域落地的思考 会议体验和照片分享 1. 分享主题：Deepseek在数据分析领域落地的思考 Deepseek的出现，也让很多的数据分析从业人员感到担忧，什么时候自己会被模型所替代。去年在大模型影响下，很多人都觉得数据分析师会被大模型很快的替代。今年来看，虽然大模型技术更新速度很快，但是对于专业领域 ...继续阅读 (18)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-ms-jujizhan-20250305/ 前言 Deepseek的横空出世似乎打破整体数据分析的瓶颈，无数的人都谈起了Deepseek。无论之前是做什么的人，现在都说可以做数据分析了，所有人觉得自己一下子都行了。 数据分析领域是Deepseek的能力的一个主战场，作为数据分析的老人，我也觉得自己和大厂的距离近了一些，但是能做什么，能做成什么，还是要自己心理有数据不能连自己的骗了。 目录 分享主题：如何让数据分析落地 会议体验和照片分享 1. 分享主题：如何让数据分析落地 Deepseek的出现，也让很多的数据分析从业人员感到担忧，什么时候自己会被模型所替代。去年在大模型影响下，很多人都觉得数据分析师会被大模型很快的替代。今年来看，虽然大模型技术更新速度很快，但是对于专业领域数据分析和数据科学的场景，大模型依然有较 ...继续阅读 (8)

架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/deepseek-anythingLLM-knowledge/ 前言 DeepSeek的火热程度一直升温，各行各业都尝试利用Deepseek解决自己行业的问题。由于每个行业的特点不同，业务逻辑，知识结构等差异非常大，因此通用的推理逻辑并不是真正地解决行业的具体的问题，我们就需要打造本行业专属的知识库，用行业专属的知识解决行业的问题。 本文我们就尝试搭建自己的知识库。 目录 AnythingLLM安装基础环 ...继续阅读 (13)

架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/deepseek-start/ 前言 2025年的春节，是个不一样的春节。Deepseek一声惊雷，让整个春节被全球媒体刷屏了。 不仅是国家层面的竞争格局发生了变化，同时，也让我们普通人拉平了与大模型大厂的差距，新的AI时代开始了。 目录 Deepseek是什么 安装Ollama 安装Deepseek 安装webui界面 1. Deepseek是什么 Deepseek是什么？我们本地部署好后，让Deeps ...继续阅读 (16)

架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/data-analysis-goal/ 前言 数据分析核心要解决业务问题，通过数据发现规律，驱动业务创新发展。那么如何确定一个核心的分析目标就变得尤为重要，如果目标找的不对，那么就会一直原地打转。花费了无数时间，也不过是徒劳。 目录 如何设定分析目标 目标分解 人是最核心的 1. 如何设定分析目标 设定数据分析目标，是为了能让数据能更好的落地。那么在设计目标前，需要先理解数据落地是什么，请参考文章怎么理解 ...继续阅读 (11)

架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/data-analysis-understand/ 前言 数据分析核心要解决业务问题，通过数据发现规律，驱动业务创新发展。数据分析要落地，就是找到数据的价值。如果找不到价值，那么就会一直原地打转。花费了无数时间，也不过是徒劳。 什么是数据落地 什么数据落地？一句话来概括，“通过数据解决实际的业务问题，带来明显收益”。 比如，做金融量化投资，通过分析金融数据市场的数据，设计算法策略，购买股票、期货等金融产品 ...继续阅读 (14)

架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/data-analysis-factor-top9/ 前言 现在我们正处于大数据时代，处处都产生数据，大部分数据已经不在稀缺，分析方法和算法模型都也写在了教课书中，如何挖掘出数据的价值，让数据分析落地，把数据价值转换为业务价值，是数据分析师核心要考虑的。数据分析要解决实际业务场景问题，伪需求、不清晰的目标，都会造成项目失败。 本文总结了影响数据分析落地的9大影响因素。 目录 影响数据分析的因素 无处不在的 ...继续阅读 (11)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-ai-tianjin-20241221 前言 我是第一到天津参加分享，感觉天津的小伙伴的热情高涨，报名出席率要比北京的会高很多，可能是在天津讲人工智能大型会议的相对较少。在寒冷的冬天，有500+的人，来参加大会实在不易。 我继续在打磨我的数据分析方法论，给大家开拓思路，进行思想的碰撞。 目录 分享主题：数据分析落地的最佳实践 会议体验和照片分享 1. 分享主题：数据分析落地的最佳实践 Chatgpt的出现，也让很多的数据分析从业人员感到担忧，什么时候自己会被模型所替代。去年在大模型影响下，很多人都觉得数据分析师会被大模型很快的替代。今年来看，虽然大模型技术更新速度很快，但是对于专业领域数据分析和数据科学的场景，大模型依然有较大难度。 数据分析师，积累了大量的行业经验，这些经验并不是简单靠大模型就能理解，还是需要人工 ...继续阅读 (21)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-r-xagi-20240720 前言 R语言大会一晃已经第十七届了，我好像是从第七届开始参加的，已经10年了。R语言我也使用了10年了，伴随着也让我从程序员变化了数据分析师。每年都要来R语言大会，来分享我的使用经验。 今年又是一个热闹的大会，不仅包括了R语言的内容，又整合了X智能大会，和数据科学国际论坛。 目录 分享主题：数据分析落地的最佳实践 会议体验和照片分享 1. 分享主题：数据分析落地的最佳实践 Chatgpt的出现，也让很多的数据分析从业人员感到担忧，什么时候自己会被模型所替代。去年在大模型影响下，很多人都觉得数据分析师会被大模型很快的替代。今年来看，虽然大模型技术更新速度很快，但是对于专业领域数据分析和数据科学的场景，大模型依然有较大难度。 数据分析师，积累了大量的行业经验，这些经验并不是简单靠大模型就 ...继续阅读 (42)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-post-ai-day-20240615 前言 微软的2024 AI DAY大会刚结束第二天，继续 POST AI DAY 继续知识分享。虽然 AIGC 已经火遍了大半个世界，但是在中国做 AI 要做落地，直接用到大模型还是有一定困难。大模型，还是不是仅仅停留在概念上，大多数人都是看热闹，那么解决现有数据问题，就需要有实际的落地的方法。 本次分享就以我的实际经验，介绍数据分析落地的最佳实践。 目录 分享主题：数据分析落地的最佳实践 会议体验和照片分享 1. 分享主题：数据分析落地的最佳实践 现在我们正处于大数据时代，处处都产生数据，大部分数据已经不在稀缺，分析方法和算法模型都也写在了教课书中。如何挖掘出数据的价值，让数据分析落地，把数据价值转换为业务价值，是数据分析师核心要考虑的。 Chatgpt的出现，也让很多的 ...继续阅读 (56)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-hbut-20240321 前言 本次分享的初衷，一方面是为了给马上就毕业的同学，说说企业中如何做数据分析；另一方面，我作为企业负责人一直招不到合适的人才，也是非常难受。如果能把实际工作中遇到的问题，提前让向面临毕业学生知道，提前做好知识储备。那么，找工作也就没那么难了，同时招人也会顺畅起来，是一种双赢的局面。 本次分享其实是，企业和学生双向奔赴的一个实践活动，但由于多种原因，没能亲自到现场，略有遗憾。 目录 分享主题：企业中数据分析怎么做 会议体验和照片分享 1. 分享主题：企业中数据分析怎么做 现在我们正处于大数据时代，处处都产生数据，大部分数据已经不在稀缺，分析方法和算法模型都也写在了教课书中。 如何挖掘出数据的价值，让数据分析落地，把数据价值转换为业务价值，是数据分析师核心要考虑的。 数据分析要解决实际业务 ...继续阅读 (75)

架构师的信仰系列文章，主要介绍我对系统架构的理解，从我的视角描述各种软件应用系统的架构设计思想和实现思路。 从程序员开始，到架构师一路走来，经历过太多的系统和应用。做过手机游戏，写过编程工具；做过大型Web应用系统，写过公司内部CRM；做过SOA的系统集成，写过基于Hadoop的大数据工具；做过外包，做过电商，做过团购，做过支付，做过SNS，也做过移动SNS。以前只用Java，然后学了PHP，现在用R和Javascript。最后跳出IT圈，进入金融圈，研发量化交易软件。 架构设计就是定义一套完整的程序规范，坚持架构师的信仰，做自己想做的东西。 关于作者： 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/ai-sora 前言 2024年初，AIGC领域迎来跨时代技术大爆发，OpenAl发布Sora引领了新一轮的科技革命。我受邀请参加2024 Global AI Bootcamp，参加圆桌讨论：畅谈Sora新纪元下的行业变革与商业价值。会议页面：2024 Global AI Bootcamp: 畅谈Sora新纪元下的行业变革与商业价值。 我本身就处于数据分析行业，一直有关注于大模型的进展，特别是怕Sora ...继续阅读 (61)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-global-ai-bootcamp-beijing-20240309 前言 2024年初，AIGC领域迎来跨时代技术大爆发，OpenAl发布Sora引领了新一轮的科技革命。Global Al Bootcamp作为Prompt Engineering Conf系列活动的重要组成部分，致力于推动AI技术的创新与应用。作为促进人工智能行业发展的全球性盛会，该活动将于3月9日在北京盛大举行。届时，活动将汇聚全球AI开发者，共同学习、深入交流，共谋AI未来。 我参加了本次会议的圆桌讨论：畅谈Sora新纪元下的行业变革与商业价值 目录 圆桌主题：畅谈Sora新纪元下的行业变革与商业价值 会议体验和照片分享 1. 圆桌主题：畅谈Sora新纪元下的行业变革与商业价值 我的主要观点，专业领域模型和生成式大模型底层逻辑不同，在数据分 ...继续阅读 (55)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-dot-product-similarity/ 前言 在文字处理时，我们经常需要判断两段文字是否相似，计算文本相似度有很多度种方法，文本将介绍最简单，也是计算最高效的一种方法点积相似度，与余弦相似度很像，与欧式距离相似度也很像。 目录 点积相似度介绍 R语言实现点积计算 点积相似度应用 1. 点积相似度介绍 点积在数学中，又称数量积（dot product 或者 scalar product），是指接受在实数R上的两个向量并计算它们对应元素的 ...继续阅读 (62)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-cosine-similarity/ 前言 在文字处理时，我们经常需要判断两段文字是否相似，如果这两段文字的用词越相似，它们的内容就应该越相似。这个场景下，我们就可以考虑先把文字转换成词频向量，然后用余弦相似度来判断是否相似。 目录 余弦相似度介绍 R语言实现余弦相似度 计算2个文本的相似度 1. 余弦相似度介绍 余弦相似度，通过测量两个向量的夹角的余弦值来度量它们之间的相似性。例如，将两篇文章向量化，余弦距离可以避免因为文章的长度不同而导致 ...继续阅读 (68)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-bit-operation/ 前言 本来是要研究字符串的匹配的问题，然后看着看着就到了文本距离的计算，然后就又到了位运算。要不然也不会想到，用R语言搞二进制的位运算研究。每种算法一旦刨根问底，都是会到计算机的底层计算逻辑。 赶上了问题，就认真面对问题，把二进制和位运算一些看看。关于进制转换的文章，请参考用R语言进制转换-二进制八进制十六进制 目录 什么是位运算 位运算的计算过程 R语言中的位运算 1. 什么是位运算 计算机中的所有数值，都是在 ...继续阅读 (67)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-ascii/ 前言 ASCII是计算机中最重要的字符集，我们键盘就是ASCII的子集，由26个字母、数字、符号、控制键组成，用127个基础代码就能展示出绚烂多彩的计算机世界，基础中的基础，核心中的核心。 目录 ASCII介绍 ASCII码转换 ASCII码比大小 1. ASCII介绍 ASCII（American Standard Code for Information Interchange，美国信息互换标准代码）是一套基于拉丁字母的字符 ...继续阅读 (64)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-binary-octal-hexadecimal/ 前言 在用计算机进行数据计算时，避免不少会涉及到进制的转换操作，从十进制转换到二进制，从十进制转换到十六进制等，转换的过程，其实就是数学计算的过程。本文我们就利用R语言进行进制转换的实现。 目录 二进制八进制十六进制 转换十进制 十进制转换非十进制 1. 二进制八进制十六进制 数制，是一种计数的方法，是用一组固定的符号和统一的规则来表示数值的方法。在计数过程中采用进位的方法称为进位计数制（进 ...继续阅读 (71)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-hamming-distance/ 前言 在文字处理时，经常会用到编码方式，把文字和数字进行编码转换，从而计算文本的相似性。比如英文，差一个字母，字母的顺序写反了。要实现对文字的模糊匹配，就可以用到汉明距离的思路，计算将一个字符串变换成另外一个字符串所需要替换的字符个数。 目录 汉明距离介绍 算法原理 R语言代码实现 1. 汉明距离介绍 Hamming Distance Hamming Distance汉明距离，是以理查德·卫斯里·汉明的名字 ...继续阅读 (72)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-levenshtein-distance/ 前言 文字模糊匹配，是在文字处理时，要常用到的一种功能。比如英文，差一个字母，字母的顺序写反了。要实现对文字的模糊匹配，就可以用到莱文斯坦距离的思路，将一个字符串变为另一个字符串需要进行编辑操作最少的次数。 输入法的拼写检查，纠正用户输入的拼写错误，就是使用到了莱文斯坦距离。 目录 莱文斯坦距离介绍 算法原理 R语言代码实现 adist()函数调用 1. 莱文斯坦距离介绍 Levenshtein D ...继续阅读 (68)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-book-statistics-and-data-visualization/ 前言 R语言从小众语言，一度成为了是一门活跃度较高的语言。在数据分析领域，已经稳稳的站住了脚。有越来越多的R语言优秀的图书出版发行，让使用者能感受到R语言的强大。我也很荣幸收到了电子工业出版社博文视点的慧敏老师的邀请，为本书作序。虽然各种原因，没有实际加到书中。 推荐语 大数据时代的到来，让各行各业都积累了大量的数据。有了数据，如何利用，如何发现价值，是当前面临的 ...继续阅读 (61)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-kmp/ 前言 文字匹配是字符符处理操作时，最常用到的一种方法。比如我们想从一段长文本中，找到是否有我想要的词，可以用于在图书中用关键词进行搜索，这样就可以定位到具体的位置。当文本长度巨大，且匹配字符串长度过长时，这种匹配就会有效率问题，很变的很慢。 那么我们可以用KMP的算法思路，在提升文字精确匹配的效率。本文代码：https://github.com/bsspirit/r-string-match 目录 字符串匹配：暴力破解法 KMP算法 ...继续阅读 (92)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-pinyin/ 前言 在做中文文字处理的时候，我们经常需要把中文转换成拼音，正巧看到R语言中有一个汉字转换成拼音包叫pinyin，试了一下，用起来非常轻巧。 目录 pinyin包介绍 一分钟快速使用 pinyin代码结构 查看汉字与拼音的字典文件 自定义字典文件 1. pinyin包介绍 这个 R 语言包粗暴地用拼音取名为 pinyin，作用是把汉字转换成拼音。从 v1.1.3 开始，增加了将汉字转换成四角号码或五笔字型的功能。从 v1.1. ...继续阅读 (98)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-r-dev-20230617 前言 2023年的金融市场，一言难进。 量化投资大家都不陌生了，就是程序来做股票基金等的投资策略。 在R语言中开发者社区中，不仅有大量统计学和机器学习的算法支撑，还内置了多种用于指标计算和量化投资的策略算法，同时我们可以结合个人的行业知识，把自己熟悉的其他领域的算法模型借鉴过来，与基金投资组合的业务目标结合起来，形成新的策略思路，创造属于自己的交易机会。 借助R语言的能力，我们自己可以轻松地构建各种投资组合的策略。从零起步，开始构建自己的投资组合。在瞬息万变金融市场，你要不要来自己试一下呢？ 本次分享不构成任何投资建议，仅从技术角度交流！ 目录 我分享的主题：用AI选基金，构建自己的投资组合 会议体验和照片分享 1. 我分享的主题：用AI选基金，构建自己的投资组合 AI技术继续引领科技 ...继续阅读 (63)

R的极客理想系列文章，涵盖了R的思想，使用，工具，创新等的一系列要点，以我个人的学习和体验去诠释R的强大。 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数学，概率，统计知识，同时还要有创新精神，把R语言发挥到各个领域。让我们一起动起来吧，开始R的极客理想。 关于作者： 张丹，分析师/程序员/Quant: R,Java,Nodejs blog: http://blog.fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/r-word-quanteda/ 前言 在互联网的今天，我们每天都会生产和消费大量的文本信息，如报告、文档、新闻、聊天、图书、小说、语音转化的文字等。海量的文本信息，不仅提供扩宽的研究对象和研究领域，也为商业使用带来了巨大的机会。 量化文本分析（Quantitative Analysis of Textual Data），一种新的方式，用结构化数据的方式来管理文本。quanteda包，提出以语料库的形式管理文本，语料库被定义为文本的集合，其中包括 ...继续阅读 (71)

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。 关于作者 张丹，数据分析师/程序员/Quant: R,Java,Nodejs blog: http://fens.me email: bsspirit@gmail.com 转载请注明出处： http://blog.fens.me/meeting-ms-direct-20230311 前言 连续2周开线下会，很累也很兴奋。线下的感觉又回来了，比起线上的会，有了很多的互动和交流。上周AI Bootcamp大会上，由于时间太紧，只是把准备分享内容，给大家过了一遍，并没有深入到代码上演示。本周小厂、人少、时间充裕，可以好好讲讲R语言的代码实现。R语言在人工智能技术使用上的优势和可落地的技术实现。 目录 我分享的主题：用R语言一步一步学懂机器学习 会议体验和照片分享 1. 我分享的主题：用R语言一步一步学懂机器学习 AI技术继续引领科技创新，R语言机器学习作为可落地的技术，将帮我们利用数据向着智能化的方向前进。比如，用于信用贷款的风险评价领域的评分卡模型，基于逻辑回归和xgboost实现；用于金融资产配置的资本资产定价模型，基于线性回归实现；用于垃圾邮件分类，基于B ...继续阅读 (73)