译者注笔者在MacBook M2上搭建Linux虚拟机上开发eBPF程序时，遇到一些LSM eBPF类型程序无法运行的问题。 在笔者尝试定位这些差异时，看到这篇文章，可以让大家更直观地了解LSM eBPF在ARM64、AMD64 内核上的差异。原文地址：Exploring BPF LSM support on aarch64 with ftrace原文本博客文章是我们在Linux中对于aarch64上BPF LSM支持的内部研究的摘要。如果你对内核代码库不熟悉，要开始查看内核源码是非常困难的，因此我们决定发布这篇文章，展示我们的方法，因为这对于想要探索内核内部的任何人都可能有所帮助。简介在x86_64上，我们已经在使用BPF LSM，而在aarch64上，我们依赖于Kprobes，因此我们想知道内核中缺少了哪些功能，才能让这些功能在aarch64上可用。我们曾多次深入研究内核源代码，但通常我们搜索的是已经存在的东西，以了解其工作原理。但在这种情况下，我们在寻找的是不存在的东西，我们追寻的是那些因为未实现而返回错误的内容。回想起Steven Rostedt关于如何开始学习Linux内核的讲话，我们从ftrace（以及构建在跟踪基础设施上的工具）开始，以了解当我们将一个不受支持的BPF程序加载到内核时会发生什么。问题这是当我们尝试将一个BPF LSM程序加载到aarch645.15 L ...继续阅读 (54)

背景RASP是Runtime Application Self-Protection（运行时应用自我保护）的缩写，是一种应用程序安全技术。RASP 技术能够在应用程序运行时检测并阻止应用级别的攻击。随着云计算和大数据的发展，应用程序安全越来越受到重视。RASP 技术作为一种新型的安全防护手段，正在逐渐被业界接受并广泛应用。其中Java RASP 是一种针对 Java 应用程序的 RASP 技术。通过在 Java 虚拟机（JVM）级别进行监控和防护，能够有效防止对 Java 应用程序的攻击。RASP建设挑战在业界，RASP的部署形式一般有agentmain、premain两种方式，二者各有优劣。适合不同的业务场景，以及安全需求。agentmain：业务无需改动，无需重启，热插拔，动态升级。有性能抖动，业务有感知。premain：需要改动，需要重启，前置注入，升级需要重启。无性能抖动，业务无感知。美团的RASP建设时，大部分业务都已经在线上运营，而且有多个发布平台，没有提供一个统一的方式来更改启动参数，也就是说无法通过premain方式是实现快速部署。为了抓住主要矛盾，快速解决大部分风险问题，我们选择了agentmain方式。业务场景复杂技术方案的设计，依赖于业务形态。美团内部的业务服务中，Java语言占比80%以上，是主要的风险所在。2010年至今，有特别复杂的业务部署形态、业务依赖 ...继续阅读 (60)

去年的这个时候，你在干什么，你还记得吗？半年前呢？上个月呢？恍惚之间，一年又过去了。那时的记忆还清晰吗？笔者挑选了2023年自己手机拍摄的一些照片，分享给大家。设备与软件摄影设备：iPhone 12 Pro Max调色软件：iPhone自带照片软件记录瞬间一月 江苏苏州 上方山春节期间，跟家人游玩。时间太久，心情记不清了。二月 光大安石中心节后，跟许同学到公司另外一个办公点拜访专家，交流RASP建设事宜。等待老友高同学时抓拍。三月 慕田裕长城去北京出差，周末跟老友F哥、韩同学到郊区游玩。也是我出差北京五年来，首次离开望京。七月 四川省阿坝州暑假，带老婆孩子去旅游。对四川有种莫名的情怀，人生为数不多的几次旅游，都是成都。期间去了九寨沟、黄龙景区，从此之后，对自然风光景点有了更深刻的认识。从此，再也没有能入法眼的风景。九寨沟长海九寨沟镜海黄龙五彩池八月 上海中心大厦暑假，同村玩伴多年不见，从苏州来上海游玩，我做导游，带他们登上了东方明珠电视塔。这也是我来上海十多年的首次登塔。八月 公园野鸭公园草坪上的躺椅下看到几只乘凉的鸭子，每天接触的人多了，胆子比较大，对人类也比较温顺，可以近距离交流，一身洁白的羽毛特别漂亮。九月 乌兰察布还是出差，项目建设达成一个阶段，与团队小伙伴去团建。选择了内蒙古乌兰察布市的火山地质公园，十几个人，开了三辆车，周五晚上从北京触发，到张家口休息一晚，第二天直接开 ...继续阅读 (54)

这篇文章介绍了一种可以用于监控用户空间程序的 eBPF 程序。它首先向您介绍了 eBPF 和 uprobes，然后探讨了我们在 uprobes 中发现的缺陷，所有演示示例都适用于 Linux 和 x86_64 架构。原文地址：Defeating eBPF Uprobe Monitoring简介监控系统发生的事情非常重要。eBPF 可以通过将特定程序钩入各种系统范围的事件来帮助您在 Linux 服务器上执行此操作。您可以通过将内核或用户空间函数钩入来收集大量信息。例如，您可以读取两个进程之间加密通信的内容，或者查找使用特定库函数的进程。理解 eBPF 的一个好方法是记住这个图表：要创建自己的 eBPF 程序，请选择一个 eBPF 库，它将生成 eBPF 字节码，然后调用bpf系统调用将其加载到内核中。在内核端，如果您的程序是安全的，它将经过验证并加载。您还必须记住，有不同类型的 eBPF 程序（适应触发事件），每种程序都可以访问不同的 eBPF 辅助程序和上下文。目前使用 eBPF 进行监控的工具通常涉及 kprobes（内核探针）。例如，这种类型的程序允许您记录每次进程使用系统调用的情况。然而，并非所有有趣的信息都可以通过这种方式捕获。这就是为什么正在对 uprobes（用户空间探针）进行新研究以进行用户空间监控的原因。Uprobes：基础知识定义Uprobes 是允许钩入任何用户 ...继续阅读 (75)

eCapture是一个无需CA证书，即可捕获HTTPS/TLS明文的抓包工具，常用语网络分析、故障定位等。最初定位是Linux上的抓包工具，在2022年9月支持了Android系统，在Android 12起，只要是Linux内核是5.5以上的ARM架构，都可以正常运行。支持TLS 1.2、TLS1.3版本的协议，只需要root，无需应用重启、更改等，很受大家欢迎。今天，eCapture v0.6.5 版本发布，支持了两个功能：支持所有端口的网络包、支持Android 13和Android 14。新版本近两年，Android也陆续发布了13、14版本，eCapture做了一些 兼容更新，支持了Android 13、Android 14版本的BoringSSL类库的明文捕获。除此之外，去掉了捕获端口的限制，如果--port参数为0时，可以捕获所有端口的网络数据，并保存到pcapng中。否则则只捕获--port对应的端口数据，默认是443端口。下载使用eCapture v0.6.5 下载地址见GitHub仓库：https://github.com/gojue/ecapture/releases/tag/v0.6.5使用方法，可参见以往教程eCapture旁观者：Android HTTPS明文抓包功能回顾BoringSSL介绍自支持Android至今，已经有一年多，其程序使用的默认SSL动 ...继续阅读 (54)

这篇文章提供了关于eBPF应用程序开发的指南。正如标题所示，文章主要关注eBPF 201的概念，而不是提供另一篇关于eBPF技术是什么的入门级文章。我们提供了简短的介绍，但主要关注需要部署生产eBPF应用程序的开发团队的下一组概念和最佳实践。我们将探讨使BPF应用程序可以在多个内核版本和环境中部署和维护的编程语言和工具链。eBPF 101: 简短回顾BPF/eBPF是由轻量级的隔离虚拟机和一组辅助函数组成的操作系统内核技术。在本文中，我们关注Linux内核中的eBPF，尽管它也适用于其他操作系统平台，如Windows和FreeBSD。这项技术使用户能够在内核中运行提供的程序，以扩展内核的功能。验证程序在加载到内核之前会检查BPF程序，以确保它们不会危及内核的可靠性。这些程序会被JIT（Just-In-Time）编译成本机指令，因此它们足够高效，可以在性能要求最高的情况下执行，例如网络数据包处理。总体的好处是以一种安全、更灵活且开发速度更快的方式为操作系统内核提供可编程性和可扩展性，而不是开发内核模块或直接增强主要内核功能本身。下图中的图表显示了Linux内核中的BPF虚拟机、BPF程序可以附加的挂钩点以及BPF程序可用的各种映射和辅助函数。如果你对eBPF还不熟悉，eBPF详尽介绍将为你提供一个很好的基础，然后再阅读本文的其余部分。技术成熟度BPF已经从早期作为Linux内核的数据 ...继续阅读 (77)

eCapture支持流量转发的进展同步大家好，eCapture项目距上次新版发布也已经过去2-3个月了，在这期间，社区论坛里很多网友提了一些问题以及需求，等我来解决。这几个月博主工作特别忙，一直没时间更新eCapture。这个周末特地抽时间解决了社区中反应的一些bug、优化点等。至于新功能，主要的就是流量转发功能，这个功能还是比较复杂的。今天，博主先把发布一个修复bug的版本，等过段时间博主不是那么忙了，再构思流量转发功能，分享给大家。新版发布功能介绍增加了Linux 5.2一下内核的异常提示移除了curl/wget等参数路径指定恢复了关联数据包目标IP功能。修复了Openssl FD总是为0的错误。其中，第二条可能会有影响，移除curl\wget路径参数，也顺带移除了自动搜索这两个软件所使用的Openssl动态链接库版本，以及所属路径问题。意味着大家需要自己检查期望被捕获的程序所用的SSL类库版本，并手动使用--libssl参数指定。下载下载地址：eCapture v0.6.2流量转发流量转发功能有很多使用场景，包括测试、渗透、研发、运维等，国内外都有用户提到过这个需求。流量转发功能，必不可少的数据就是IP五元组，而这个问题，是eCapture最头疼的问题，拿不到远程地址的IP、端口数据。eCapture实现介绍基于TC的流量包获取，使用Uprob eBPF来完成捕获捕获。借助于 ...继续阅读 (83)

简述是的，一年半时间，笔者的首个7000星的GitHub开源项目来了，它就是eCapture旁观者。未来一年，争取过万星。项目背景eCapture一个无需CA证书，无侵入的HTTPS/TLS明文抓包工具。可以在Linux 4.18以上版本使用，同时也支持Android arm64 5.5以上版本。eCapture的中文名叫「旁观者」，即「当局者迷，旁观者清」，与其本身功能「旁路、观察」契合，且发音与英文有相似之处。此工具切入大家痛点，不需要CA证书，也不需要进程冲洗，就可以在Linux上分析生产环境的https网络包的问题，深受大家欢迎。从2022年3月底创建，至今一年半时间，获得7000星。与知乎上较为出名的xmake-io/xmake开源项目相比，可谓神速。当然，个人的努力固然有，但主要是借助了历史的进程——eBPF技术兴起。依赖技术eBPF技术是Linux内核的子系统，用来做跟踪、抽样、网络优化、安全管控等。借助于eBPF的动态插桩能力，eCapture可以无需应用进程重启，无需CA证书，动态增加观测点，实现对进程的HTTPS/TLS加密通讯抽样诊断。eCapture项目是用来做网络分析的，适合线上环境，不方便重启进程的场景。使用eBPF TC/uprobe HOOK技术，支持Linux/Android 系统，支持x86_64/aarch64两种CPU架构，工具大小不到10M ...继续阅读 (84)

译者注我最近也在尝试用eBPF TC类型程序，挂钩egress网络包，修改IP包、TCP包内容，实现路由跟踪的功能。除了eBPF验证器的奇葩问题外，剩下的就是skb_buff修改后，被客户端内核丢弃、中间路由丢弃、服务端内核丢弃的各种问题，头发那是一把一把的掉。幸运的是，我找到了这篇文章Checksum-or-fxxk-up，写的特别好。看标题就知道作者被折腾不清，这点我感同身受。TL;DR如果你不想自讨苦吃，就千万别对checksum进行任何不当操作。但如果你想看到一个反面教材，继续阅读这篇由我这个不称职的人写的记录。背景我有一个挂钩在ingress TC BPF程序，可以修改某些传入数据包的IP头部和TCP标志中的几个位。它在功能上表现得非常出色。直到…dmesg 异常日志在测试程序时，在dmesg中发现了以下消息：[1216218.835883]: hw csum failure [1216218.843767] CPU: 11 PID: 3627719 Comm: ThriftIO15 Not tainted 4.16.18-210_fbk23_5358_gf2838c074351 #210 [1216218.862917] Hardware name: Quanta Twin Lakes MP/Twin Lakes Passive MP, BIOS F09_3 ...继续阅读 (174)

前言在eCapture最初支持golang的https明文捕获时，是不支持request\response完整的匹配的。这点不同于C语言编写的程序，是因为golang的uretprobe类型钩子有个较为致命的bug，会导致被挂载进程崩溃，这问题在BCC社区也有讨论过：Go crash with uretprobe #1320， 火焰图作者brendangregg也提到，在他的一篇博客里，用户评论如下：Another problem I ran into: the uretprobe seems to place the return probes by modifying the stack, which is in conflict with how Go manages stack (stacks in Go can grow/shrink at anytime, it does so by copying entire stack to a new larger area, adjusting the pointers in the stack to point to new area etc). So if we are doing a uretprobe, and stack happens to grow (or shrink) at that time, it can ...继续阅读 (86)

Linux上文件监控的踩坑分享前言在Linux主机安全产品HIDS中，文件监控是特别常见的需求，在实现方案上，Linux内核层提供了文件变动的通知机制fsnotify，然而，在高磁盘IO的主机上、不同版本的内核上以及海量监控目标中，将会面临哪些问题呢？业务性能与安全性如何做更好地取舍均衡？今天，我的小伙伴阿松给大家分享以下文件监控系统的建设历程。文件监控的实现Linux系统上，常见的文件监控一般有如下几种实现方案。粗暴的周期性轮询，在内核不支持（比如伪文件系统），并且也没有特别好的方式的时候，轮询不失为一个办法，但是缺点如轮询字面表述的那样：无论轮询周期多短，总可能会有事件的丢失；当然了，对于丢失事件不敏感的应用来说，这个也能接受;为了减少事件的丢失，需要尽可能短的轮询周期，但是如果轮询周期太短，性能消耗就巨大，这是一个两难的选择；不过，如果仅仅是感知个别文件的变动，还是可以采用短周期轮询的方式，但是如果是需要感知大量文件变动呢？采用内核提供的fsnotify机制。在fsnotify的基础上，内核提供了给用户态使用的接口，这套接口从dnotify到inotify再到fanotify，也是经历了多次迭代；基于fsnotify机制，只需要watch 某个文件，然后等待内核上报文件变动的event即可。在我们的业务场景中，需要对大量的文件进行监控，显然是不可能采用轮询了，经过多次测试验证 ...继续阅读 (86)

前言eBPF程序还很年轻，周边质量建设体系还刚起步，常用于Linux内核上的监控跟踪，本身比较底层，测试成本很高。对于常写eBPF的同学，特别头疼的是快速迭代的项目，如何保证功能正常。如何给eBPF程序写单元测试呢？译者看到一篇文章，分享给大家。本文使用openAI翻译，如有错误，请看原文：Unit Testing eBPF Programs当然，原文在Hacker News上也被热烈讨论，大佬Daniel给出自己的看法，文章质量也很高，推荐看看。BPF_PROG_RUN很棒，但不幸的是它依赖于正在运行的内核版本。为此，我编写了vmtest（https://dxuuu.xyz/vmtest.html），它专门用于BPF_PROG_RUN的使用场景。eBPF的单元测试无论你喜欢与否，编写单元测试几乎已经成为你的代码的必需品。在进行更改时，它们为你提供了一个安全网，并在更改后全部通过时给你一种愉悦、温暖的感觉。在处理内核补丁时，我不得不研究为 eBPF 程序编写单元测试。事实证明，内核开发人员已经考虑到这一点，并已存在基础设施来实现它。我将提供一个实际的例子，演示如何对一个TC eBPF程序进行单元测试。在这个测试中，我们希望确认查找一个发送到外部 IP 地址的数据包的路由是否会选择默认网关。我们将完全控制测试所运行的网络命名空间。如果你对这其中的任何概念一无所知，别担心，我将介绍的概 ...继续阅读 (75)

笔者在二月份编写eCapture的GoTls密钥捕获功能时，遇到了一个小bug，就是在UBUNTU 21.04的Linux上运行时，遇到eBPF verifier的报错，无法启动，笔者后来通过启用always inline解决了这个问题。我觉得，这是一个比较好的编写eBPF的技巧案例，决定把详细排查过程、原因、修复方法一起分享出来，奈何事情比较忙，一直没时间，拖延了一个多月，这个周末，咬牙立Flag，整理出来，分享给大家。报错详情报错的eCapture代码是aa0b86ea，在ubuntu 20.04上，使用make nocore编译运行，则一切正常。若在ubuntu 21.04以及以后版本编译运行，则出现如下错误：tls_2023/03/24 19:44:20 EBPFProbeGoTLS BPF bytecode filename:user/bytecode/gotls_kern.o tls_2023/03/24 19:44:21 EBPFProbeGoTLS module run failed, [skip it]. error:error:program gotls_text_register: load program: invalid argument: Arg#0 type PTR in gotls_text() is not supported yet. (2 ...继续阅读 (72)

译者序本文来自：Maelstrom: EDR Kernel Callbacks, Hooks, and Call Stack，版权归原作者所有。译者从事HIDS/HIPS等领域，与EDR安全产品场景类似。从本篇文章中，也学到了Windows系统上的HOOK知识，了解了攻击手法，故翻译整理出来，分享给大家。感谢翻译工具OpenAI Translator。介绍为了回顾一下这个系列，我们从总体上看了一个命令和控制服务器（C2）的高级目的和意图，到设计和实现我们第一个植入物和服务器。如果你一直在跟随着做，你可能会认为自己已经写出了一个 C2这是一种常见的心态。根据我们的经验，在达到这个点上并不需要太多复杂性。我们之前所有的工作都可以很容易地通过使用 C#、Python、Go 等语言在疯狂喝咖啡打字的晚上轻松完成（而且已经完成过！）。C2 的主要特点通常可以与软件工程中相当古老且解决方案明确的概念和模式联系起来，例如线程管理、处理空闲进程以及确保正确执行程序流。但正如我们编写各种 C2 时发现的那样，并且许多其他攻击性开发人员编写他们自己的植入物和服务器时也发现了同样问题：一旦代码运行良好并能获得 pingback 后，您就停止在开发计算机上运行您的植入物并尝试在第二台计算机上运行它。这就是问题开始浮现之处。比如“为什么我无法访问远程文件？”，“为什么我可以通过这个协议进行出站请求，但不能通 ...继续阅读 (216)

前言云原生生态中，golang语言开发的项目越来越多，例如Docker和K8s、etcd等。作为SRE、RD，偶尔需要在生产环境抓网络通讯包，用来分析排查故障。很多时候，都是tls/https加密协议，如何在不重启业务保留现场，不改为自定义CA证书的情况下，分析明文通讯内容呢？适用场景eCapture 0.5.0版本在2023年3月12日发布，支持了go语言编写的软件的tls/https明文抓包。只需要root权限，即可捕获并保存为pcapng格式，使用wireshark即可打开查看。使用方法gotls模块的e参数用来设定golang编译的可执行文件路径，可以通过ecapture gotls -h来查看使用说明。bin/ecapture gotls -h NAME: gotls - capture golang tls/https text content without CA cert for ELF compile by Golang toolchain USAGE: ecapture gotls [flags] DESCRIPTION: use eBPF uprobe/TC to capture process event data and network data. also support pcap-NG format. ecaptur ...继续阅读 (77)

如何使用 Delve 和 eBPF 更快地调试 Go 程序前言此文章将解释如何使用Delve跟踪 Go 程序，以及 Delve 如何利用 eBPF 在后台优化效率和速度。Delve 的目标是为开发人员提供愉快且高效的 Go 调试体验。因此，本文重点介绍了我们如何优化函数跟踪子系统，以便您可以更快地检查程序并找到根本原因分析。Delve 的跟踪实现有两个不同的后端，一个是基于 ptrace 的，另一个使用 eBPF。如果您不熟悉任何这些术语，请不要担心，我会随着解释一起说明。什么是程序跟踪？跟踪是一种允许开发人员在执行时看到程序正在做什么的技术。与典型的调试技术相反，这种方法不需要直接用户交互。最知名的跟踪工具之一是strace，它允许开发人员在执行期间查看程序的系统调用。尽管上述的 strace 工具对于了解系统调用很有用，但 Delve trace 命令允许您洞察 "用户空间" 中 Go 程序的情况。这种 Delve 跟踪技术允许您跟踪程序中的任意函数，以便查看这些函数的输入和输出。此外，您还可以使用此工具了解程序的控制流，而无需交互式调试会话的开销，因为它还会显示正在执行该函数的 Goroutine。对于高度并发的程序，这可能是获得程序执行洞察力的更快方法，而无需启动完整的交互式调试会话。如何使用 Delve 跟踪 Go 程序Delve 允许您通过调用 dlv trace 子命 ...继续阅读 (99)

我已经有几年没写年度总结，去年春节回老家，完全没时间。前年春节工作特别忙，忙到春节七天假，都加班了六天班。 今年还好，不回老家，而且春节期间不加班。挤出点时间，整理复盘一下。年度总结这件事，我跟别人的不同，我更喜欢以春节作为分割，而不是阳历的元旦。 毕竟春节的假期太长，仪式感更强，更让我认为一年的起始是春节后的正月和临近春节的腊月。上海疫情爆发今年年初，刚上班没多久，上海就爆发了疫情，全市封闭了将近3个月。哪里都不能去。2002年非典人生中上次遇到这种呼吸道传播病毒还是2002年的非典，那时我刚上高中，也几乎是禁止出门，全市的网吧都关了。我那时刚成为网瘾少年，天天想着我的《热血传奇》游戏的升级、打装备，忍受不了封禁，跟着小伙伴到处找私底下偷开的黑网吧。20年过去了，照片中的网瘾少年团已经变成油腻大叔了。我对于非典时的印象，也仅限于此，只记得偷偷全城找黑网吧。2022年3月的新冠20年后，新冠分支奥密克戎再次让我体验到长期封禁。 确切的说2020年春节期间也经历也，不过时间蛮短，没什么太大感觉。而且重点是武汉，上海这边受影响较小，周围也没人确诊，相应的应急响应也没什么。今年3月份时，那可不一样了，周围病例不断爆出，距离也越来越近，紧接着就是小区里有人确诊。社区组织的应急也大不一样，给大家发蔬菜、食品、生活用品等。困难时刻，人们都很团结，每次政府发的物资到达时，都需要志愿者派送到户。 ...继续阅读 (71)

前言一个多月前，有网友反馈Android上，TLS 1.2明文网络包正常捕获，而1.3的密钥无法捕获。笔者得知这个问题后，花了几个周末时间修复、添加了这个功能。在这期间，笔者工作繁忙以及感染新冠，整个功能拖了1个月 才完成。精力与体力，支撑起来越来越吃力。搞开源，全是靠爱发电，实属不易。值得庆幸的是，收获了5400星的关注，这也是对笔者最大的认可。这个周末，发布了eCapture 0.4.11版本，支持boringssl的TLS 1.3的密钥捕获，支持明文解密pcapng数据包存储。 有需要的朋友可以下载使用。其次，这次支持boringssl的TLS 1.3明文数据包捕获，还遇到了一些技术性问题，在这里也一并分享给大家。boringssl与openssl的差异Google开源了boringssl这个SSL加密类库，是基于openssl的增强版。使用C++封装C的类库，在结构体内存布局上，与openssl有一些差异。而且TLS通信密钥捕获的Hook函数上，与openssl有差异。在openssl中，只需要HOOKSSL_write、SSL_read两个函数，读取参数中SSL结构体的内存布局，定位相关SSL密钥存储地址，即可读取密钥。而在boringssl中，在调用SSL_write函数时，这个TLS链接可能还没建立好。需要寻找更合适的HOOK函数，笔者在实现时，做了大量的测试、调试工 ...继续阅读 (79)

介绍eBPF 允许你在 OS 内核中安全地运行沙箱程序，用于安全性和网络等功能，而无需修改内核源代码或加载内核模块。eBPF-TC 具有牢固的数据包处理能力，并支持入口和出口操作，而且性能很高。这是我使用TC-eBPF构建插件 TPROXY 截流防火墙 (IFW) 来截取并将数据包发送到我的目标应用程序 OpenZiti Edge Routers 的方法。你可以使用类似的 eBPF-TC 实现来截取要发送到你特定可观察性、安全性或网络应用程序的数据包。代码和 README.md 在这里：GitHub – r-caamano/ebpf-tproxy-splicer。流程图和数据流图在本文末尾。项目背景 – 将数据包发送到 OpenZiti 端点OpenZiti（开源零信任网络平台）能够在完整网络覆盖网络中建立私有连接。Ziti 端点作为代码嵌入在应用程序中（通过 Ziti SDK），并作为 OS 代理、守护程序、容器或虚拟机部署。你可以在你的私有网络中启动任意数量的 Ziti 路由器 – 如果你部署了两个路由器，它看起来像这样：Ziti Edge 路由器通常在 Linux 上使用，默认使用 iptables 将传入的感兴趣流量映射到服务侦听端口，使用 IP 表 Tproxy 目标。如果你正在运行 Ubuntu 和 FWD，这就很好用了。然而，还有许 ...继续阅读 (88)

译者注：原文为https://www.parca.dev/的Javier Honduvilla Coto，文章地址DWARF-based Stack Walking Using eBPF，副标题Deep dive into the new DWARF-based stack unwinder using eBPF，即深度解析使用eBPF基于DWARF的栈展开。 文章为机翻，以及人工矫正。译者水平有限，有疑问请看原文。parca项目介绍parca是一款基于eBPF技术实现的CPU、内存观测产品。可以持续分析 CPU 和内存使用情况产品，细化到行号和整个时间。 节省基础架构成本、提高性能并提高可靠性。 GitHub地址：https://github.com/parca-dev/parca原文：采样CPU分析器周期性地获取目标进程的堆栈，比如用C、C++、Rust等语言编写的进程，可能比大家想象的要复杂一些。最普遍的问题是因为缺少frame pointer帧指针。我们已经开发了一个改进的堆栈遍历器 ：Parcacontinuous profilingAgent，即使在省略了帧指针的情况下也能工作。x86_64中的堆栈x86_64架构除了描述它的指令集和其他一些重要特征外，还定义了数据在其应用二进制接口或简称ABI中应如何布局的规则。该规范显示了该架构下的堆栈应该如何设置。当这段代码被执行 ...继续阅读 (81)

本文内容，如非特殊说明，均基于 4.18 内核，x86-64 CPU 架构。插桩的程序类型选择说起 eBPF 大家都不陌生，就内核而言，hook 会尽可能选在 tracepoint，如果没有 tracepoint，会考虑使用 kprobe。tracepoint 的范围有限，而内核函数又太多，基于各种需求场景，kprobe 的出场机会较多；但需要注意的，并不是所有的内核函数都可以选做 hook 点，inline 函数无法被 hook，static 函数也有可能被优化掉；如果想知道究竟有哪些函数可以选做 hook 点，在 Linux 机器上，可以通过less /proc/kallsyms查看。使用 eBPF 时，内核代码 kprobe 的书写范例如下：SEC("kprobe/vfs_write") int kprobe_vfs_write(struct pt_regs *regs) { struct file *file file = (struct file *)PT_REGS_PARM1(regs); // ... }其中 pt_regs 的结构体如下：struct pt_regs { /* * C ABI says these regs are callee-preserved. They aren't saved on kernel entr ...继续阅读 (79)

译者注近来这一年，很多刚接触eBPF的朋友会问我，eCapture的原理是什么，为什么区分OpenSSL、Gnutls、Nspr等类库实现？为什么要设定OpenSSL类库地址？为什么C、JAVA、Go实现的https通讯程序，在eCapture上实现却不一样。对于这些问题，我觉得核心问题是大家对「eBPF实现用户空间的行为跟踪」原理不了解，一直想写一篇文章介绍这个知识点，但总是太忙，没时间。这几天看到外网一篇简单的介绍，文章名是How to Instrument UserLand Apps with eBPF，我在这里翻译、调整一下，分享给大家。前言eBPF彻底改变了Linux内核中的可观察性。在之前的博客文章中，我介绍了eBPF生态系统的基本构建，揭开了XDP的面纱，并展示了它与eBPF基础设施如何紧密合作，以便在网络堆栈中引入快速处理的数据路径。 然而，eBPF并不是kernel-space内核空间跟踪所独有的。如果我们能够检测在生产环境中运行的应用程序，同时享受eBPF驱动的跟踪的好处，那不是很赞吗？这就是eBPF uprobe的价值所在。可以直白地把它们看成附加到用户空间的跟踪点，跟内核符号的kprobe类似。许多语言的运行时、数据库系统以及其他软件堆栈都包含可供BCC工具使用的钩子。具体地说，ustat工具会收集有价值的事件，例如垃圾回收事件、对象创建统计信息、方法调用等 ...继续阅读 (73)

前言Android上抓包HTTPS是不是越来越难了？高版本无法添加CA证书，抓包软件依赖太多，VPN模式、或HOOK程序时，会被APP检测到。对抗成本愈加增高。有什么万能的工具吗？是的，eCapture for Android来了。以后在Android上抓HTTPS通讯包，再也不用安装CA证书了，再也不用下载一堆python依赖环境了，再也不用重打包ssl类库了，再也不用改一堆手机参数了，一键启用，简单明了。eCapture简介eCapture是一款无需CA证书即可抓获HTTPS明文的软件。支持pcapng格式，支持Wireshark直接查看。基于eBPF技术，仅需root权限，即可一键抓包。eCapture中文名旁观者，即 当局者迷，旁观者清。2022年年初上海疫情期间，笔者开始编写并开源，至今已经半年，GitHub上已经4200个星星。eCapture是基于eBPF技术实现的抓包软件，依赖系统内核是否支持eBPF。目前支持在操作系统上，支持了X86_64\ARM64的Linux kernel 4.18以上内核，支持了ARM64 Android(Linux) kernel 5.4以上版本。最新版是在2022年9月9日发布的v0.4.3版本。演示视频下载后，一条命令启动，干净利索。./ecapture tls -w ecapture.pcapng先看演示视频，演示环境为Ubuntu ...继续阅读 (74)

前言机翻本视频转载Liz Rice在昨天（7月10日）的油管直播。原来视频地址youtu.be/l5l2EckwWME[1]。笔者使用相关工具进行语音提取、转英文字幕，再自动翻译成中文字幕。时间短，工作量大。涉及音轨准确性、字幕与时间矫正等困难，视频有很多问题，请大家理解。英语好的同学可以无视字幕。视频介绍eBPF被称为为“Linux的超级明星”，最近我们看到大量工具使用它来支持云原生领域的服务网格、可观察性和安全性。 这是一项令人兴奋的技术，可以直接在内核中运行自定义程序。 在本次演讲中，Liz Rice在线敲代码，演示eBPF 程序如何在内核中加载、运行，以及如何附加到各种网络事件。本视频侧重于网络示例，深入了解 eBPF 程序如何检查和修改数据包，以形成复杂和高性能网络服务。数据包流程图视频内容补充阅读告别Sidecar——使用eBPF解锁内核级服务网格Cilium eBPF实现机制源码分析How to drop a packet in Linux in more ways than one[2]Packet flow in Netfilter and General Networking[3]参考资料[1]youtu.be/l5l2EckwWME:youtu.be/l5l2EckwWME[2]How to drop a packet in Linux in more way ...继续阅读 (71)

译者注原文链接：Live-patching security vulnerabilities inside the Linux kernel with eBPF Linux Security Module前段时间，我们讨论了Tetragon产品实时阻断能力的实现原理，那你知道它为什么没选择eBPF LSM吗？系统内核版本要求是最大限制，eBPF LSM需要5.7以后版本。但对于安全产品，阻断一个函数的调用，远比杀死一个进程影响要小。bpf_send_signal颗粒度是进程，eBPF LSM的颗粒度是函数，更精确。除此之外，控制范围也不一样，可以对函数调用堆栈做调整，达到替换执行的目标函数。业务场景就是内核漏洞的热更新了。而本文就是一个简单的eBPF LSM实现思路，核心内容是确定精准HOOK点的思路。怎么找HOOK点？HOOK点挂载后，对性能影响是什么？如何做权衡？接下来，我们一起了解一下。前言Linux Security Modules（LSM）是一个钩子的基于框架，用于在Linux内核中实现安全策略和强制访问控制。 直到现在，能够实现实施安全策略目标的方式只有两种选择，配置现有的LSM模块（如AppArmor、SELinux），或编写自定义内核模块。Linux Kernel 5.7引入了第三种方式：LSM扩展伯克利包过滤器（eBPF）（简称BPF LSM）。 LSM BPF允 ...继续阅读 (67)

缘起这个故事要从上海的疫情说起。三月份，上海爆发了疫情。全市开始封城，停工停课，所有人都不得不居家防疫。离不了家门，意味着空闲时间增多了，也正好可以利用一下，做个小项目之类的。也正巧，前段时间研究了eBPF攻防的技术，而技术的应用场景最广泛的就是跟踪调试了。广大研发、运维同学们面临的最大场景就是网络抓包，恰恰大量数据包都是HTTPS加密的，这就称为多数人的痛点，那么结合eBPF技术，可以很好的解决这一痛点。说干就干，三月中旬就发了初版eCapture：无需CA证书抓https网络明文通讯，随着上海封城的持续，空闲时间也多，项目也逐步完善，支持4.X至5.X的内核版本。最近呢，复工复产了，空闲时间就少了，不过，近期搞到凌晨一两点的情况也是常态。不能半途而废不是嘛。进展这几天，有几个好消息分享给大家，有的是付出得到的回报，有的是项目的新功能。ebpf.io 收录eCapture项目被ebpf.io官网收录了 ，在「Emerging新兴项目」中，暂排第一。是按照Star数量来的，项目复杂度、技术深度不如其他项目，但实用性比较大，深受大家喜欢。eCapture for AndroideCapture也支持了Android的GKI发型版本，你在eCapture v0.1.10 release (Linux x86_64/aarch64, Android GKI)中下载试用。也就是说，Andr ...继续阅读 (76)

TL;DR文章较长，代码很多，可直接拖到文末看讲解视频。背景在云原生领域中，Cilium是容器管理上最著名的网络编排、可观察性、网络安全的开源软件。基于革命性技术eBPF实现，并用XDP、TC等功能实现了L3、L4层的防火墙、负载均衡软件，具备优秀的网络安全处理能力，但在运行时安全上，Cilium一直是缺失的。2022年5月，在欧洲举行的KubeCon技术峰会期间，Cilium的母公司Isovalent发布了云原生运行时防护系统Tetragon，填补这一空缺。Tetragon的面世，意味着与falco、tracee、KubeArmor、datadog-agent等几款产品正面竞争，eBPF运行时防护领域愈加内卷。Tetragon介绍摘自Tetragon官方仓库的产品介绍。eBPF实时性Tetragon 是一个运行时安全实时和可观察性工具。它直接在内核中对事件做相应动作，比如执行过滤、阻止，无需再将事件发送到用户空间处理。对于可观察性用例，直接在内核中应用过滤器会大大减少观察开销。避免昂贵的上下文切换，尤其是对于高频事件，例如发送、读取或写入操作，减少了大量的内存、CPU等资源。同时，Tetragon提供了丰富的过滤器（文件、套接字、二进制名称、命名空间等），允许用户筛选重要且相关的事件，并传递给用户空间。eBPF灵活性Tetragon 可以挂载到Linux Kernel中的任何函数 ...继续阅读 (81)

前言在《聊一聊《Bvp47 美国NSA方程式的顶级后门》中的BPF隐藏信道》一文里，我们讨论了二十年前基于BPF技术后门的功能实现，技术原理等。也展望也在二十年后的今天，eBPF技术加持下，有更多可以被后门利用的技术点，可以造成更大的破坏力。同时，在《Linux中基于eBPF的恶意利用与检测机制》介绍了eBPF的恶意利用，与防御相关的检测防御机制等。笔者对当下国内IDC对eBPF防御建设的不完善感到忧心，综合国外DefCon等安全峰会中的话题内容，预判未来一段时间，基于eBPF的后门会越来越多，越来越隐秘。就在一个多月前，笔者看到了一款基于eBPF技术后门Boopkit，上传到https://github.com/kris-nova/boopkit，今天，就跟大家一起来了解一下它的技术原理。boopkit介绍boopkit是基于eBPF技术实现的Linux后门rootkit，利用任意开启的TCP端口服务，远程唤醒后门，生成反弹shell，具备远程命令执行等能力。此项目是在2022年3月30日首次创建，至今1个多月，已经有近1000星，在Twitter上也有一定热度，持续传播中。 用户空间的加载器与内核态代码都是纯C编写。 部分脚本使用Makefile、shell等脚本语言。作者Kris Nóva是一位女性安全工程师，经常在twitch上直播写代码，有兴趣的同学可以去围观。功能Git ...继续阅读 (75)

eCapture介绍eCapture是一款基于eBPF技术实现的用户态数据捕获工具。不需要CA证书，即可捕获https/tls的通讯明文。项目在2022年3月中旬创建，一经发布，广受大家喜爱，至今不到两周已经1200多个Star。作用不需要CA证书，即可捕获HTTPS/TLS通信数据的明文。在bash审计场景，可以捕获bash命令。数据库审计场景，可以捕获mysqld/mariadDB的SQL查询。官网代码仓库见：https://github.com/ehids/ecapture，也可以关注微信公众号「榫卯江湖」获取最新动态。产品架构eCapture系统用户态程序使用Golang语言开发，具有良好的系统兼容性，无依赖快速部署，更适合云原生场景。内核态代码使用C编写，使用clang/llvm编译，生产bpf字节码后，采用go-bindata转化为golang语法文件，之后采用ehids/ebpfmanager类库，调用bpf syscall进行加载、HOOK、map读取。golang编译后，无其他任何依赖即可运行，兼容linux kernel 4.18以上所有版本。eBPF加载机制关于eBPF详细加载机制，可到https://ebpf.io/查阅相关原理。实现原理如工作原理的图所示，在用户态的加密解密函数中下钩子。 tcpdump(libpcap)是在数据包接收到，XDP处理后，进行 ...继续阅读 (68)

今年开春，Clash Royale《皇室战争》在国内上架，又是SuperCell公司的大作，想必会非常火。在去年年底我层玩过封测版本，掉线比较严重，但仍没影响到我对它的好奇，我很想知道它的网络同步是如何实现的，战斗那块是帧同步吗？全是客户端计算的吗？这些疑问一直困扰着我，这次在国内上线了，网络状况也好，调试起来会更会舒心，更方便。为此，我在工作之余，开始对Clash Royale《皇室战争》进行了黑盒分析，洋洋洒洒写了80多页的PPT，用于团队内部分享。顺便也发在博客上，让博客看上去有点生机。由于我逆向基础差，对clash royale的libg.so分析零零散散的将近两周，一直没能搞定sc文件内容的编码规则，没搞定通讯的消息包结构编码规则，直到团队内部分享日期逼近，才决定暂停分析，尽快收尾，先完成分享，以后再继续。而我又不想就这样放弃，在分享前后的几天里，我内心一直纠结这事，放不下来，抽空就想去再调试调试，为此落下了工作，计划中的功能也没给其他兄弟们做个好开头，没专心把主体框架搭建好，直到另外一个兄弟简介的提醒，列出大纲框架，我才意识到已经耽误很大的进度了，羞愧难当，今天（周六）本没打算去公司加班的，又把周五背回来的电脑又背回去，乖乖的写点东西，才让我内心平静下来。现在想想，今日凌晨3点多的恶梦或许就是因为愧疚吧。现在这里做个了结，不在工作时间去分析这个问题，不能再耽误工作进度。 ...继续阅读 (132)