1.创建watermark.js文件：

在安卓应用安全领域，libnesec.so 是一个常见的安全加固库，常用于防止应用被逆向分析和调试。本文将结合实战经验，利用 Frida 绕过 libnesec.so 的反调试检测。

一、Hook android_dlopen_ext
逆向的第一步是信息收集。我们需要准确地知道 libnesec.so 何时被加载到内存中，以便抓准时机采取行动。最直接有效的方法是 Hook android_dlopen_ext。

通过 Hook 这个函数，我们可以在其 onEnter 和 onLeave 回调中监控所有被加载的动态库。

1、Gitee CI/CD
特点： 国内代码托管平台Gitee的内置CI/CD服务，专注本地化需求。

核心优势：

数据合规与速度：
服务器部署于国内，构建速度提升40%，规避跨国网络延迟。
符合《网络安全法》及数据本地化存储要求。
无缝集成：
与Gitee仓库、Pull Request、Issue跟踪深度联动，自动化触发测试与部署。
支持Webhook通知至钉钉、企业微信，实时同步构建状态。
灵活性与成本：
免费版提供每月500分钟构建时长，支持Java、Python、Go等主流语言。
企业版支持私有化部署与专属构建集群，满足高安全需求。
适用场景： 国内中小企业、教育机构、数据敏感型行业。

总结：在windows代理中配置http=http://127.0.0.1:1080;https=http://127.0.0.1

最近遇到的一个问题，在搞清楚之后才发现这么多年的 HTTPS_PROXY 都配置错了！

起因

想用 Python 在网上下载一些图片素材，结果 requests 报 requests.exceptions.ProxyError，具体的错误信息见下面。当然第一时间是把系统代理关了，结果访问就正常了。

如果只是这样，可能我就觉得是代理有问题，然后关了用就行了，但是偏偏想要下载的资源里是必须要走代理的，所以只能想办法解决。

下面先介绍一下具体的情况：

解决过程

操作系统：Windows 10

Python: 3.8（有虚拟环境）

requests 通过代理访问外网时报错如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

Traceback (most recent call last):
  File "E:\code\Python\.venv\smalltools\lib\site-packages\urllib3\connectionpool.py", line 696, in urlopen
    self._prepare_proxy(conn)
  File "E:\code\Python\.venv\smalltools\lib\site-packages\urllib3\connectionpool.py", line 964, in _prepare_proxy
    conn.connect()
  File "E:\code\Python\.venv\smalltools\lib\site-packages\urllib3\connection.py", line 359, in connect
    conn = self._connect_tls_proxy(hostname, conn)
  File "E:\code\Python\.venv\smalltools\lib\site-packages\urllib3\connection.py", line 496, in _connect_tls_proxy
    return ssl_wrap_socket(
  File "E:\code\Python\.venv\smalltools\lib\site-packages\urllib3\util\ssl_.py", line 432, in ssl_wrap_socket
    ssl_sock = _ssl_wrap_socket_impl(sock, context, tls_in_tls)
  File "E:\code\Python\.venv\smalltools\lib\site-packages\urllib3\util\ssl_.py", line 474, in _ssl_wrap_socket_impl
    return ssl_context.wrap_socket(sock)
  File "C:\Users\Davy\AppData\Local\Programs\Python\Python38\lib\ssl.py", line 500, in wrap_socket
    return self.sslsocket_class._create(
  File "C:\Users\Davy\AppData\Local\Programs\Python\Python38\lib\ssl.py", line 1041, in _create
    self.do_handshake()
  File "C:\Users\Davy\AppData\Local\Programs\Python\Python38\lib\ssl.py", line 1310, in do_handshake
    self._sslobj.do_handshake()
OSError: [Errno 0] Error

采用开发运维工具的 成功的流程既需要公司里面的文化变化，又需要实现这种变化的新工具。这意味着，在整个开发生命周期涉及到一大批新旧工具，从规划、编码、测试、发布到监控。下面是你应该考虑添加到工具箱中的20种开发运维工具，但绝不是全部。

1 Jira Software
来自Altassian的JIRA软件是一款流行的软件开发工具，用于开发运维的一个关键部分：敏捷开发，处理项目中的多个步骤。这款开发运维工具 用于规划和跟踪工作，并确定优先级，处理产品发布，产品交付后监控性能。它与本文介绍的其他工具整合起来，提供基于云的服务这种形式。
相关链接：https://www.atlassian.com/software/jira

2 GIT
Git是一种免费的开源分布式版本控制系统，既可以处理单个的小项目，也可以处理庞大的企业项目。它极其轻便，专注于速度和处理分布式项目。它脱胎于Linux内核开发，该公司的GitHub网站对开源项目来说是一个非常流行的软件库。
相关链接：https://git-scm.com/

3 Visual Studio
有许多开发运维工具、实际上是软件开发平台，不过论全面性，没有一个比得上微软的Visual Studio，它支持多种语言，包括Python(一种流行的开发运维语言)，支持针对Windows、安卓和iOS平台的开发，并支持基于云的协作开发。
相关链接：https://www.visualstudio.com/en-us/visual-studio-homepage-vs.aspx

🍑一、概要

安装包及源码包下载地址

Apache SeaTunnel 是一个分布式、高性能、易扩展的数据集成平台，用于实时和离线数据处理。它支持多种数据源之间的数据迁移和转换。其中， apache-seatunnel-web-1.0.0-bin.tar.gz 和 apache-seatunnel-2.3.3-bin.tar.gz 分别代表了 Apache SeaTunnel Web 界面的安装包和 Apache SeaTunnel 的核心引擎的安装包。

• apache-seatunnel-web-1.0.0-bin.tar.gz ：这是 Apache SeaTunnel Web 的安装包，提供了用户友好的 Web 界面，使得用户可以更方便地 管理和监控 SeaTunnel 任务 ，包括创建、编辑和运行作业等操作。通过这个界面，用户可以无需直接接触命令行就能进行配置和管理。

• apache-seatunnel-2.3.3-bin.tar.gz ：这是 Apache SeaTunnel 核心引擎的二进制发行版，包含了执行 数据抽取、转换和加载的核心代码库 。它是实际执行数据处理任务的部分，可以与各种数据源和目标（如数据库、文件系统、消息队列等）进行交互。

在部署 Apache SeaTunnel 时，通常需要先安装并配置好核心引擎，然后根据需要选择是否使用 Web 界面进行管理。如果你 只需要在命令行下运行和管理任务 ，那么 只需要安装核心引擎 即可。如果你 想拥有一个图形化的任务管理界面 ，那么就 需要同时安装 Apache SeaTunnel Web 。

• GC
• 常见垃圾回收算法
• • 引用计数
  • 标记清除
  • • 三色标记算法
  • 复制算法
  • 分代收集算法
• golangGC的发展
• golang GC 三色标记
• • 主要流程
  • 写屏障
  • 三色标记状态的记录
  • 扫描与对象元信息
• GC 的触发
• • • gcTriggerHeap
    • gcTriggerTime
    • gcTriggerCycle
• 辅助GC
• GC Pacer
• 根对象
• 标记队列
• • gcWork初始化
  • gcWork put
  • gcWork get
• GC的流程
• • Phase1:标记前准备(STW)
  • Phase2 并发标记
  • PHASE3:标记终止(STW)
  • PHASE4:并发回收

Base on go 1.13

GC

首先需要想清楚的问题是，什么是GC？

GC是一种自动内存管理方式。支持GC的语言无需手动管理内存, 程序后台自动判断对象是否存活并回收其内存空间, 使开发人员从内存管理上解脱出来。

现如今很多语言都支持GC，比如Java，go，Python等，不过GC的原理和基本算法都没有太大的改变。

这里有一些核心的概念：

并发和并行：通常在GC领域中, 并发收集器则指垃圾回收的同时应用程序也在执行; 并行收集器指垃圾回收采取多个线程利用多个CPU一起进行GC. 不过一般我们说并发回收器, 就包含了这两层意思.

Safepoint: 安全点(Safepoint)是收集器能够识别出线程执行栈上的所有引用的一点或一段时间。

Stop The World(STW): 某些垃圾回收算法或者某个阶段进行时需要将应用程序完全暂停.

Mark: 从Root对象开始扫描, 标记出其引用的对象, 及这些对象引用的对象, 如此循环, 标记所有可达的对象.

Sweep: Sweep清除阶段扫描堆区域, 回收在标记阶段标记为Dead的对象, 通常通过空闲链表(free list)的方式.需要的 工作量和堆大小成正比.

评价GC的性能，我们有一些关心的指标：

• 程序吞吐量: 回收算法会在多大程度上拖慢程序? 可以通过GC占用的CPU与其他CPU时间的百分比描述
• GC吞吐量: 在给定的CPU时间内, 回收器可以回收多少垃圾?
• 堆内存开销: 回收器最少需要多少额外的内存开销?
• 停顿时间: 回收器会造成多大的停顿?
• 停顿频率: 回收器造成的停顿频率是怎样的?
• 停顿分布: 停顿有时候很长, 有时候很短? 还是选择长一点但保持一致的停顿时间?
• 分配性能: 新内存的分配是快, 慢还是无法预测?
• 压缩: 当堆内存里还有小块碎片化的内存可用时, 回收器是否仍然抛出内存不足(OOM)的错误?如果不是, 那么你是否 发现程序越来越慢, 并最终死掉, 尽管仍然还有足够的内存可用?
• 并发:回收器是如何利用多核机器的?
• 伸缩:当堆内存变大时, 回收器该如何工作?
• 调优:回收器的默认使用或在进行调优时, 它的配置有多复杂? 预热时间:回收算法是否会根据已发生的行为进行自我调节?如果是, 需要多长时间? 页释放:回收算法会把未使用的内存释放回给操作系统吗?如果会, 会在什么时候发生?

很多网站服务会要求用户从一堆图片中选择特定物体，以此来验证用户是否真人。这种图片识别验证码（CAPTCHA）最常见的形式是在复杂的街景照片中识别自行车、斑马线、交通灯等日常物体。然而，最近有研究指出，一些本地运行的AI机器人使用特别训练的图像识别模型，已经做到100%的成功率，达到甚至超过了人类水平！

声明：本教程只能用于教学目的，如果用于非法目的与本人无关。

验证码杀手：YOLO模型
ETH苏黎世的博士生安德烈亚斯·普莱斯纳（Andreas Plesner）及其同事的最新研究聚焦于谷歌的reCAPTCHA v2，这一系统要求用户在图片网格中识别出包含诸如自行车、斑马线或交通灯等物体的街景图像。尽管谷歌几年前已经开始逐步淘汰该系统，转而采用“隐形”的reCAPTCHA v3以分析用户行为，但reCAPTCHA v2仍被全球数百万网站广泛使用，尤其在v3系统对用户的“人类”可信度打分过低时，常作为备用验证手段。

研究团队为了破解reCAPTCHA v2，使用了开源的YOLO（You Only Look Once）目标识别模型，这一模型因其实时检测物体的能力而备受青睐，甚至早在电子游戏作弊机器人中就得到了应用。研究者将这一模型进行了微调，使用了1.4万张标记过的交通图像进行训练，最后得到了一个能够对验证码网格图像进行精准识别的系统。

为了规避谷歌对机器人行为的检测，研究团队采取了多种措施，比如使用VPN来避免因IP地址重复尝试而被发现，同时还设计了一个特殊的鼠标移动模型，以模拟人类用户的活动。另外，自动化代理也利用了真实浏览器和浏览历史中的cookie信息，使其表现得更加“人性化”。

在网络安全领域，验证码是用来区分人类用户和机器的一种普遍方法。九宫格验证码，特别地，要求用户从多个选项中选择符合特定条件的一项或多项，这对自动化脚本来说是一大挑战。本指南将展示如何使用Python和PyTorch框架，结合YOLO模型，来识别和解决九宫格验证码的挑战。

环境准备

首先，确保你的环境中安装了Python和PyTorch。此外，我们将使用YOLOv5，这是当前最流行的对象检测模型之一，它基于PyTorch实现。

数据集准备

你需要准备一个九宫格验证码的图片数据集。这个数据集应该包含多样化的图片，每张图片标注了其中每个对象的类别和边界框。

数据预处理

使用Python对数据集进行预处理，包括调整图片大小、转换颜色模式等，以满足YOLO模型的输入要求。

from PIL import Image import glob def preprocess_images(image_paths, target_size=(640, 640)): for image_path in image_paths: with Image.open(image_path) as img: img_resized = img.resize(target_size) img_resized.save(image_path) image_paths = glob.glob('path/to/your/dataset/*.jpg') preprocess_images(image_paths)

模型训练

使用YOLOv5进行模型训练。首先，克隆YOLOv5的GitHub仓库，并安装依赖项。

git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt

然后，使用你的数据集配置文件（例如your_dataset.yaml），启动训练过程。

python train.py --img 640 --batch 16 --epochs 100 --data your_dataset.yaml --weights yolov5s.pt

验证码识别

模型训练完成后，使用训练好的模型来识别新的验证码图片。

import torch # 加载模型 model = torch.hub.load('ultralytics/yolov5', 'custom', path='runs/train/exp/weights/best.pt', source='local') # 识别图片 img_path = 'path/to/your/new/captcha.jpg' results = model(img_path) # 显示结果 results.show() # 解析结果，获取每个识别对象的详细信息 detected_objects = results.xyxy[0] # 获取边界框坐标

后处理

根据YOLO模型的识别结果，你可以进一步处理这些信息，例如，选择哪些图像是根据验证码要求应当被选中的。

# 假设验证码要求选择所有的'猫'，类别ID为0 cats = detected_objects[detected_objects[:, -1] == 0] print(f"Found {len(cats)} cats in the captcha.")

一、现象

Seatunnel为2.3.7版本，Seatunnel web为1.0.1版本

Seatunnel路径为：/data/seatunnel/seatunnel-2.3.7