赖小明

前言

最初的 Transformer 模型是为机器翻译任务设计的，它在整体上遵循了 编码器‑解码器 (Encoder‑Decoder) 架构。编码器负责 理解 源句子，解码器负责 生成 目标句子，两者通过注意力机制紧密协作，实现了高度并行的序列建模。

前言

我们知道，“词嵌入”可以表示“语义”，但它本质上还是一个查找表，对于在不同句子中的同一个词，它的“词嵌入”向量是相同的，但在实际情况中，一个词的含义通常取决于上下文，同一个词在不同的句子中，可以有截然不同的含义。比如：“我爱吃苹果“和“我喜欢苹果手机”，这里面的“苹果”并不是同一个东西。我们需要一个方法，能够做到，同一个词，在不同的句子中，如果它们的含义不一样，那么它们的向量表示也不一样，而这就是“自注意力”。

我们知道，在深度学习中，神经网络模型只能处理数值张量，所以在处理文本时，不能直接将原始文本作为输入，我们需要一种将文本表示为数值张量的方法，而这转换的过程，就是文本向量化。

《Python深度学习》笔记

前言

说起大模型，我们都知道它是通过海量数据”训练”出来的，但很少有人了解”训练”二字背后究竟发生了什么。

所谓”训练”，本质上是一个深度学习的过程。而实现这一过程的载体，是一种称为神经网络的模型结构——它由若干层级层叠加而成，数据在各层之间逐步传递、转化，最终从数据中学习到数据的规律与特征表示。

问题现象

这是一个测试环境发现的问题：

• 表现：该服务的所有 HTTP 接口超时；以该服务为 provider 的 Dubbo 调用超时；RocketMQ 消费线程全部卡死，消息积压；
• 特别之处：网络正常，服务和数据库资源使用也都正常——从外部看，服务”没问题”，但它就是一动不动。

于是导了一分线程快照信息，从它开始分析。

问题描述

在最近开发过程中，遇到了一个让人疑惑的问题，现有一个 Controller ，有且只有一个私有方法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

@RestController
@RequestMapping("/test")
@Api(tags = "测试")
public class TestPubController {

    @Resource
    private TestService testService;

    @GetMapping("/pri")
    @ApiOperation(value = "测试私有方法")
    private String testPrivate() {
        System.out.println("private");
        testService.say();
        return "private";
    }
}

前言

在微服务架构中，服务注册和发现是核心组件之一，而 Nacos 能作为目前主流的注册中心，不仅仅是因为其功能特性、开源、成熟度等，更重要的是它在可用性方面所作的保障，确保了系统能在复杂的场景下稳定运行。本文就 Nacos 在客户端实现的一系列高可用机制，并结合相关源码一起学习下。

前言

数据库连接池是在项目开发中广泛应用的一项技术，它用于分配、管理、释放数据库连接，允许应用程序复用现有的数据库连接，而不是重新建立一个。

为什么使用数据库连接池呢？首先数据库连接的建立是一种耗时长、性能低、代价高的一个操作，频繁地建立和关闭连接会影响系统的性能，特别是高并发的情况下。另外，数据库同时支持的连接总数也是有限的，而连接池的出现则很好地避免了以上问题。

HikariCP数据库连接池是号称性能最好的一个连接池，也是Spring Boot 2.0 选择的默认数据库连接池，“快速、轻量、可靠”是其显著的特点。

本文结合 HikariCP 数据库连接池的源码，一起来学习下。

前言

在微服务架构中，能快速更新和迭代是其最大的特点之一，而在重启或更新的过程中，为了确保现有请求的完整性以及最小化对业务的影响，“优雅关闭”就显得十分重要了。

本文将结合源码一起来学习下在 Dubbo 中，“优雅关闭”是如何实现的。

前言

在 Dubbo 中，默认协议使用单一长连接进行通信，这可以避免每次调用都新建 TCP 连接，从而降低延迟、提高调用的响应速度，但长连接的稳定性受环境、服务端等影响可能会断开，所以如何及时检测连接是否可用并进行重连（保活），对于通信框架而言是非常重要的话题。