第139章 张量刑网（2 / 2）

import torch.nn as nn

import numpy as np

# 定义一个名为MathematicalDamnation的神经网络模块类

class MathematicalDamnation(nn.Module):

# 类的初始化函数，接受一个默认值为666的参数d_model

def __init__(self, d_model=666):

# 调用父类nn.Module的初始化函数

super.__init__　　# 定义一个可训练的参数w_q，形状为(d_model, d_model)，用于查询操作

# 这里通过从标准正态分布中随机采样并除以根号d_model来初始化参数

# 这样做的目的是为了使参数的初始值具有合适的尺度，有助于模型的训练收敛

self.w_q = nn.Parameter(torch.randn(d_model, d_model) / np.sqrt(d_model))