解决方案二：层次化编码器

对于性能要求更高的场景，可以采用层次化编码器：

1. 第一层：句子/窗口级编码器（BERT）
2. 第二层：文档级编码器（Transformer/RNN/Attention）

classHierarchicalEncoder(nn.Module):def__init__(self,sentence_encoder,document_encoder):super().__init__()self.sentence_encoder=sentence_encoder# 例如BERTself.document_encoder=document_encoder# 例如BiLSTM或Transformerdefforward(self,windows):# windows: [batch_size, num_windows, window_length]batch_size,num_windows,window_length=windows.shape# 1. 编码每个窗口window_embeddings=[]foriinrange(batch_size):batch_windows=windows[i]# [num_windows, window_length]window_outputs=self.sentence_encoder(batch_windows)# 取[CLS]token作为窗口表示window_cls=window_outputs.last_hidden_state[:,0,:]# [num_windows, hidden_size]window_embeddings.append(window_cls)window_embeddings=torch.stack(window_embeddings)# [batch_size, num_windows, hidden_size]# 2. 文档级编码document_output=self.document_encoder(window_embeddings)returndocument_output

解决方案三：长序列Transformer变体

对于极端长文本（如完整病历），可以考虑专门的长序列模型：

1. Longformer：滑动窗口注意力，线性复杂度
2. BigBird：稀疏注意力机制
3. Reformer：局部敏感哈希注意力

这些模型能直接处理上万token的序列，但训练成本较高，需要权衡收益。

类别不均衡：当常见病遇到罕见病

医疗数据的天然不均衡

在真实医疗数据中，类别分布极不均衡。以某三甲医院呼吸科数据为例：

• 社区获得性肺炎：1200例
• 支气管哮喘：800例
• 慢性阻塞性肺疾病：600例
• 肺栓塞：50例
• 特发性肺纤维化：20例

如果不加处理，模型会倾向于预测常见病，罕见病的召回率会非常低。

综合解决方案

1. 损失函数调整

# 加权交叉熵损失classWeightedCrossEntropyLoss(nn.Module):def__init__(self,class_weights):super().__init__()self.class_weights=torch.tensor(class_weights)defforward(self,logits,targets):# 计算标准交叉熵loss=F.cross_entropy(logits,targets,reduction='none')# 应用类别权重weights=self.class_weights[targets]weighted_loss=loss*weightsreturnweighted_loss.mean()# Focal Loss：专注于难样本classFocalLoss(nn.Module):def__init__(self,alpha=0.25,gamma=2.0):super().__init__()self.alpha=alpha self.gamma=gammadefforward(self,logits,targets):ce_loss=F.cross_entropy(logits,targets,reduction='none')pt=torch.exp(-ce_loss)# 预测概率# Focal Loss公式focal_loss=self.alpha*(1-pt)**self.gamma*ce_lossreturnfocal_loss.mean()

2. 采样策略

classStratifiedBatchSampler:"""分层批次采样，确保每个batch类别平衡"""def__init__(self,dataset,labels,batch_size,minority_boost=2.0):self.dataset=dataset self.batch_size=batch_size self.minority_boost=minority_boost# 按类别分组样本索引self.class_indices=self._group_by_class(labels)# 计算每个类别的采样概率self.sampling_weights=self._compute_sampling_weights()def_group_by_class(self,labels):"""按类别分组样本索引"""class_indices={}foridx,labelinenumerate(labels):iflabelnotinclass_indices:class_indices[label]=[]class_indices[label].append(idx)returnclass_indicesdef_compute_sampling_weights(self):"""计算采样权重，提升少数类概率"""total_samples=len(self.dataset)class_weights={}forclass_id,indicesinself.class_indices.items():class_freq=len(indices)/total_samples# 少数类权重提升ifclass_freq<0.05:# 频率低于5%视为少数类weight=1.0/(class_freq**0.5)*self.minority_boostelse:weight=1.0/(class_freq**0.5)class_weights[class_id]=weight# 归一化total_weight=sum(class_weights.values())class_weights={k:v/total_weightfork,vinclass_weights.items()}returnclass_weightsdef__iter__(self):"""生成批次"""# 按权重采样类别classes=list(self.