GENERator

GENERator – 阿里 AI for Science 团队等推出的生成式 DNA 大模型

GENERator简介

GENERator是由阿里云飞天实验室的AI for Science团队研发的一款先进的生成式基因组模型，专注于DNA序列的设计与生成。该模型基于Transformer解码器架构，拥有98k碱基对的上下文长度和12亿参数，训练数据涵盖了高达3860亿bp的真核生物DNA。GENERator在多个标准测试中表现优异，能够生成与天然蛋白质家族结构相仿的DNA序列，并在启动子设计等应用中展现出卓越的优化能力。

主要功能

• 生成DNA序列：GENERator能够生成具有生物学意义的DNA序列，成功编码与已知家族结构相似的蛋白质，包括全新变体的组蛋白和细胞色素P450家族。
• 启动子设计：通过微调，GENERator可以设计特定活性的启动子序列，以调控基因表达。实验结果显示，生成的启动子序列在活性上与天然样本有显著差异，展现出强大的基因表达调控潜力。
• 基因组分析与注释：在基因分类和分类群任务中，GENERator表现出色，能够高效识别基因位置、预测基因功能并注释基因结构。
• 序列优化：在序列优化方面，GENERator展现出显著潜力，能够根据特定指令生成具有特定活性的DNA序列，为合成生物学和基因工程提供了全新工具。

技术原理

• Transformer解码器架构：采用先进的Transformer解码器架构，利用多头自注意力机制和前馈神经网络实现高效的序列建模，确保生成的序列符合生物学逻辑。
• 超长上下文建模：模型支持98k碱基对的上下文长度，能够处理复杂的基因结构，在生成长序列时保持连贯性和生物学意义。
• 6-mer分词器：使用6-mer分词器将DNA序列分割为长度为6的核苷酸片段，在生成任务中相较于单核苷酸分词器和BPE分词器表现更佳，平衡了序列分辨率与上下文覆盖。
• 预训练策略：在大规模数据上进行预训练，数据集包含3860亿bp的真核生物DNA，采用下一字符预测（NTP）任务，通过预测下一个核苷酸来学习DNA序列的语义。
• 下游任务适配：在基因分类、分类群和启动子设计等多个下游任务中表现出色，微调后能生成具有特定活性的启动子序列，展现出强大的调控能力。
• 生物学验证：模型生成的DNA序列能够编码与天然蛋白质家族结构相似的蛋白质，通过Progen2计算生成序列的困惑度（PPL）并使用AlphaFold3预测其三维结构，验证了生成序列的生物学有效性。

项目资源

• 项目官网：https://generteam.github.io/
• Github仓库：https://github.com/GenerTeam/GENERator
• HuggingFace模型库：https://huggingface.co/GenerTeam
• arXiv技术论文：https://arxiv.org/pdf/2502.07272

应用场景

• DNA序列设计与优化：GENERator能够生成具有生物学意义的DNA序列，适用于蛋白质家族的定制，例如生成与天然蛋白质家族结构相似的变体。
• 基因组分析与注释：在基因组学研究中，GENERator能够高效识别基因位置、预测基因功能并注释基因结构。
• 合成生物学与基因工程：提供一种新工具，设计和优化基因表达调控元件，如启动子和增强子，在合成生物学和基因工程中具有重要应用价值。
• 精准医疗与药物设计：通过生成与特定疾病相关的基因序列，支持精准医疗和药物设计，能用于设计靶向基因治疗的序列。
• 生物技术中的序列优化：通过指令生成具有特定功能的DNA序列，为生物技术中的序列优化提供新的可能性。

常见问题

若您对GENERator有任何疑问，欢迎访问我们的官网或Github仓库了解更多信息，或在相关社区寻求支持。