鉴于此，2019年，中科院自动化所就坚持以“图-音-文”多模态技术为核心，确立多模态大模型布局，整合所内图像、文本、语音等研究方向的优势资源开展集团式攻关，于2021年9月成功打造“紫东太初”1.0多模态大模型。 “紫东太初”1.0助推人工智能从“一专一能”迈向“多专多能”，向发展通用人工智能迈出了坚实的第一步。 “目前，‘紫东太初’大模型已展现出广阔的产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开展了一系列引领性、示范性应用。 “‘紫东太初’全模态大模型以国产化基础软硬件平台昇腾AI为基础，其算法由中科院自动化所自主研发，算力则由武汉人工智能计算中心提供支持。 ”中科院自动化所研究员张家俊介绍，无论是算法、算力，还是硬件，“紫东太初”都是“中国造”。 再比如，在法律咨询领域，“紫东太初”大模型仅用0.546秒就可对法律案件进行拆解、提取关键事件，在办公效率方面实现案件分析速度的百倍提升，可有效解决律师整体资源匮乏、服务成本高等问题。
- 徐波表示，自动化所未来将以“紫东太初”大模型为基础，持续探索与类脑智能、博弈智能等技术路径的相互融合，最终实现可自主进化的通用人工智能，并将探索在更多领域发挥赋能价值，为促进我国数字经济快速发展贡献力量。
- “目前，‘紫东太初’大模型已展现出广阔的产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开展了一系列引领性、示范性应用。
- “人类学习要受到现实世界中视觉、触觉、听觉、嗅觉等各种信号的综合影响，每一种不同类型的信号都是一种模态，人类的学习过程是全模态的。
- 6月16日，在人工智能框架生态峰会2023上，中国科学院自动化研究所所长徐波在发布“紫东太初”全模态大模型时，展示了该模型的新“能耐”。
- 作为“紫东太初”1.0的升级版，“紫东太初”全模态大模型具备全模态理解能力、生成能力和关联能力，不仅能读懂文字、图像和音频，还能理解视频、3D点云、传感信号，可以结合图像、声音和视频完成场景分析，其理解和生成能力更加接近人类，向通用人工智能迈出关键一步。
迈入数字经济时代，数据的范畴不断拓宽，不仅包含人类自身产生的语音、图像、文字等数据，还有机器产生的大量结构和非结构化数据。 遊人紫步2025 遊人紫步2025 输入一张图书馆的图片和一段汽车鸣笛的音频，“紫东太初”就能发现其中的矛盾，分析出这段音频不太可能出现在图书馆的场景中；给出一张救护车图片、一段森林救火的视频和一段警笛音频，它也能识别并讲述一段完整的救援故事。 “‘紫东太初’已经开放服务平台，支持各行业根据各自需求‘组装’模块，再输入少量的行业样本数据，就能产出自主可控的行业相关大模型。 “人类学习要受到现实世界中视觉、触觉、听觉、嗅觉等各种信号的综合影响，每一种不同类型的信号都是一种模态，人类的学习过程是全模态的。
“‘紫东太初’2.0可以像人一样综合运用多种信号进行思考。 ”据研发团队介绍，它可以理解三维场景、传感信号等数字物联时代的重要信息，完成了音乐、图片和视频等数据之间的跨模态对齐，能够处理音乐视频分析、三维导航等多模态关联应用需求，并可实现音乐、视频等多模态内容理解和生成。 作为“紫东太初”1.0的升级版，“紫东太初”全模态大模型具备全模态理解能力、生成能力和关联能力，不仅能读懂文字、图像和音频，还能理解视频、3D点云、传感信号，可以结合图像、声音和视频完成场景分析，其理解和生成能力更加接近人类，向通用人工智能迈出关键一步。 徐波表示，自动化所未来将以“紫东太初”大模型为基础，持续探索与类脑智能、博弈智能等技术路径的相互融合，最终实现可自主进化的通用人工智能，并将探索在更多领域发挥赋能价值，为促进我国数字经济快速发展贡献力量。 遊人紫步2025 遊人紫步 比如，在医疗场景下，“紫东太初”大模型部署于神经外科机器人MicroNeuro，可实现在术中实时融合视觉、触觉等多模态信息，协助医生对手术场景进行实时推理判断。 同时与北京协和医院合作，利用“紫东太初”具备的较强逻辑推理能力，尝试在人类罕见病诊疗这个挑战性医学领域有所突破。
- “‘紫东太初’全模态大模型以国产化基础软硬件平台昇腾AI为基础，其算法由中科院自动化所自主研发，算力则由武汉人工智能计算中心提供支持。
- 同时与北京协和医院合作，利用“紫东太初”具备的较强逻辑推理能力，尝试在人类罕见病诊疗这个挑战性医学领域有所突破。
- 同样地，机器要想变得‘更聪明’，也需要像人一样，发展贯通图、文、音等多种模态的大模型。
- 迈入数字经济时代，数据的范畴不断拓宽，不仅包含人类自身产生的语音、图像、文字等数据，还有机器产生的大量结构和非结构化数据。
- 再比如，在法律咨询领域，“紫东太初”大模型仅用0.546秒就可对法律案件进行拆解、提取关键事件，在办公效率方面实现案件分析速度的百倍提升，可有效解决律师整体资源匮乏、服务成本高等问题。
同样地，机器要想变得‘更聪明’，也需要像人一样，发展贯通图、文、音等多种模态的大模型。 遊人紫步 遊人紫步2025 遊人紫步2025 遊人紫步 6月16日，在人工智能框架生态峰会2023上，中国科学院自动化研究所所长徐波在发布“紫东太初”全模态大模型时，展示了该模型的新“能耐”。
