意大利核物理研究所(INFN)是一家专门致力于推动核能和粒子物理学的机构,涉足的领域从低能核物理到高能物理,以及天体粒子物理学和暗物质研究。
该研究所由意大利政府创立,历史可追溯至上世纪五十年代,当时意大利全国的大学聚集在一起继续推动恩里科·费米的研究。今天,除了意大利的5000名科学家外,他们还与包括欧洲原子能机构(CERN)在内的全球研究机构保持着密切的工作联系。
近日,openstack.org的Superuser杂志采访了意大利核物理研究所的技术研究员Giuseppe Andronico、技术研究主任Claudio Grandi以及研发主管DavideSalomoni。他们向我们谈论了关于24*7运行分布式数据中心所面临的压力,以及为强化OpenStack和为创建一个泛欧洲委员会研究云项目所做的工作。
从左至右分别为意大利核物理研究所的Claudio Grandi、GiuseppeAndronico 和Davide Salomoni
我们的工作是与全球其他的学院、大学和研究中心等保持密切的合作。我们参与了这些合作的许多实验。合作是我们的主要工具。如今,合作也意味着分享ICT资源和数据,在不同的合作中使用大量的计算模式。
我们以前使用的是网格计算,现在我们开始尝试使用云计算。我们测试了许多环境和工具,但是在近期的许多项目中,我们被要求提出一种针对研究、公共管理和健康系统的通用环境。因此,我们得到了意大利政府的资助,以观察OpenStack的发展趋势及其潜力。
OpenStack正在大量的其他科研合作中被越来越频繁地使用,相关的设备和工具正变得越来越多,这为我们的未来发展提供了极大的潜力。我们在2013年开始接触到OpenStack,并且开始努力想理解它们的工作原理,以及如何运营它们。这是一项挑战。我们已经为许多活动提供了生产级服务,例如四个主要的LHC(大型强子对撞机)实验。突然进行调整对于我们来说是不可能的。
随后,我们开始OpenStack上开发出一些试点性基础设施,主要是增强我们的信心水平和服务质量。接下来,我们开始逐步转向OpenStack,尝试将我们向研究人员提供的服务迁移到云端,并开发新的服务。我们非常谨慎地做出这些转变,因为我们有义务让这些合作感到满意。
为祝贺伽玛射线探测器Agata发行的邮票
我们的主要目标是通过向科研人员提供计算力以支持研究活动。这是大部分计算和存储的主要用途。我们还管理着许多数据中心,这些数据中心的内核数量从数十个到数千个不等,它们有的拥有数十拍字节磁盘,有的则采用的是磁带式存储。
OpenStack可以让我们更为动态地创建自己的数据中心,以更快捷的方式提供更多的服务。这种方式引起了我们的系统管理员的兴趣,目前他们正在管理OpenStack的多个部分以让自己的工作更为简便,同时提供更多的服务。迄今为止,它们并不是一个庞大的工作负载,但是它们是未来合作的基础。
意大利核物理研究所目前还在内部大力宣传推广这些已经开发出来的技术。对于ICT来说,也是这样。我们了解到OpenStack已经被应用在了我们与其他研究机构、部分意大利公共行政管理,以及希望测试或是开发出云计算解决方案的医疗健康机构的合作当中。例如,在近期欧洲委员会批认准的项目中,OpenStack也是一个我们支持的云管理框架。这个涉及26个欧洲国家,由意大利核物理研究所具体协调的项目被称为INDIGO数据云(INDIGODataCloud,www.indigo-datacloud.eu)。欧洲委员会将为其提供30个月的资金(从2015年4月至2017年9月),以创建一个开源的云科研平台。
我们的机构由多个部门组成,它们被托管在多所国内大学、位于国内不同地区的四个实验室和其他一些机构当中。在这些机构中,每一家都曾经管理过自己的资源,我们也是在近期通过网格计算和为LHC实验提供支持才开始协调这些操作。目前我们的主要活动依靠的是某一类的身份提供商(IdP),重点是保证分布式资源能够被便捷地访问到。通过OpenStack整合这些IdP是我们的一个主要目标。为了实现这一目标,我们从2015年开始就指定专门的人员关注Keystone开发团队的工作,尤其是涉及IdP整合方面的工作。
与此同时,我们还做了一些“部署与尝试”工作,以定义能够发挥我们的资源和分布式特点最大优势的架构。
我们曾经尝试过、并且目前正在尝试通过合理的努力开发出多个扩展以丰富OpenStack,例如:
● 针对IdP整合的Keystone演进。
● 一个云管理框架(CMF),建立CMF中立的分布式授权机制。
● 在OpenStack资源分配中支持现场实例(spot instances)和先进的调度机制(例如公平分配)。
● 对Docker容器进行整合。
●对属于同一管理域或是多个管理域的多个OpenStack站点进行整合。
●通过WSO2、CloudFoundry、OpenShift或Cloudify等开放的PaaS(平台即服务)解决方案对Heat进行补充。
● 一套基于Puppet/Foreman的、且易于使用的安全工具,这一点虽然排在最后,但是同样非常重要。
意大利核物理研究所Gran Sasso实验室中微子探测器Borexino内部结构
我们仍然处于实验阶段。但是我们已经看到了大量有趣的和有前景的结果。在卡塔尼亚,我们已经实现了“云化”。在OpenStack中,作为四个LHC实验之一的Alice拥有一个资源池的专用资源。在罗马,我们尝试了一个基于私有L3网络开发的云,这个云分布在部门和实验室之间。在帕多瓦、博洛尼亚和巴里,我们在生产环境中有多个基于OpenStack的集群。其中一些集群被用于开发连接当前OpenStack解决方案的拓展件。我们已经设计出了一个多域的OpenStack云,并将它们部署在了意大利核物理研究所的一些计算中心。除了支持科研计算外,这些计算中心的主要目标是托管目前活跃在研究所的不同架构中的中央服务和本地服务。
OpenStack社区非常有意思。这个社区是一个庞大且不断成长的社区,他们统合了来自不同领域的众多需求。从电影产业到网络运营商,到金融业再到科学研究领域,他们就是一个完整的社区,在那里能够讨论、分享经验、需求和问题。彼此之间有许多相互学习的机会,共享探讨常见的问题。我们自己开发的一些解决方案可以获得广泛的关注,同时我们也可以从别人那里发现哪些组件或解决方案可以为自己所用。
在我们开始为开发网格软件做出自己的贡献时,我们进行了一场内部讨论,并最终决定采用开源软件。我们的大部分代码是针对科研的,与开源许可证一起发布可以促进科研合作。我们相信对于我们的工作来说,开源是一种重要的模式。类似INDIGO-DataCloud的项目将目标完全放在了开放研发上,如果它们不是开源的,我们肯定不会对它们进行投资。
在Genoa科学大会上,意大利核物理研究所的展示名为《宇宙并不是以前那样》
我们的工作是在科研共享资源中合作。在LHC的第二阶段,大规模的合作,例如CMS、ALICE,将是对每年400拍字节的分析。为了做这一工作,数据将在所有参与的数据中心之间共享,用于分析这些数据的应用将被发送,因为只有展开密切的合作才可能实现对这些数据的分析。这一工作还将日夜不停地持续很长一段时间。每次停止都意味着数据分析的延迟和新发现的推后。错误是不可接受的,我们无法对这些重要资源进行大量冗余。这反映出严格的SLA(服务水平协议)也是参与数据分析的基础设施的一部分。
合作也意味着与全球各地的人员不断进行交互,我们必须保证所有的服务都能够时刻保持正常运行。对于协作来说,关键时刻的一个故障意味着无法在恰当的时机向资金管理机构提交项目,工作的启动可能会错失良机。这也意味着我们研究所的多项服务必须要拥有很高的服务质量。因此,我们将目标锁定为创建、验证、部署一个包括OpenStack在内的云生态环境,它们必须要易于安装、操作、升级和扩展。这仍然需要一些努力,特别是我们这一方面,不过技术提供方(例如OpenStack)也需要共同努力。
位于卡塔尼亚的研究设备
我们正在部署云基础设施以无缝管理我们的资源。我们的环境突出了合作需求,因此在一个管理域中拥有一个多站点云是不够的。
比方说,在一个站点中,本地部门与本地大学正在展开严格的合作。我们的研究所无法通过开发一个带有共享资源的通用云进行全方位管理。另一个站点深度介入到了欧洲的项目,并且负责处理这些项目的专用资源,我们的研究所也无法对它们进行管理。此时,我们要开发出一种能够像主核心那样管理它们的解决方案。这个解决方案由多站点云中的大部分资源构成,并且要带有一个共享的管理域,以及我们研究所针对具体合作使用的一些其他云。尽管如此,这仍然需要展开更为详细的探索。
OpenStack正在提供越来越多的功能。我们建议用户明确需要哪些最低限度的功能,明确自己的需求重点。为了实现这一目标,咨询专家顾问、用户群组或是OpenStack管理员是非常有用的,他们能够为新用户提供一些建议。在进行过广泛测试以确认我们期望的功能能够成功运行之前,我们并不推荐过于仓促地安装和运行最新的版本。
如果OpenStack能够提供关于他们演进的明确愿景,以及老版本更为顺畅的升级方式,我们将非常感激。希望OpenStack能够再接再厉,继续加油!