插件动态加载之 Stevedore

2017-05-07

最近在学习 OpenStack 源码时，发现有些模块（如 Ceilometer）使用了动态插件加载包 Stevedore，感觉有必要记录一下。

本文的例子基本摘录自博文 Sora–OpenStack 基础库 stevedore 试用总结，并在其基础上添加一些额外的东西（如 Stevedore Extention）。

项目结构如下：

sora
├── scheduler               # 插件（可以有多个）
│   ├── base.py
│   ├── __init__.py
│   ├── memory.py
│   └── simple.py
├── setup.py
└── tests
    ├── test-ori-usage.py   # 原始使用库方式（import ...）
    ├── test.py             # 测试 Stevedore （DriverManager）
    └── test-extension.py   # 测试 Stevedore 扩展（ExtensionManager）

2 directory, 8 files

插件编写

这里的插件名为 scheduler（可以有多个）。设计 API 的一个好的实践就是定义一个抽象类作为基类（这也是 Stevedore 官方样例的做法）：

# sora/scheduler/base.py
import abc
import six


@six.add_metaclass(abc.ABCMeta)
class Scheduler(object):

    @abc.abstractmethod
    def scheduler(self, data):
        pass

接下来的两个继承类如下：

# sora/scheduler/simple.py
import base
import random


class SimpleScheduler(base.Scheduler):
    def scheduler(self, data):
        id = data[random.choice(data['memory'])]
        return id

# sora/scheduler/memory.py
import base


class MemoryScheduler(base.Scheduler):
    def scheduler(self, data):
        id = data[max(data['memory'])]
        return id

setup.py

之前还想过要写下跟 Setuptools 相关的文章，但看了一下几篇文章，感觉都没必要了，太赞了：

setup.py 文件内容如下：

# sora/setup.py
from setuptools import setup, find_packages


setup(
    name='sora-scheduler',
    version='1.0',
    description='sora.scheduler',
    author='hochikong',
    author_email='hochikong@qq.com',
    platforms=['Any'],
    scripts=[],
    packages=find_packages(),
    include_package_data=True,
    entry_points={
        'sora.scheduler': [
            'memorybase = scheduler.memory:MemoryScheduler',
            'randombase = scheduler.simple:SimpleScheduler',
        ],
    },
    zip_safe=False,
)

安装包

首先进入 sora 根目录，安装下插件：python setup.py install。安装效果如下图所示：

测试

下边用几种方式来测试该插件。

原始方式

# sora/tests/test-ori-usage.py
from scheduler.memory import MemoryScheduler

dt = {
    13: 'id1',
    324: 'id2',
    434: 'id3',
    'memory': [13, 324, 434]
}

driver = MemoryScheduler()
print driver.scheduler(dt)

# Results
# id3

DriverManager

我们可以使用 DriverManager 来一个个加载插件：

# sora/tests/test.py
from stevedore import driver

dt = {
    13: 'id1',
    324: 'id2',
    434: 'id3',
    'memory': [13, 324, 434]
}

# Load driver memory
mgr_mem = driver.DriverManager(
    namespace='sora.scheduler',
    name='memorybase',
    invoke_on_load=True,
)

print mgr_mem.driver.scheduler(dt)

# Load driver simple
mgr_simple = driver.DriverManager(
    namespace='sora.scheduler',
    name='randombase',
    invoke_on_load=True,
)

print mgr_simple.driver.scheduler(dt)

# Results
# id3
# id1

ExtensionManager

Stevedore 的扩展功能允许我们同时加载多个插件（在插件很多的时候优势很明显）：

# sora/tests/test-extension.py
from stevedore import extension

dt = {
    13: 'id1',
    324: 'id2',
    434: 'id3',
    'memory': [13, 324, 434]
}

mgr = extension.ExtensionManager(
  namespace='sora.scheduler',
  invoke_on_load=True
)

for x in mgr:
    print x.obj.scheduler(dt)

# Results
# id3
# id1