TensorFlow

解释器支持 WasmEdge TensorFlow lite 的推断扩展，从而使你的 JavaScript 能够运行 ImageNet 模型来进行图像分类。本文会向你展示如何在你的 javascript 程序中使用基于 WasmEdge 的 TensorFlow Rust SDK。

下面是一个 JavaScript 的示例。全部代码可参考这里 example_js/tensorflow_lite_demo/

1. import {Image} from 'image';
2. import * as std from 'std';
3. import {TensorflowLiteSession} from 'tensorflow_lite';

5. let img = new Image('food.jpg');
6. let img_rgb = img.to_rgb().resize(192, 192);
7. let rgb_pix = img_rgb.pixels();

9. let session = new TensorflowLiteSession(
10. 'lite-model_aiy_vision_classifier_food_V1_1.tflite');
11. session.add_input('input', rgb_pix);
12. session.run();
13. let output = session.get_output('MobilenetV1/Predictions/Softmax');
14. let output_view = new Uint8Array(output);
15. let max = 0;
16. let max_idx = 0;
17. for (var i in output_view) {
18. let v = output_view[i];
19. if (v > max) {
20. max = v;
21. max_idx = i;
22. }
23. }
24. let label_file = std.open('aiy_food_V1_labelmap.txt', 'r');
25. let label = '';
26. for (var i = 0; i <= max_idx; i++) {
27. label = label_file.getline();
28. }
29. label_file.close();

31. print('label:');
32. print(label);
33. print('confidence:');
34. print(max / 255);

为了在 WasmEdge runtime 中运行 JavaScript，你可以在 CLI 中执行如下操作，这样就可以重新构建一个包含 TensorFlow 的 QuickJS 引擎，然后就可以在 JavaScript 应用中调用 TensorFlow API 了。

1. $ cargo build --target wasm32-wasi --release --features=tensorflow
2. ... ...
3. $ cd example_js/tensorflow_lite_demo
4. $ wasmedge-tensorflow-lite --dir .:. ../../target/wasm32-wasi/release/wasmedge_quickjs.wasm main.js
5. label:
6. Hot dog
7. confidence:
8. 0.8941176470588236

注意: 命令行中的 --dir .:. 是为了给 wasmedge 开启本地文件读取权限， 以便正常读取到 main.js 文件.

注意

  • 编译器标志 --features=tensorflow 构建了一个包含 WasmEdge TensorFlow 扩展的 QuickJS 引擎。
  • 程序 wasmedge-tensorflow-lite 是 WasmEdge 包的一部分。它是内含有 Tensorflow 扩展的 WasmEdge runtime。

你现在应该可以看到食物的名字了，它被 TensorFlow lite ImageNet 模型识别出来了。

使其更快

以上 Tensorflow 推断示例执行一次需要耗时 1-2 秒. 在 web 应用场景中虽然可以接受，但是仍然有改进空间。回想一下，WasmEdge 是如今最快的 WebAssembly runtime，这是由于它的提前编译（AOT, Ahead-of-time compiler）优化。WasmEdge 提供了一个 wasmedgec 实用程序去编译和添加原生机器码段，并放到 wasm 文件里，从而达到更快的性能。

以下示例采用了 wasmedge 和 wasmedgec 的扩展版本以支持 WasmEdge Tensorflow 扩展。

1. $ cd example_js/tensorflow_lite_demo
2. $ wasmedgec-tensorflow ../../target/wasm32-wasi/release/wasmedge_quickjs.wasm wasmedge_quickjs.wasm
3. $ wasmedge-tensorflow-lite --dir .:. wasmedge_quickjs.wasm main.js
4. label:
5. Hot dog
6. confidence:
7. 0.8941176470588236

你可以看到，图像识别任务在 0.1 秒内就完成了。它的性能至少提高了 10 倍。