从我的 Python 代码返回一个 Opencv Mat 类型

Question

我试图从我的opencv python代码中返回（c ++ opencv Mat）

我完成的步骤：

A. 使用 SWIG 为我的 opencv C++ 程序生成 .so 文件

B. 编写了一个示例 Opencv Python 程序

A.为我的opencv C++代码生成 .so：

OpenCVtest.cpp

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <iostream>
using namespace cv;
using namespace std;
int my(Mat image)
{
   cv::Mat out; 
    if(! image.data )   // Check for invalid input
   {
       cout <<  "Could not open or find the image" << std::endl ;

   }
  cvtColor(image, out,COLOR_BGR2GRAY);
  int z=10;
  return z;
}

OpenCVTEST.i

%module opencvtest
%{
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv/cv.h>
extern cv::Mat my(cv::Mat image);
%}
%include "typemaps.i"
 %typemap(jstype) cv::Mat& "org.opencv.core.Mat"
 %typemap(jstype) cv::Mat "org.opencv.core.Mat"
  %typemap(javain) cv::Mat "$javainput.getNativeObjAddr()"
    %typemap(javain) cv::Mat& "$javainput.getNativeObjAddr()"
    %typemap(jtype) cv::Mat& "long"
    %typemap(jni) cv::Mat& "jlong"
extern cv::Mat my(cv::Mat image);

完成了以下命令，为我的C++程序成功生成了.so文件：

1.swig -c++ -python opencvtest.i
2.g++ -fpic -c opencvtest.cpp opencvtest_wrap.cxx -I/usr/include/python2.7 -I/usr/local/include -I/usr/local/include/opencv -I/usr/local/include/opencv2 

3.g++ -shared opencvtest.o opencvtest_wrap.o -o _opencvtest.so -L/usr/local/lib /usr/local/lib/libopencv_calib3d.so /usr/local/lib/libopencv_core.so /usr/local/lib/libopencv_features2d.so /usr/local/lib/libopencv_flann.so /usr/local/lib/libopencv_highgui.so /usr/local/lib/libopencv_imgcodecs.so /usr/local/lib/libopencv_imgproc.so /usr/local/lib/libopencv_ml.so /usr/local/lib/libopencv_objdetect.so /usr/local/lib/libopencv_photo.so /usr/local/lib/libopencv_shape.so /usr/local/lib/libopencv_stitching.so /usr/local/lib/libopencv_superres.so /usr/local/lib/libopencv_ts.a /usr/local/lib/libopencv_video.so /usr/local/lib/libopencv_videoio.so /usr/local/lib/libopencv_videostab.so

B. 编写了一个示例 Opencv Python 程序来返回 opencv c++ Mat：

Sample.py

  from __future__ import division
    import cv2 , numpy
    import opencvtest
    img = cv2.imread('/home/hubino/Desktop/python/MyPic.jpg')
    screen_res = 1280, 720
    scale_width = screen_res[0] / img.shape[1]
    scale_height = screen_res[1] / img.shape[0]
    scale = min(scale_width, scale_height)
    window_width = int(img.shape[1] * scale)
    window_height = int(img.shape[0] * scale)
    res=opencvtest.sample(img)
    cv2.imshow('Source Image',img)
    cv2.waitKey(0)
    cv2.namedWindow('dst_rt', cv2.WINDOW_NORMAL)
    cv2.resizeWindow('dst_rt', window_width, window_height)
    cv2.imshow('dst_rt', res)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

当我尝试在我的机器上执行 sample.py 时收到此错误

回溯（最近一次调用）：文件 "sample1.py"，第 15 行，在 res=opencvtest.my（img） 中类型错误：在方法"my"中，类型为"cv：：Mat"的参数 1

任何一位专家都可以帮助我解决问题。

Answer 1

发布以防万一有人遇到同样的问题：

使用 SWIG 和 https://github.com/renatoGarcia/opencv-swig 来处理传递 cv：：Mat 我最终得到

my_lib.hpp

 #include <opencv2/core.hpp>
 #include <iostream>
 cv::Mat getImage(cv::Mat& image)
{
    std::cout << "image size " << image.rows << " " << image.cols << std::endl;
    return image;
}

my_lib.i

%module my_lib
%include <opencv.i>
%cv_instantiate_all_defaults
%{
    #include "my_lib.hpp" 
    #include <opencv2/core.hpp>
    #include <iostream>
%}
%include "my_lib.hpp"

test.py（OpenCV-SWIG 库与脚本位于同一文件夹中）

import my_lib
import cv2
import numpy as np
import sys
sys.path.append('./opencv-swig-master/test/build/')
import mat
img = cv2.imread("test.jpg")
new_img = my_lib.getImage(mat.Mat.from_array(img))
new_img = np.asarray(new_img)
cv2.imwrite("test_out.jpg", new_img)

而这些命令

swig -I<path to opencv-swig-master/lib/> -I<path to opencv2 include folder> -c++ -python my_lib.i
g++ -shared -fpic my_lib_wrap.cxx $(pkg-config --cflags --libs python3) $(pkg-config --libs opencv) -o _my_lib.so

Answer 2

在 c++ 代码中，您使用的是 cv：：Mat 数据类型。就像在python中一样，你也使用openCV，我可以想象你也希望得到相同的数据类型。但是在python中，openCV使用numpy数组作为图像格式。

在下面的链接中，他们谈到了 c++ 下的 numpy 数据格式。我可以想象你使用这种数据格式在python和C++之间进行通信。在C++中，您需要从numpy转换为cv：：Mat。

https://scipy-lectures.github.io/advanced/interfacing_with_c/interfacing_with_c.html