如何在不拉伸原件的情况下扩展 CIImage 的空间(边界)?

Question

我正在对已经裁剪的图像应用多个过滤器，我想在原始图像旁边翻转它的副本。这将使它的宽度增加一倍。

问题：如何扩展边界，使两者都适合？.cropped(to：CGRect(将拉伸那里的任何原始内容。存在现有内容的原因是因为我正在尝试尽可能多地使用 applyingFilter 来节省处理时间。这也是我裁剪原始未镜像图像的原因。

下面是我的CIImage"alphaMaskBlend2"，带有合成过滤器，以及应用于同一图像的变换，该变换可以翻转它并调整其位置。 sourceCore.extent 是我想要的最终图像的大小。

alphaMaskBlend2 = alphaMaskBlend2?.applyingFilter("CISourceAtopCompositing",
parameters: [kCIInputImageKey: (alphaMaskBlend2?.transformed(by: scaledImageTransform))!,
kCIInputBackgroundImageKey: alphaMaskBlend2!]).cropped(to: sourceCore.extent)

我已经尝试了转换在LLDB中的位置。我发现裁剪此滤镜后，最左侧的图像被拉伸。如果我使用相同的程度夹紧，然后再次将图像重新裁剪到相同的程度，则图像不再失真，但图像的边界只是它应该宽度的一半。

我能做到这一点的唯一方法是在背景图像(sourceCore(上进行合成，该图像的大小将是两个图像的组合大小，然后合成另一个图像：

alphaMaskBlend2 = alphaMaskBlend2?.applyingFilter("CISourceAtopCompositing",
parameters: [kCIInputImageKey: alphaMaskBlend2!,
kCIInputBackgroundImageKey: sourceCore])
alphaMaskBlend2 = alphaMaskBlend2?.applyingFilter("CISourceAtopCompositing",
parameters: [kCIInputImageKey: (alphaMaskBlend2?.cropped(to: cropRect).transformed(by: scaledImageTransform))!,
kCIInputBackgroundImageKey: alphaMaskBlend2!])

问题是，这比必要的更昂贵。我什至通过基准测试对其进行了测试。如果我可以用一个复合材料来做到这一点，那会更有意义。

Answer 1

虽然我可以"翻转"CIImage但我找不到一种方法来使用现有的CIFilter将其与原始"缝合"。但是，有了编写自己的CIKernel的一些基本知识，您就可以。这里有一个简单的实现这一目标的项目。

此项目包含一个示例映像，并使用 CoreImage 及其GLKView：

• 通过转置 Y 的"底部/顶部"坐标来翻转图像CIPerspectiveCorrection
• 使用CIConstantColor创建新的"调色板"图像，然后使用CICrop将其裁剪为原始宽度的两倍
• 使用一个非常简单的CIKernel(注册为"Stitch"(将其实际缝合在一起

这是要翻转的代码：

// use CIPerspectiveCorrection to "flip" on the Y axis
let minX:CGFloat = 0
let maxY:CGFloat = 0
let maxX = originalImage?.extent.width
let minY = originalImage?.extent.height
let flipFilter = CIFilter(name: "CIPerspectiveCorrection")
flipFilter?.setValue(CIVector(x: minX, y: maxY), forKey: "inputTopLeft")
flipFilter?.setValue(CIVector(x: maxX!, y: maxY), forKey: "inputTopRight")
flipFilter?.setValue(CIVector(x: minX, y: minY!), forKey: "inputBottomLeft")
flipFilter?.setValue(CIVector(x: maxX!, y: minY!), forKey: "inputBottomRight")
flipFilter?.setValue(originalImage, forKey: "inputImage")
flippedImage = flipFilter?.outputImage

下面是创建调色板的代码：

let paletteFilter = CIFilter(name: "CIConstantColorGenerator")
paletteFilter?.setValue(CIColor(red: 0.7, green: 0.4, blue: 0.4), forKey: "inputColor")
paletteImage = paletteFilter?.outputImage
let cropFilter = CIFilter(name: "CICrop")
cropFilter?.setValue(paletteImage, forKey: "inputImage")
cropFilter?.setValue(CIVector(x: 0, y: 0, z: (originalImage?.extent.width)! * 2, w: (originalImage?.extent.height)!), forKey: "inputRectangle")
paletteImage = cropFilter?.outputImage

以下是注册和使用自定义CIFilter的代码：

// register and use stitch filer
StitchedFilters.registerFilters()
let stitchFilter = CIFilter(name: "Stitch")
stitchFilter?.setValue(originalImage?.extent.width, forKey: "inputThreshold")
stitchFilter?.setValue(paletteImage, forKey: "inputPalette")
stitchFilter?.setValue(originalImage, forKey: "inputOriginal")
stitchFilter?.setValue(flippedImage, forKey: "inputFlipped")
finalImage = stitchFilter?.outputImage

演示项目中的所有这些代码(带有布局约束的长代码(都在viewDidLoad，所以请将其放在它所属的地方！

下面是用于 (a( 创建一个名为 Stitch 的CIFilter子类的代码，以及 (b( 注册它，以便您可以像使用任何其他过滤器一样使用它：

func openKernelFile(_ name:String) -> String {
let filePath = Bundle.main.path(forResource: name, ofType: ".cikernel")
do {
return try String(contentsOfFile: filePath!)
}
catch let error as NSError {
return error.description
}
}
let CategoryStitched = "Stitch"
class StitchedFilters: NSObject, CIFilterConstructor {
static func registerFilters() {
CIFilter.registerName(
"Stitch",
constructor: StitchedFilters(),
classAttributes: [
kCIAttributeFilterCategories: [CategoryStitched]
])
}
func filter(withName name: String) -> CIFilter? {
switch name {
case "Stitch":
return Stitch()
default:
return nil
}
}
}
class Stitch:CIFilter {
let kernel = CIKernel(source: openKernelFile("Stitch"))
var inputThreshold:Float  = 0
var inputPalette: CIImage!
var inputOriginal: CIImage!
var inputFlipped: CIImage!
override var attributes: [String : Any] {
return [
kCIAttributeFilterDisplayName: "Stitch",
"inputThreshold": [kCIAttributeIdentity: 0,
kCIAttributeClass: "NSNumber",
kCIAttributeDisplayName: "Threshold",
kCIAttributeDefault: 0.5,
kCIAttributeMin: 0,
kCIAttributeSliderMin: 0,
kCIAttributeSliderMax: 1,
kCIAttributeType: kCIAttributeTypeScalar],
"inputPalette": [kCIAttributeIdentity: 0,
kCIAttributeClass: "CIImage",
kCIAttributeDisplayName: "Palette",
kCIAttributeType: kCIAttributeTypeImage],
"inputOriginal": [kCIAttributeIdentity: 0,
kCIAttributeClass: "CIImage",
kCIAttributeDisplayName: "Original",
kCIAttributeType: kCIAttributeTypeImage],
"inputFlipped": [kCIAttributeIdentity: 0,
kCIAttributeClass: "CIImage",
kCIAttributeDisplayName: "Flipped",
kCIAttributeType: kCIAttributeTypeImage]
]
}
override init() {
super.init()
}
override func setValue(_ value: Any?, forKey key: String) {
switch key {
case "inputThreshold":
inputThreshold = value as! Float
case "inputPalette":
inputPalette = value as! CIImage
case "inputOriginal":
inputOriginal = value as! CIImage
case "inputFlipped":
inputFlipped = value as! CIImage
default:
break
}
}
@available(*, unavailable) required init?(coder aDecoder: NSCoder) {
fatalError("init(coder:) has not been implemented")
}
override var  outputImage: CIImage {
return kernel!.apply(
extent: inputPalette.extent,
roiCallback: {(index, rect) in return rect},
arguments: [
inputThreshold as Any,
inputPalette as Any,
inputOriginal as Any,
inputFlipped as Any
])!
}
}

最后，CIKernel代码：

kernel vec4 stitch(float threshold, sampler palette, sampler original, sampler flipped) {
vec2 coord = destCoord();
if (coord.x < threshold) {
return sample(original, samplerCoord(original));
} else {
vec2 flippedCoord = coord - vec2(threshold, 0.0);
vec2 flippedCoordinate = samplerTransform(flipped, flippedCoord);
return sample(flipped, flippedCoordinate);
}
}

现在，其他人可能会有更优雅的东西 - 甚至可能使用现有的CIFilter - 但这效果很好。它只使用GPU，因此在性能方面，可以"实时"使用。我添加了不需要的代码(注册过滤器，使用字典定义属性(，使它更像是那些刚开始创建CIKernels的教学练习，任何了解使用CIFilters知识的人都可以使用。如果你专注于内核代码，你会发现它看起来C多么相似。

最后，一个警告。我只是将(Y 轴(翻转的图像缝合到原始图像的右侧。如果你想要别的东西，你需要调整一些东西。