最初我有一个字节字符串,然后我将其解压缩并转换为 Int16,这部分过程花费的时间相对较少。然后,我将 Int16 的列表转换为具有以下行的 Repa 数组,
Repa.fromListUnboxed (Z :. bytesOfDataPerImage `div` 2) listOfInts
根据探查器的说法,这一行占用了 ~40% 的 CPU 时间,这可能只是表明我正在执行的计算不保证使用 Repa。从 ByteString 到 Repa 数组时,是否有更有效的路线?
我已经尝试了 Repa fromByteString 函数,尽管转换
Array B DIM1 Word8 -> Array U DIM1 Int16
很慢。我首先将数组重塑为 Word8 的 2d 数组,然后折叠成 Int16 来执行此操作。也许 Byte 数组是正确的方法,而我的转换方法是错误的。
convertImageData :: Array B DIM1 Word8 -> Array U DIM1 Int16
convertImageData !arr = Repa.foldS convertWords 0 (Repa.map fromIntegral (splitArray arr))
splitArray :: Array B DIM1 Word8 -> Array U DIM2 Word8
splitArray !arr = computeUnboxedS $ reshape (Z :. ((size $ extent arr) `div` 2) :. 2) arr
convertWords :: Int16 -> Int16 -> Int16
convertWords !word1 !word2 = (word1 `shiftL` 8) .|. word2
在某些上下文中,该程序正在与用 C/C++ 编写的相同程序进行基准测试。
您最初转换为列表并稍后调用Repa.fromListUnboxed
的方法肯定非常慢,因为您所做的只是强制列表的元素,而不是按顺序将其加载到未装箱的数组中。这就是为什么转换为列表需要很少的时间,因为它所做的只是创建一堆笨蛋,但实际计算发生在您将其加载到数组中时。
你的第二种方法肯定更好,但仍然有不必要的步骤,例如,不需要reshape
数组,你可以将新的大小传递给fromByteString
函数'。所以这里有一个稍微改进的版本:
bytesToRepaOriginal :: Bytes.ByteString -> Repa.Array Repa.U Repa.DIM1 Int16
bytesToRepaOriginal bs =
Repa.foldS
convertWords
0
(Repa.map fromIntegral $
Repa.fromByteString (Repa.Z Repa.:. (Bytes.length bs `div` 2) Repa.:. 2) bs)
由于某种原因,fromByteString
Repa 中的函数和B
表示不是特别快,所以有一种更快的方法可以做到这一点,即通过直接索引ByteString
来构造数组:
bytesToRepaP :: Monad m => Bytes.ByteString -> m (Repa.Array Repa.U Repa.DIM1 Int16)
bytesToRepaP bs =
Repa.computeUnboxedP $
Repa.fromFunction
(Repa.Z Repa.:. (Bytes.length bs `div` 2))
((Repa.Z Repa.:. i) ->
let i' = i * 2
f = Bytes.unsafeIndex bs
in (fromIntegral (f i') `shiftL` 8) .|. fromIntegral (f (i' + 1)))
使用Repa.computeUnboxedS
切换到顺序计算会让你变慢 x2,但由于我们正在尝试优化它,我们需要一直使用并行计算。
不是从一个非常好的 Repa 库中窃取所有的雷声,我还想展示所有这些如何与新的 massiv 库一起工作:
import Data.Massiv.Array as Massiv
bytesToMassiv :: Bytes.ByteString -> Massiv.Array Massiv.U Massiv.Ix1 Int16
bytesToMassiv bs =
Massiv.makeArrayR U Par (Bytes.length bs `div` 2)
(i ->
let i' = i * 2
f = Bytes.unsafeIndex bs
in (fromIntegral (f i') `shiftL` 8) .|. fromIntegral (f (i' + 1)))
为了提供一些显示优化的具体数字,这里有一个精简的标准基准:
benchmarking fromByteString/Massiv Parallel
time 1.114 ms (1.079 ms .. 1.156 ms)
benchmarking fromByteString/Repa Parallel
time 1.954 ms (1.871 ms .. 2.040 ms)
benchmarking fromByteString/Repa Original
time 15.80 ms (15.67 ms .. 15.92 ms)