我正在尝试测量变量的最大大小，我可以使用spark广播广播。
我没有找到任何关于这个问题的解释。
有人测量过吗?spark有广播大小的配置吗?
广播限制现在增加到8gb。
目前是~2GB。在序列化期间，您广播的任何内容都转换为java字节数组，并且java数组的最大大小为Integer。MAX_VALUE你得到这个限制。目前可能会有一些努力来增加这个限制:SPARK-6235
相关内容
- 没有找到相关文章
最新更新
- 数据类型问题从Synapse到Delta表在Databricks?
- 使用列表值创建二进制矩阵
- 如何为被轻敲的键和被保持1000毫秒的键制作不同的热键
- 在MVVM Jetpack Compose上添加依赖项时重复类错误
- 列表理解不会消除重复项
- Windows -有效地将大量数据打印到终端
- R函数转换为HTML
- 裸机中的 Kubernetes 证书管理器问题：等待 HTTP-01 质询传播：状态代码"403"错误，预期'200'
- 使用钩子将状态从一个组件传递到另一个组件(不是子组件)
- 当我们使用暂存标志(--暂存)进行"npm build"时，如何在应用程序中创建"NON PRODUCTION"横幅？
- 循环访问列表，为每个项目创建新列表，然后将新列表作为参数传递给函数，但"var referenced before assignment"
- React单元测试Jest使用Typescript mount()的问题
- 是否有一种方法来隐藏代码使用Swift包管理器?
- 如何限制游戏循环fps?
- Django将更复杂的python类型传递给模板
- r语言 - 创建可使用元素访问的响应值列表
- ECharts Apache:条形图-添加水平水平线
- aws Cloudfront的维护页面
- 是否有任何方法为我的php应用程序从计算机到整个互联网?
- 根据指定值计算集合中所有可能的值组合
- 如何将Django模型限制为单个一对一关系?
- 尽管有"max-size"命令，但 docker-compose 未轮换失控的 docker 日志
- 使用元组作为索引来比较列表中的项
- 如何修复"javax.crypto.IllegalBlockSizeException: Input length must be multiple of 16 when decrypting wit
- c -使用中断或线程和全局变量进行优化
- Html语言中带有fetch方法的Onclick回调
- 如何调试SQL Server 2018中的存储过程
- 如何修复我的代码从serial1接收数据并按下一个值并将其发送到serial0，同时运行步进电机 &
- CentOS安装R包RLumShiny失败
- 解析字符串以创建几何图形
热门标签：
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium