[已解决]jdk1.8增大jvm内存，救救孩子吧

53清

问题描述：
使用pyspark，显示堆空间不足的报错

但是我是用的pycharm无法利用eclipse修改jvm内存，因此想要修改文件中jvm的配置，但是一直报错显示失败，我该如何增大Jvm的内存呢？

最佳答案

月排行榜 / 总排行榜

Twilight6

2022-6-1 11:23:24

53清 发表于 2022-6-1 11:32
感谢，不过还是不行，还是会有那样的警告，然后代码显示堆空间不足，运行不动

在配置文件中加上这几行代码试试看：

1. -j9vm KNOWN
   
2. -hotspot IGNORE
   
3. -classic IGNORE
   
4. -native IGNORE
   
5. -green IGNORE

复制代码

跳转到最佳答案楼层

Twilight6

53清 发表于 2022-6-1 11:32
感谢，不过还是不行，还是会有那样的警告，然后代码显示堆空间不足，运行不动

在配置文件中加上这几行代码试试看：

1. -j9vm KNOWN
   
2. -hotspot IGNORE
   
3. -classic IGNORE
   
4. -native IGNORE
   
5. -green IGNORE

复制代码

Twilight6

这里不是报错吧，是警告

试试改成这样：

1. -Xms1024m
   
2. -Xmx2048m
   
3. -XX:PermSize=1024M
   
4. -XX:MaxPermSize=2048M

复制代码

53清

Twilight6 发表于 2022-6-1 11:28
这里不是报错吧，是警告

试试改成这样：

感谢，不过还是不行，还是会有那样的警告，然后代码显示堆空间不足，运行不动

御修

这个是我改的你试一下
-Xms2048m
-Xmx2048m
-XX:ReservedCodeCacheSize=512m
-XX:+IgnoreUnrecognizedVMOptions
-XX:+UseG1GC
-XX:SoftRefLRUPolicyMSPerMB=50
-XX:CICompilerCount=2
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow
-ea
-Dsun.io.useCanonCaches=false
-Djdk.http.auth.tunneling.disabledSchemes=""
-Djdk.attach.allowAttachSelf=true
-Djdk.module.illegalAccess.silent=true
-Dkotlinx.coroutines.debug=off

53清

Twilight6 发表于 2022-6-1 11:48
在配置文件中加上这几行代码试试看：

1. #
   
2. #
   
3. #
   
4. # Copyright (c) 2003, 2013, Oracle and/or its affiliates. All rights reserved.
   
5. # ORACLE PROPRIETARY/CONFIDENTIAL. Use is subject to license terms.
   
6. #
   
7. #
   
8. #
   
9. #
   
10. #
    
11. #
    
12. #
    
13. #
    
14. #
    
15. #
    
16. #
    
17. #
    
18. #
    
19. #
    
20. #
    
21. #
    
22. #
    
23. #
    
24. #
    
25. #
    
26. #
    
27. #
    
28. # List of JVMs that can be used as an option to java, javac, etc.
    
29. # Order is important -- first in this list is the default JVM.
    
30. # NOTE that this both this file and its format are UNSUPPORTED and
    
31. # WILL GO AWAY in a future release.
    
32. #
    
33. # You may also select a JVM in an arbitrary location with the
    
34. # "-XXaltjvm=<jvm_dir>" option, but that too is unsupported
    
35. # and may not be available in a future release.
    
36. #
    
37. -Xms1024m
    
38. -Xmx2048m
    
39. -XX:PermSize=1024M
    
40. -XX:MaxPermSize=2048M
    
41. -server KNOWN
    
42. -client IGNORE
    
43. -j9vm KNOWN
    
44. -hotspot IGNORE
    
45. -classic IGNORE
    
46. -native IGNORE
    
47. -green IGNORE
    
48. 
    
49. 
    
50. 
    
51. 
    

复制代码

和之前一样，给我的感觉是设置的参数没有生效

53清

53清 发表于 2022-6-1 12:01
和之前一样，给我的感觉是设置的参数没有生效

Warning: Missing VM type on line 37 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: Missing VM type on line 38 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: Missing VM type on line 39 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: Missing VM type on line 40 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: No leading - on line 48 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: Missing VM type on line 48 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: No leading - on line 49 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: Missing VM type on line 49 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: No leading - on line 50 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: Missing VM type on line 50 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: No leading - on line 51 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'
Warning: Missing VM type on line 51 of `D:\envir\jdk\jre\lib\amd64\jvm.cfg'

wuliangtdi

试试这样

                               
登录/注册后可看大图

                               
登录/注册后可看大图

                               
登录/注册后可看大图

53清

最终的解决办法是改配置，不过还是感谢四楼大哥。
spark = SparkSession.builder \
    .master('local[*]') \
    .config("spark.driver.memory", "15g") \
    .appName('my-cool-app') \
    .getOrCreate()

sc = spark.sparkContext
sqlContext = SQLContext(sc)
改成15g就ok了

53清

53清 发表于 2022-6-28 23:51
最终的解决办法是改配置，不过还是感谢四楼大哥。
spark = SparkSession.builder \
    .master('local[* ...

还有其它大佬们