참조: https://dev.mysql.com/doc/refman/5.7/en/packet-too-large.html참조: http://blackbull.tistory.com/12 아래와 같은 패킷 에러가 발생했다. Could not roll back JPA transaction; nested exception is javax.persistence.PersistenceException: unexpected error when rollbacking] with root causecom.mysql.jdbc.PacketTooBigException: Packet for query is too large (9825416 > 4194304). You can change this value on the server b..
대략 3기가정도가 되는 압축파일을 만드는 중. 계속된 메모리 부족현상으로 에러가 발생하였다. 해당 부분을 확인하여 FileSystem으로 처리를하면된다고해서 처리했는데 어떤 부분이 문제였을까? 차이점은 아래의 화면에서 확인이 가능하다. 이전 코드같은 경우는 garbage collection에서 메모리를 flush처리가 안된 것 같은데... 정확한 이유는 잘모르겠다... 아무튼 Files.copy API를 사용하더라도 환경 설정값에 따라 처리하는 방식이 다른데, 다른 부분에 대한 설명은 아래의 화면을 보면 알 수 있다. userTempFile을 사용하냐 안하냐에 따라 ByteArrayOutputStream을 사용하고 안하고의 차이가 있었다. 해당값을 true로 설정하니 더이상 에러(memory)는 발생하지..
출처: http://blog.naver.com/PostView.nhn?blogId=olovesun&logNo=10147277824 원문 : http://stackoverflow.com/questions/7106775/how-to-download-large-files-without-memory-issues-in-java 1. byte[] buf=new byte[8192]; (보통은 1024 같은걸로 해도 되고..) 식으로 코딩적으로 read buffer 를 구성하여 한번에 몽땅 읽어들여 메모리상에 올리지 않도록 함. 2. 파일이 클경우는 while 루프 를 모두 돌아 한방에 flush() 을 했다가는 여차하면 OutOfMemory 니 적절하게 중간에 flush()를 해서 write 버퍼를 비우는 작업을 곁..
- BigData
- ML
- 점프투파이썬
- javascript
- serverless
- Maven
- 모두의딥러닝
- Java
- memory
- TDD
- API
- AI
- 파이썬
- 중앙정보처리학원
- web
- Configuration
- Gradle
- mysql
- spring
- Docker
- 텐서플로우
- AWS
- tensorflow
- 머신러닝
- mybatis
- executor
- NIO
- Error
- python
- spark
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |