태그 : beast 요약보기전체보기목록닫기
- 현재 로그DB 작업 상태(1)2010.08.30
- Inverted Index 구현 끝(2)2010.08.28
- 다시 작업하는 로그 DB(0)2010.08.27
1
- NCHOVY
- 2010/08/30 01:43
회사 컴으로는 320M 벌크 로딩할 때 초당 4천 정도로 읽어들이면서 풀텍스트 인덱싱을 안정적으로 수행한다. (약 25~70% CPU 사용) 데이터 소스가 하나라서 그렇지 리소스는 좀 더 여유가 있으니 아마 8천~1만까지는 당장 처리가 될 것 같다.. 나머지는 프로파일링 해가면서 개선하는 수 밖에..
위 화면에선 200만건 로딩 직후 검색해서 40...
- 일
- 2010/08/28 01:59
풀텍스트 인덱스 검색도 입력 역순으로 최근 것부터 됨..32는 샘플 웹로그 10줄 넣은 것에 대한 term 갯수임..
이제 조립만 하면 되나...빨리 검색어 추천까지 싹 때려줘야 제맛인데..
- 일
- 2010/08/27 15:55
그동안 계속 고민하고 삽질하던게 어제 모든 퍼즐 조각이 맞춰진 기분이 들었다 흠..크라켄 코덱과 크라켄 GeoIP 인덱싱 로직을 가져다가 하루만에 쌓고 조회하는건 다 만들었음..
로그 길이제한/컬럼제한 없어서 너무 편한듯.. (semi-structured 혹은 object database로 분류할 수 있을 듯..)
오늘 좀 더 삽질하면 ...
1
최근 덧글