티스토리

그랩의 블로그

검색하기

블로그 홈

그랩의 블로그

tansfil.tistory.com/m

데이터 엔지니어 그랩의 사고를 담습니다.

구독자: 34

방명록 방문하기

주요 글 목록

함께 자라기 프로젝트 회고 - 1. 개발자의 빠른 성장을 위한 방정식 세우기 본 시리즈의 글은 개발자뿐만 아니라 IT 교육 업계에 종사하시는 분들도 흥미롭게 읽을 수 있을 것 같습니다. 개인적인 생각들도 꽤 담겨있어서, 더 논의해보고 싶거나 아니라고 생각되는 부분들이 있다면 댓글로 남겨주거나 편한 방식으로 연락을 주시면 감사하겠습니다. 더 나은 성장에 대한 고민을 할 때 좋은 영향을 주었던 최진석 교수님의 '탁월한 사유의 시선'도 읽어보는 것을 추천합니다. 0. 시리즈를 시작하기에 앞서 글쓴이는 현재 스타트업에서 데이터 플랫폼 엔지니어로 재직하고 있는 동시에, 개발자의 성장을 촉진하는 교육을 만드는 것에 관심이 많다. 그래서 비개발 직군, 비전공자 개발자, 주니어 개발자를 위한 콘텐츠를 만들고 교육을 진행했다. 요새는 팀에 신입으로 들어온 개발자 동료들을 보고 도와주고 싶은 마음.. 공감수 11 댓글수 1 2022. 8. 14.
'소프트웨어 장인'을 읽고 [책] 소프트웨어 장인 감상평 소프트웨어 엔지니어로서 뽕을 심어주는 책. 책에서 다루는 안티 패턴들이 대부분 내가 행하던 행위들이라고 느껴져 부끄러움과 한편으로 성장해나가야 할 것들이 많다는 것에서 나오는 즐거움이 교차하였다. 솔직히 개발을 어느 정도 하다보면 더 나은 소프트웨어 엔지니어링을 위한 개념들에 대해 어느정도 인지는 하고 있었다. 코드 레벨에서, 테스트 코드는 필수이며 주기적인 리팩토링을 통해 레거시 코드 + 잠재위험요소를 줄이는 일이 필요하다는 것. 또 개발자라는 한 명의 프로로서 오너십을 가지고 주어진 것만 해야 하는 것이 아닌, 본인이 주체적으로 의사결정에 참여해야 하고 거기서 나오는 모든 과정(문서화, 일정 산정, 일감 관리)도 책임을 저야 한다는 것 하지만 인지한다는 것고 행동한다는 .. 공감수 3 댓글수 0 2022. 1. 22.
2021년 그랩의 회고 벌써 2022년이 시작되었습니다. 매번 회고할 때 마다 ‘작년의 나는 미래의 나에게 왜 이렇게 관대했을까’라는 생각을 하게 됩니다. 기웃거리는 것 하나는 만렙인 저는 하고 싶은 것들은 항상 많습니다. 그래서 막상 해야 할 것들을 잘 하지 못할 때가 많습니다. 네 2021년도 그랬네요. 하나를 제대로 한다는 것에는 많은 시간과 에너지가 필요하다는 사실을 더 절실하게 느꼈습니다. 그래서 2022년은 해야 할 것을 명확하게 해서 새로운 것에 고개를 돌리지 않도록 지속적 회고와 노오력이 뒷받침되어야 할 것 같습니다. 이번 회고는 작년 2021년에 큼지막하게 했었던 일들을 요약하고 3L 방식으로 진행해보고, 내년 계획을 이야기하는 방식으로 짧고 간결하게 진행하도록 하겠습니다. 2021년 기록 1. 데이터 엔지니어.. 공감수 13 댓글수 1 2022. 1. 2.
SOLID - 의존성 역전 원칙 (Dependency Inversion) SOLID - Dependency Inversion 개념 Dependency Inversion Principle(의존성 역전 원칙)은 의존성을 항상 고수준으로 향하게 하여 예측할 수 없는 의존성의 변화를 줄이자는 원칙입니다. 일반적으로 의존성을 가지는 대상이 변경되면 의존하는 주체도 함께 변경됩니다. 만약 자주 바뀌는 구현체(저수준)를 의존하게 된다면 코드의 변경이 잦을 것이며, 버그와 사이드 이펙트가 날 확률이 높아집니다. 이때 코드가 덜 바뀌는 인터페이스나 추상 클래스(고수준)를 의존한다면 상대적으로 안정적인 코드를 작성할 수 있습니다. [참고] 고수준은 상위 수준 + 추상화되어 있는 개념입니다. 일반적으로 잘 변하지 않는 특성을 가집니다. 코드 개념에서 고수준은 인터페이스, 추상클래스 등을 예로 들.. 공감수 3 댓글수 0 2021. 12. 5.
에러 핸들링 잘하기 (feat. 클린코드) 클린 코드 - 에러 핸들링 오류 코드보다는 예외 사용하기 오류 코드를 사용하게 되면 상단에 오류인지 확인하는 불필요한 로직이 들어가게 됩니다. 오류의 범주에 들어가지 않은 상태를 나타내는 것이 아니라면, 예외(Exception)로 명시적으로 에러 처리를 표현해주는 게 좋습니다. as-is from enum import Enum class ErrorCodes(Enum): VALUE_ERROR="VALUE_ERROR" def we_can_raise_error(): ... return ERROR_CODES.VALUE_ERROR def use_ugly_function(): result = we_can_occur_error() if result == ErrorCodes.VALUE_ERROR: # 처리 코드 ..... 공감수 4 댓글수 0 2021. 11. 21.
PubSub 사용할 때 주의할 것 이번에 차량 블랙박스의 화각이상을 탐지하는 프로젝트에 참여하게 됐다. 실시간은 아니고 배치로 돌아가게 하면 됐으며 자연스럽게 비동기 메시지 큐를 고민하게 됐다. 결국 메시징 큐를 처음 써보는 입장에서 갓구글이 매니징해주는 PubSub을 사용하게 됐다. 공식 문서나 사용 방법은 꽤 직관적이었지만, 처음 사용해본 나의 입장에서 실수를 했던 부분들이 있어 트러블슈팅기한 몇가지를 정리해봤다. 1. Ack Deadline 일반적으로 구독(Subscription)에서 메시지를 가져오는 방식은 비동기 방식과 동기 방식이 있다. 나는 동기 방식으로 메시지를 배치로 가져왔고 이후 인퍼런스 모델이 인퍼런스를 끝낸 후, 빅쿼리 적재 + 모니터링 서버에 요청까지 마친 후 acknowledge(ack라고 줄여 이야기하겠습니다).. 공감수 4 댓글수 0 2021. 9. 26.
도커 컨테이너에서 멀티 프로세싱을 하면? 데이터 엔지니어링을 하다 보면 실제로 컴퓨팅 리소스를 최대한으로 사용할 수 있도록 멀티스레딩 혹은 멀티프로세싱을 사용한다. 더불어 요새는 국 룰이 돼버린 컨테이너를 활용해서 프로세스를 격리하고 배포, 테스팅을 훨씬 쉽게 진행할 수 있게 되었다. 그러다 문득 궁금한 점이 하나 생겼다. 만약 멀티 프로세싱을 구현했을 때 컨테이너에서는 어떻게 동작할까. 사실 도커를 사용한 지는 오래 됐지만, 그냥 단순하게 하나의 격리된 프로세스라고만 생각했었다. 그래서 본 질문에 대해 대답이 제대로 떠오르지 않았다. 결과부터 이야기하면 컨테이너 내에서 Multi Process 동작은 한 컨테이너에서 호스트 머신의 CPU 자원을 최대한 활용하여 동작한다. 컨테이너의 네임스페이스 내부에서 멀티 프로세스들이 동작하며, 주어진 리소.. 공감수 5 댓글수 0 2021. 8. 29.
Airflow 2 버전으로 Migration 한 후기 데이터 엔지니어 포지션으로 회사에 들어간 지 3개월이 되었습니다. 취준을 하면서 데이터 파이프라인에 중요한 역할을 하는 Airflow를 처음 알게 되었고, execution_date와 start_date가 계속 헷갈렸었는데... 어느덧 회사에서 성공적으로 Airflow 1.10.14 버전에서 2.1.0 버전으로 migration을 완료하였습니다. 본 글에서는 Airflow 2로 migration의 레슨 런을 정리해봤습니다. 잘 정제된 글은 아닙니다만, 해당 주제로 조만간 회사 기술 블로그에서 더 상세하게 다루도록 하겠습니다. Airflow v2 Airflow란? Airflow는 Python으로 개발된 워크플로우 작성 + 스케줄링 관리 플랫폼입니다. 간단한 스케줄링 툴은 많지만, airflow의 매력은 태.. 공감수 7 댓글수 1 2021. 8. 15.
다시 글쓰기를 다짐합니다 재작년 당차게 회사를 나온 후, 1년 정도 세계 여행을 하는 디지털 노마드가 되어야겠다고 생각했다. 퇴사 이후 태국 → 필리핀 → 일본 → 인도네시아(발리)를 여행하면서 본격적으로 세계 여행 계획을 세우고 있던 즈음, 코로나가 퍼졌고 모든 비행길이 닫히면서 한국으로 다시 돌아왔다. 2주간 집에서 자가격리를 하면서 밀린 외주도 마무리하고 올해 계획을 재조정하면서 '개발 크리에이터'의 꿈을 처음으로 꾸기 시작했다. 그렇게 올해 2월까지 개발 크리에이터로 활동하면서 개인 블로그, 브런치, 뉴스레터 등 다양한 플랫폼에 글을 작성했다. 나름 조회수가 잘 나왔고 주변에서 조금씩 '그랩'을 들어봤다고 한 사람들이 나오면서 잘 순항하고 있었고 대한민국 IT 업계에서 유명해지지 않을까라는 망상을 잠깐 했었다. 그러나 혼.. 공감수 6 댓글수 0 2021. 8. 1.
데이터 엔지니어 두 번째 취준 회고록 이 글은 IT 창업, 스타트업 개발자, 개발 크리에이터로 생활을 전전하는 한 중생이 다시 회사로 돌아가게 된 이야기입니다. 대학을 졸업하고 데이터에 푹 빠져 데이터 엔지니어 포지션으로 회사에 취직하였습니다. 어떤 방식으로 취준을 했고 무슨 기준으로 회사를 선택했는지 상세하게 풀어내려고 노력했습니다. 취준 혹은 이직을 하시는 분들에게 작게라도 도움이 되었으면 합니다. [주의] 어디까지나 이 글은 개인의 경험을 기반으로 작성되었으며, 취준생과 회사의 입장을 대변하지 않습니다. 1. 나는 왜 다시 회사를 다니기로 결심했는가 대학생 때부터 나는 하고 싶은 게 있으면 빠르게 해 보는 행동파였다. 돈을 벌고 싶어 아이스박스에 음료수와 맥주 등을 넣어 산 꼭대기까지 낑낑 올라가서 등산객에게 판매를 하기도 했고(기름값.. 공감수 108 댓글수 15 2021. 4. 19.
떡상중인 스타트업의 변방 개발자 회고 지난주 금요일에 다니던 회사를 퇴사했다. 빠르게 성장 중인 스타트업이었는데 내가 들어왔을 당시에 60명이던 인원이 지금은 110명을 바라보고 있다. 나는 주로 앱(RN)과 서버 개발을 맡았고 강의를 구매한 고객들을 위한 서비스를 주로 개발하였다. 그리고 마지막즘엔 PO(Project Owner)를 맡아 주로 앱의 의사결정에 참여했다. 요즘은 온종일 카페에 앉아 다리를 꼬고 앉아 여유를 만끽하고 있다. 지금 되돌아보면 6개월의 시간이 정말 체감이 안 될 정도로 빠르게 지나갔다. 그래서 정리를 해보려고 한다. 이 글엔 경험, 깨달은 점 그리고 후회하는 부분이 포함되어 있으며 저의 주관 하에 쓰여졌음을 알려드립니다. 피드백은 언제나 환영합니다. 회사는 성장을 시켜주는 곳이 아니다. 냉정하게 이야기하자면, 내 .. 공감수 28 댓글수 22 2019. 12. 4.
산에서 장사를 하고왔다 (2016년 글 복구) 3년 전에 산에서 장사를 하고와서 썼던 글. 왜 장사를 하려고 했었는지 기억은 잘 나진 않지만, 술 먹으면서 이야기할 수 있는 이야기 소재를 하나 정도는 건졌었던 것 같다. 이 글을 보면서 크게 느껴지는 점이 있는데, 언제나 내가 쓰거나 생각했던 것들은 '~해야겠다'라는 미래지향적인 태도를 지녀왔다. 경험이 차고 생각이 조금씩 단단해지면서 이제는 내 주관적인 관점으로 '~이다'라는 내 생각과 관점의 표출을 자주 하려고 노력하고 있다. 시간이 지날 때마다 '나'라는 사람은 계획과는 다르게 커가고 있는 것 같아 굉장히 미묘하다. -----------------------------------------------------------------------------------------------------.. 공감수 9 댓글수 1 2019. 6. 1.
개발자의 스타트업 면접 후기 [서론] ◎ 면접 관련해서만 보고 싶다면 내리셔도 됩니다. 4월 30일 부로 이전 회사와의 계약관계가 마무리된 후 많은 고민을 했다. 현재의 모습을 쳐다보니 3학점이 남은 휴학생, 기계공학과 출신의 프로그래머, 스타트업 비즈니스에 관심이 많았던 나였다. 지금까지 걸어왔던 길을 되돌아 봤을 때, 과연 내 순수한 의지와 결정으로 이 길을 걸어왔는가 아니면 우연한 기회와 눈 앞에 보이는 기회들 중 구미가 댕기는 것들을 잡다보니 이렇게 온건가에 대해 고민이 특히 많았다. 결국에 내린 잠정적 결론은 살아온 방식에 대해 자신감이 있었고 나만의 신념으로 지금의 내가 있는 줄 알았었는데 그건 아니었다는 거다. 내가 생각하는 1년 뒤 미래 모습에 부합했던 적은 한 번도 없었으며, 계획과는 다르게 항상 흘러갔다. 하루 하.. 공감수 31 댓글수 21 2019. 5. 18.
치앙마이 디지털 노마딩 후기 치앙마이 디지털 노마딩 후기 7월부터 3주간 치앙마이에서 간접적으로 디지털 노마드를 체험하고 왔다. 아직까지 생생하게 치앙마이의 기억이 남아있다. 그 기억을 살려 의식의 흐름대로 글을 써보려고 한다. (글쓴이는 대학생입니다. 방학때는 아예 자유의 몸이기에 아래와 같은 계획 세우기가 가능했습니다) 계획 세우기 디지털 노마드를 알게된 건 2년 전이다. 인터넷에서 글로 접했던 디지털 노마드는 내게 있어 너무도 멋있었다. 일하면서 동시에 다양한 광경을 눈에 담을 수 있었으니까. 그렇게 가야겠다고 결심을 한 후, 올 해 초부터 조금씩 계획을 세우기 시작했다. 사실 계획이 거창한 것은 아니었다. 내게 비는 시간을 파악해서 일을 잡고 어디를 가야할지를 정하는게 거의 전부였다. 1. 아직 4학년 (암모나이트) 이기에 .. 공감수 11 댓글수 4 2018. 8. 27.
쉽게 알아보는 서버 인증 3편(SNS 로그인, OAuth 2.0) 안녕하세요 여러분. 오늘은 "쉽게 알아보는 인증"의 마지막 편인 SNS 로그인 과 OAuth에 대해 써보려고 합니다. 만일 SNS 로그인을 한 번이라도 구현해보려고 하셨다면, OAuth을 한 번은 들어보셨을 겁니다. 그래서 SNS 로그인 = OAuth라고 생각하시는 분이 계시는데 이는 잘못된 생각입니다. OAuth 프로토콜의 기능 중 하나로 SNS 로그인이 있는겁니다! 지금부터 OAuth 의 정의를 시작으로 어떤 방식으로 SNS 로그인이 작동되는지 차근차근 알아보도록 하겠습니다. 참고 포스팅 http://tansfil.tistory.com/58 (세션/쿠키, JWT를 이용한 인증) http://tansfil.tistory.com/59 (Access Token + Refresh Token을 이용한 인증) .. 공감수 54 댓글수 32 2018. 8. 11.
쉽게 알아보는 서버 인증 2편(Access Token + Refresh Token) 안녕하세요! 이전 포스팅에는 크게 세션/쿠키 인증, 토큰 기반 인증(대표적으로 JWT)에 대하여 알아보았습니다. 저희가 앱, 웹 혹은 서버 개발을 하면서 꼭 사용하게 되는 인증(Authorization)은 아주 중요합니다. 만일 설계를 잘못했을 시, 회원들의 정보 유출이 일어날 수도 있으니까요. 이번 포스팅에서는 기본 JWT 방식의 강화버전인 Access Token & Refresh Token 방식에 대해 알아보겠습니다. Refresh Token? Access Token(JWT)를 통한 인증 방식의 문제는 만일 제 3자에게 탈취당할 경우 보안에 취약하다는 점입니다. 유효기간이 짧은 Token의 경우 그만큼 사용자는 로그인을 자주 해서 새롭게 Token을 발급받아야 하므로 불편합니다. 그러나 유효기간을 늘.. 공감수 64 댓글수 29 2018. 7. 29.
쉽게 알아보는 서버 인증 1편(세션/쿠키 , JWT) 앱 개발을 처음 배우게 됐을 때, 각종 화면을 디자인해보면서 프론트엔드 개발에 큰 흥미가 생겼습니다. 한때 프론트엔드 개발자를 꿈꾸기도 했었죠(현실은 ...) 그러나 서버와 통신을 처음 배웠을 때 마냥 쉬운 일은 아니구나라고 생각했습니다. 항상 당연하게 생각해왔던 기능(데이터를 보내고 받는 작업)들을 직접 구현하려고 하니 헷갈리는게 한둘이 아니더군요. 그 중에서 초창기에 가장 어려움을 겪었던 부분은 바로 ‘인증’ 부분이었습니다. 인증이 필요한 이유 인증은 프론트엔드 관점에서 봤을 때 사용자의 로그인, 회원가입과 같이 사용자의 도입부분을 가리키곤 합니다. 반면 서버사이드 관점에서 봤을 때는 모든 API 요청에 대해 사용자를 확인하는 작업입니다. 사용자 A와 사용자 B가 앱을 사용한다고 가정하겠습니다. 두 .. 공감수 124 댓글수 39 2018. 7. 21.
React Native를 소개합니다 안녕하세요! 안드로이드,IOS 개발을 하다 React Native에 푹빠진 학생입니다. Facebook이 만든 자바스크립트 라이브러리 React.js 는 현재 한국에서도 크게 인기입니다. 반면 React Native는 아직까지 한국에서는 자료가 적고 인기도 적은 편입니다. 본 포스팅에서는 React Native에 대해 알아볼 것이며 장점과 단점에 대해서도 알아보도록 하겠습니다. React란? React.js는 프론트엔드 개발자라면 한 번쯤은 들어봤을 겁니다. Facebook에서 마음먹고 개발한 React.js는 요새 웹사이트 개발을 할 때 가장 많이 쓰이는 라이브러리 중 하나입니다. Facebook, Instagram, Uber, Evernote 등 짱짱한 기업들이 React를 도입했다고 하니 충분히 검.. 공감수 9 댓글수 7 2018. 7. 9.
여의도에서 벚꽃에이드 팔기 3월 24일 (1차) - 동업하기로 결정한 후, 첫 모임. 무엇을, 어떻게 팔지를 기획함. - 상품을 구매할 고객 파악 : 대다수는 연인일 것이며 가족들도 있을 듯. 그러나 가족 단위의 경우 주말처럼 공휴일에 많이 올 듯. - 상품을 어떻게 구매할 것인가 : 뭔가 뚜렷하게 무엇을 먹기위해, 무엇을 하기위해 가는게 아님. 그들은 1년에 얼마되지 않는 특별한 기간을 보내기 위해서 온다 (발렌타인데이, 화이트데이). 그들은 그 특별한 날에 ‘분위기’에 취하기 위해 온다. 분위기.분위기. 그렇게 목적성없이 걷다가 이목이 끌리는 곳에서 음식을 먹는다거나 무언가를 산다. 즉 연인이라는 가정하에 그들은 방향성없는 구매를 할 것으로 예상됨. - 무슨 상품을 판매할 것인가 : 고객들이 이 곳에 오는 이유는 분위기를 즐기.. 공감수 6 댓글수 1 2017. 9. 2.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.