We-Co

안녕하세요. 위기의 코딩맨입니다.오늘은 Airflow의 Dag에 대해서 간단하게 알아보고 적용해보도록 하겠습니다~!먼저 Dag가 무엇인지부터 알아보도록 해야겠죠?!  [ Dag ]DAG는 Directed Acyclic Graphs를 의미하는 약어를 의미하며방향성 비순환 그래프를 뜻하고 있습니다. 방향성 비순환 그래프가 무슨 의미를 갖고있냐 하면아래 이미지와 같이 방향성을 갖고 Task를 실행하지만 다시 돌아오거나, 다시 실행되지않고정해진 길로만 가는것을 의미합니다. 기본적으로 Task로 구성되어 있으며, 서로 의존성을 갖고 흐름을 형성합니다.실행은 스케줄러에 의해서 실행될수 있으며, 소스에서도 실행을 제어할 수 있습니다.이러한 Dag의 시각적인 표현은Graph 메뉴에서 확인하실 수 있습니다. [ 생성 및..

안녕하세요. 위기의 코딩맨입니다.정말 오랜만에 포스팅을 작성하게 되었는데요~! 오늘은 Airflow 설치를 진행해 보도록 하겠습니다.환경은 mac 기준입니다~![ 가상환경 ]먼저, 가상환경을 만들어봅시다.터미널에서  원하는 폴더로 접근합니다. [ cd 명령어 ]제 컴퓨터는 지금 python3을 사용하고 있으므로 가상환경 코드는python3 -m venv [가상환경이름]  EX) python3 -m venv airflow_env  가상환경을 생성했다면 실행을 해야죠~!source [가상환경이름]/bin/activate EX) source airflow_env/bin/activate실행을 진행하게되면 터미널 앞에 (가상환경이름)경로~ % 형태로 변경된 것을 확인하실수 있습니다~! [ Airflow 설치 ]이..

안녕하세요. 위기의 코딩맨입니다. 오늘은 요즘 자주 다뤘던 라이브러리를 설치해주는 pip에 대해서 간단하게 알아보도록 하겠습니다. 파이썬 언어의 여러 장점 중 하나인 다양한 라이브러리를 설치, 삭제, 업데이트를 할 수 있도록 도와주는 것이 pip 입니다. Python Package Index에 다양하게 많은 Python 패키지가 등록되어 있습니다. 해당 pip를 통해서 다운로드 받아 직접 사용하시면 됩니다. 파이썬 2.7.9 버전과 파이썬3.4의 이후 버전들은 기본적으로 pip를 포함하고 있습니다. [ pip ] 설치는 다양한 방식으로 진행되는데 가장 기본적인 설치방법은 아래 방법입니다. PackageName은 설치하려는 패키지 이름으로 변경해주셔야합니다. pip install PackageName 또한..

안녕하세요. 위기의 코딩맨입니다. 오늘은 간단하게 XSS를 공격에 대해서 예방하는 방법을 알려드리도록 하겠습니다. 일단 XXS를 간단하게 설명드리자면, 사이트 간 스크립팅, 크로스 사이트 스크립팅 으로 많이 알려져있으며 웹 애플리케이션에서 다양하게 나오는 취약점 중, 하나입니다. 일반적인 기능을 통해서 악성 스크립트를 삽입하여 비정상적인 기능을 수행하도록 합니다. 주로 다른 웹 사이트와 정보를 교환하는 방식으로 사용이 돼서 사이트 간 스크립팅이라 불립니다. 너무나도 나쁜 사람들.. 그래서 사이트마다 입력란, 다른 입력을 주고 받는 부분에 특수문자를 입력하지 못하게 하는 이유도 이러한 XSS 공격을 막기위한 이유입니다. 이러한 XSS방지를 도와주는 라이브러리가 html의 escape 함수입니다. [ esc..

안녕하세요. 위기의 코딩맨입니다. 오늘은 HTTPS를 설정하기위해 SSL 인증서를 설치하는 방법을 간단하게 포스팅해보겠습니다. 업체를 통해서 SSL를 설치하면 비용도 발생하기도 하지만, 급할땐 사설 인증서를 설치하기도 합니다. 그 중 하나인 openssl의 설치 방법을 간단하게 설명드리도록 하겠습니다. 간단하지 않으려나.... openSSL의 장점으로는 다양한 환경(OS)에서 적용이 가능하며 가장 큰 장점은 무료! 너무나도 좋죠?!ㅎㅎ 버전은 2021년 3.대 출시 된 것으로 확인됩니다. 해당 포스팅에선, 1.1.1 기준으로 설명드리도록 하겠습니다. [ OpenSSL ] 해당 환경은 ubuntu 18.04 입니다. 1. 현재 환경에서 혹시나 설치되어 있는 openssl을 모두 지우는 명령어입니다. apt..

안녕하세요. 위기의 코딩맨입니다. 오늘은 데이터를 전송할 때, 용량을 줄이기 위한 라이브러리를 포스팅해보려 합니다. 예를들면 길이가 3만 바이트 이상되는 문자열을 서버로 전송한다고 생각해봅시다. 그러나 서버에서는 2천 바이트 이상은 부하가 걸릴 것 같아서 받지 않도록 했습니다. 그러면 3만 바이트를 나눠서 15번 보내야할까요??? ㅎㅎㅎ zlib 를 사용하시면 됩니다. [ zlib ] 바로 예제를 풀어보도록 하겠습니다. import zlib data_ = 'hi, my name is OOO' * 2000 print(len(data_)) 위의 출력값으로는 3만6천이 출력됩니다. zlib의 compress 함수를 통해서 압축할 정보를 encoding을 진행해서 넣어주도록 합니다. c_data = zlib.c..

안녕하세요. 위기의 코딩맨입니다. 오늘은 저번시간에 이어서 실무에서 많이 접하게 되는 날짜에 대해서 쉽게 관리할 수 있도록 도움을 주는 datetime 라이브러리에 대해서 간단하게 알아보려합니다. [ datetime ] 처음 라이브러리를 사용할땐, 아래와 같이 import로 선언해 주어야합니다. 다른 외부 라이브러리를 사용하기 위해선 install이 필요한 경우도 있습니다. import datetime 아래 코드와 같이 day_1에 날짜 형식의 객체를 만들고 출력해보았습니다. print 형식은 yyyy-mm-dd 형식으로 출력이 되는 것을 확인할 수 있습니다. day_1 = datetime.date(2024,2,19) print(day_1) day_1 이제 2개의 객체를 만들고 날짜 차이를 구해보도록 하..

안녕하세요. 위기의 코딩맨입니다. 오늘은 개발을 하면서 텍스트를 관리해줘야할상황에 유용하게 쓰이는 라이브러리를 소개해드리려합니다. 예를들면 100글자의 문자열에서 10글자 이상부터는 ... 으로 표현 하고싶을때, 문자열을 20글자 마다 줄바꿈을 하는데 단어는 끊기지 않고 유지하고 싶을때 등등 이러한 상황에 유용하게 사용할 수 있습니다. [ textwrap ] 바로 사용해보도록 하겠습니다. 라이브러리를 사용하기 위해 import를 진행해주세요! 문자열 [...] 표현은 shorten의 함수를 사용하시면 됩니다. import textwrap Econtents = 'Age is no guarantee of maturity!' Kcontents = '안녕하세요. 저는 위기의 코딩맨입니다. 오늘은 블로그 포스팅을..